Máy tính đạo hàm bậc nhất hàm Softplus là gì?
Công cụ này tính đạo hàm bậc nhất của hàm kích hoạt Softplus tại bất kỳ giá trị thực x nào. Hàm Softplus, được định nghĩa là \(\phi(x) = \ln(1 + e^{x})\), là một xấp xỉ trơn và khả vi của hàm ReLU (Rectified Linear Unit) vốn được sử dụng rộng rãi trong mạng nơ-ron. Điều thú vị là đạo hàm của nó chính là hàm sigmoid logistic, nhờ đó việc huấn luyện dựa trên gradient trở nên đặc biệt thuận tiện.
Cách sử dụng
Bạn chỉ cần nhập giá trị x cần tính đạo hàm rồi nhấn tính. Công cụ sẽ trả về \(\phi'(x)\), một con số luôn nằm trong khoảng từ 0 đến 1. Giá trị x dương sẽ đẩy kết quả tiến về 1, giá trị x âm đẩy kết quả tiến về 0, còn khi x đúng bằng 0 thì kết quả là 0.5.
Giải thích công thức
Lấy đạo hàm của hàm Softplus ta được:
$$\frac{d}{dx}\ln\!\left(1 + e^{x}\right) = \frac{e^{x}}{1 + e^{x}} = \frac{1}{1 + e^{-x}}.$$
Đây chính là hàm sigmoid logistic \(\sigma(x)\). Để giữ cho phép tính ổn định về mặt số học, công cụ sử dụng công thức \(\frac{1}{1 + e^{-x}}\) khi \(x \geq 0\) và công thức tương đương \(\frac{e^{x}}{1 + e^{x}}\) khi \(x < 0\), nhằm tránh tình trạng tràn số của hàm mũ với các giá trị đầu vào có độ lớn lớn.
Ví dụ minh họa
Giả sử \(x = 0.5\). Khi đó \(e^{-0.5} = 0.6065306597\), nên \(1 + e^{-0.5} = 1.6065306597\). Vì vậy $$\phi'(0.5) = \frac{1}{1.6065306597} = 0.622459.$$ Đạo hàm nhỉnh hơn 0.5 một chút vì giá trị đầu vào hơi dương.
Câu hỏi thường gặp
Vì sao đạo hàm lại là hàm sigmoid? Bởi vì khi áp dụng quy tắc chuỗi cho \(\ln(1 + e^{x})\), biểu thức rút gọn về mặt đại số thành \(\frac{1}{1 + e^{-x}}\), tức hàm sigmoid logistic chuẩn.
Miền giá trị của \(\phi'(x)\) là gì? Đó là khoảng mở \((0, 1)\). Giá trị tiến tới 0 khi x tiến về âm vô cùng và tiến tới 1 khi x tiến về dương vô cùng, nhưng không bao giờ chạm tới hai biên này.
Có nguy cơ chia cho 0 không? Không. Vì \(1 + e^{-x}\) luôn lớn hơn 0 với mọi số thực x, nên mẫu số không bao giờ bằng 0.
