Công cụ này làm gì
Công cụ này tính đạo hàm cấp hai của hàm sigmoid logistic có tham số độ lợi, ký hiệu là \(s''_a(x)\), tại điểm \(x\) với độ lợi \(a\) do bạn chọn (tham số độ dốc, thường gọi là alpha). Hàm sigmoid logistic là một trong những hàm kích hoạt phổ biến nhất trong mạng nơ-ron và các mô hình thống kê, còn các đạo hàm của nó xuất hiện ở khắp nơi trong quá trình huấn luyện dựa trên gradient cũng như khi phân tích độ cong.
Các công thức
Hàm sigmoid với độ lợi \(a\) là $$s_a(x) = \frac{1}{1 + e^{-a x}}.$$ Đạo hàm cấp một của nó là $$s'_a(x) = a\, s\, (1 - s),$$ và đạo hàm cấp hai là $$s''_a(x) = a^2\, s\, (1 - s)\, (1 - 2s),$$ trong đó \(s = s_a(x)\). Vì mọi thứ đều được biểu diễn theo \(s\) nên công cụ trước tiên tính \(s\), sau đó tái sử dụng giá trị này cho cả hai đạo hàm. Mẫu số \(1 + e^{-a x}\) luôn dương nên không bao giờ xảy ra lỗi chia cho 0.
Cách sử dụng
Nhập độ lợi \(a\) (mặc định 1) và điểm cần tính \(x\) (mặc định 0,5), rồi đọc kết quả: giá trị sigmoid, đạo hàm cấp một và đạo hàm cấp hai — kết quả chính. Để tìm điểm uốn, hãy lưu ý rằng \(s''_a(x) = 0\) đúng tại nơi \(s = 0{,}5\), tức là tại \(x = 0\) với mọi độ lợi.
Ví dụ minh họa
Với \(a = 1\) và \(x = 0{,}5\): \(e^{-0.5} = 0{,}606531\), nên $$s = \frac{1}{1{,}606531} = 0{,}622459.$$ Khi đó \(1 - s = 0{,}377541\) và $$s' = 1 \cdot 0{,}622459 \cdot 0{,}377541 = 0{,}235004.$$ Cuối cùng \(1 - 2s = -0{,}244919\), cho ta $$s'' = 1 \cdot 0{,}235004 \cdot (-0{,}244919) = -0{,}057557.$$
Câu hỏi thường gặp
Độ lợi \(a\) có tác dụng gì? Nó điều chỉnh độ dốc của hàm sigmoid; \(a\) càng lớn thì đường cong chuyển tiếp càng gấp. Đặt \(a = 0\) sẽ khiến \(s = 0{,}5\) ở mọi điểm, nên cả hai đạo hàm đều bằng 0.
Đạo hàm cấp hai bằng 0 ở đâu? Tại \(x = 0\), chính là điểm uốn, nơi hàm sigmoid chuyển từ lồi sang lõm.
Công cụ có ổn định về mặt số học không? Có — với trường hợp \(a x\) âm, công cụ dùng dạng tương đương \(\dfrac{e^{a x}}{1 + e^{a x}}\) để tránh tràn số khi tính hàm mũ.
