Hàm Softsign là gì?
Softsign là một hàm kích hoạt (activation function) trơn được dùng trong mạng nơ-ron, với định nghĩa \(\phi(x) = x / (1 + |x|)\). Hàm này ánh xạ mọi đầu vào số thực về khoảng mở (-1, 1), khá giống hàm tang hyperbolic (tanh), nhưng tiến tới ngưỡng bão hòa chậm hơn. Đặc tính bão hòa "êm" này giúp giảm bớt vấn đề triệt tiêu gradient (vanishing gradient) trong quá trình huấn luyện. Máy tính này trả về cả giá trị hàm \(\phi(x)\) và — kết quả chính — đạo hàm bậc nhất \(\phi'(x)\).
Cách sử dụng máy tính
Hãy nhập một số thực bất kỳ cho \(x\) — dương, âm hay bằng 0 đều được — rồi đọc kết quả \(\phi'(x)\) (độ dốc của đường cong Softsign) cùng với \(\phi(x)\) (giá trị đầu ra của hàm kích hoạt). Không có đơn vị nào liên quan ở đây; \(x\) đơn thuần là một số thực không thứ nguyên. Giá trị mặc định là \(x = 0.5\).
Giải thích công thức
Đạo hàm của \(\phi(x) = x / (1 + |x|)\) là $$\phi'(x) = \frac{1}{\left(1 + \left|x\right|\right)^{2}}$$ Vì mẫu số \((1 + |x|)\) luôn lớn hơn hoặc bằng 1 nên đạo hàm luôn dương và nằm trong khoảng (0, 1]. Giá trị lớn nhất bằng 1 đạt được tại \(x = 0\), nơi hàm số dốc nhất. Khi \(|x|\) càng lớn, \(\phi'(x)\) càng giảm dần về 0, phản ánh tính chất bão hòa của hàm.
Ví dụ minh họa
Với \(x = 0.5\): \(|x| = 0.5\), nên \(1 + |x| = 1.5\). Giá trị hàm là $$\phi(0.5) = \frac{0.5}{1.5} = 0.333333\ldots$$ còn đạo hàm là $$\phi'(0.5) = \frac{1}{1.5^{2}} = \frac{1}{2.25} = 0.444444\ldots$$ Như vậy, tại \(x = 0.5\) đường cong Softsign có đầu ra xấp xỉ 0.3333 và độ dốc xấp xỉ 0.4444.
Câu hỏi thường gặp
Hàm Softsign có khả vi tại mọi điểm không? Có. Mặc dù \(|x|\) có một điểm "gãy" tại \(x = 0\), nhưng đạo hàm trái và đạo hàm phải của \(\phi\) tại đó đều bằng 1, nên \(\phi\) khả vi tại 0 cũng như tại mọi điểm khác.
Đạo hàm có thể âm không? Không. \(\phi'(x) = \frac{1}{(1 + |x|)^{2}}\) luôn dương, vì nó bằng 1 chia cho một số dương được bình phương.
Softsign khác tanh như thế nào? Cả hai đều bão hòa trong khoảng (-1, 1), nhưng Softsign có "đuôi" dạng đa thức \((1/x^2)\) thay vì đuôi dạng hàm mũ như tanh, nên bão hòa chậm hơn và giữ được gradient lớn hơn một chút khi ở xa điểm 0.
