Hàm sigmoid là gì?
Hàm sigmoid (hay còn gọi là hàm logistic) "nén" mọi số thực về khoảng mở (0, 1) thông qua một đường cong hình chữ S mượt mà. Được định nghĩa là \(\sigma(x) = \frac{1}{1 + e^{-\text{a}\,x}}\), đây là một trong những hàm kích hoạt phổ biến nhất trong mạng nơ-ron, đồng thời là nền tảng của hồi quy logistic, mô hình hóa xác suất và các đường cong tăng trưởng. Tham số độ dốc \(\text{a}\) quyết định mức độ "gắt" của vùng chuyển tiếp: với \(\text{a} = 1\) bạn có dạng sigmoid kinh điển trong sách giáo khoa, còn khi \(\text{a}\) lớn hơn thì vùng chuyển tiếp bị nén lại, tiến dần về dạng hàm bậc thang.
Cách dùng máy tính này
Trước tiên hãy nhập độ dốc \(\text{a}\), sau đó là khoảng giá trị bạn muốn khảo sát hàm: \(x\) nhỏ nhất, \(x\) lớn nhất và bước nhảy \(x\) (gia số). Công cụ sẽ dựng một bảng gồm \(\sigma(x)\), đạo hàm bậc nhất \(\sigma^{\prime}(x)\) và đạo hàm bậc hai \(\sigma^{\prime\prime}(x)\) tại từng bước, đồng thời báo cáo giá trị tại một điểm \(x\) đơn lẻ nếu bạn nhập thêm (không bắt buộc). Lưu ý bước nhảy phải lớn hơn 0 và \(x\) lớn nhất phải không nhỏ hơn \(x\) nhỏ nhất, nếu không bảng sẽ không có dòng nào.
Giải thích các công thức
Các đạo hàm có dạng đặc biệt gọn gàng khi được viết theo chính hàm \(\sigma\). Lấy đạo hàm, ta được $$\sigma^{\prime}(x) = \text{a}\,\sigma(x)\bigl(1 - \sigma(x)\bigr)$$ giá trị này luôn dương (đường cong luôn đồng biến) và đạt cực đại bằng \(\frac{\text{a}}{4}\) tại điểm uốn \(x = 0\). Đạo hàm bậc hai, $$\sigma^{\prime\prime}(x) = \text{a}^{2}\,\sigma(x)\bigl(1 - \sigma(x)\bigr)\bigl(1 - 2\,\sigma(x)\bigr)$$ đổi dấu tại \(x = 0\) nơi \(\sigma = 0{,}5\), qua đó khẳng định đây chính là điểm uốn.
Ví dụ minh họa
Lấy \(\text{a} = 1\) và \(x = 2\). Khi đó \(e^{-2} = 0{,}135335\), nên $$\sigma(2) = \frac{1}{1{,}135335} = 0{,}880797$$ Đạo hàm bậc nhất là \(0{,}880797 \cdot (1 - 0{,}880797) = 0{,}104994\). Đạo hàm bậc hai là \(0{,}104994 \cdot (1 - 2 \cdot 0{,}880797) = 0{,}104994 \cdot (-0{,}761594) = -0{,}079963\). Tại \(x = 0\), các giá trị là \(\sigma = 0{,}5\), \(\sigma^{\prime} = 0{,}25\) và \(\sigma^{\prime\prime} = 0\).
Giá trị tham chiếu của hàm sigmoid và các đạo hàm của nó (a = 1)
Với hàm logistic chuẩn \(\sigma(x)=\frac{1}{1+e^{-x}}\), các đạo hàm là \(\sigma'(x)=\sigma(x)\,(1-\sigma(x))\) và \(\sigma''(x)=\sigma(x)\,(1-\sigma(x))\,(1-2\sigma(x))\). Các giá trị được làm tròn đến 6 chữ số thập phân.
| x | σ(x) | σ′(x) | σ″(x) |
|---|---|---|---|
| -6 | 0.002473 | 0.002467 | 0.002454 |
| -4 | 0.017986 | 0.017663 | 0.017028 |
| -3 | 0.047426 | 0.045177 | 0.040892 |
| -2 | 0.119203 | 0.104994 | 0.079963 |
| -1 | 0.268941 | 0.196612 | 0.090858 |
| 0 | 0.500000 | 0.250000 | 0.000000 |
| 1 | 0.731059 | 0.196612 | -0.090858 |
| 2 | 0.880797 | 0.104994 | -0.079963 |
| 3 | 0.952574 | 0.045177 | -0.040892 |
| 4 | 0.982014 | 0.017663 | -0.017028 |
| 6 | 0.997527 | 0.002467 | -0.002454 |
Tính đối xứng
- \(\sigma(-x)=1-\sigma(x)\): đường cong đối xứng qua điểm (0, 0.5).
- \(\sigma'(-x)=\sigma'(x)\): đạo hàm bậc nhất là hàm chẵn (đường cong hình chuông).
- \(\sigma''(-x)=-\sigma''(x)\): đạo hàm bậc hai là hàm lẻ.
Ảnh hưởng của hệ số khuếch đại a lên đường cong
Hệ số \(a\) co giãn đầu vào: \(\sigma(x)=\frac{1}{1+e^{-ax}}\), \(\sigma'(x)=a\,\sigma(1-\sigma)\), \(\sigma''(x)=a^2\,\sigma(1-\sigma)(1-2\sigma)\). Bảng đánh giá từng hệ số khuếch đại tại x = 1.
| Hệ số khuếch đại a | σ(1) | σ′(1) | σ″(1) | Độ dốc cực đại a/4 (tại x = 0) | σ nằm giữa 0.1 và 0.9 |
|---|---|---|---|---|---|
| 0.5 | 0.622459 | 0.117502 | -0.014389 | 0.125 | |x| < 4.394 |
| 1 | 0.731059 | 0.196612 | -0.090858 | 0.25 | |x| < 2.197 |
| 2 | 0.880797 | 0.209987 | -0.319851 | 0.5 | |x| < 1.099 |
| 5 | 0.993307 | 0.033240 | -0.163975 | 1.25 | |x| < 0.439 |
Độ dốc cực đại là \(\sigma'(0)=a/4\). Vì \(\sigma=0.1\) và \(\sigma=0.9\) xảy ra khi \(ax=\mp\ln 9\), nên vùng chuyển tiếp xấp xỉ \(|x|<\frac{\ln 9}{a}\approx\frac{2.197}{a}\). Hệ số khuếch đại lớn hơn cho đường cong dốc hơn và hẹp hơn; hệ số nhỏ hơn cho đường cong thoai thoải và rộng hơn. Lưu ý rằng tại x = 1, đạo hàm bậc hai với a = 5 có trị tuyệt đối nhỏ hơn so với a = 2, vì đường cong tại đó đã bắt đầu bão hòa.
Diễn giải giá trị sigmoid và đạo hàm
σ(x): đầu ra bị chặn, giống xác suất
Hàm sigmoid ánh xạ mọi số thực đầu vào vào khoảng mở (0, 1), với σ(0) = 0.5. Đây là lý do nó được dùng trong hồi quy logistic, hàm kích hoạt mạng nơ-ron và các mô hình tăng trưởng hoặc bão hòa. Một giá trị như 0.88 có thể được đọc như điểm số giống xác suất, mặc dù nó chỉ là xác suất được hiệu chỉnh thực sự nếu mô hình được khớp theo cách đó.
σ′(x): độ nhạy hoặc gradient
Đạo hàm bậc nhất cho biết đầu ra thay đổi nhanh đến mức nào trên mỗi đơn vị thay đổi của x. Nó luôn dương, đạt đỉnh \(a/4\) khi x = 0, và giảm về 0 ở cả hai đuôi. Khi \(|a\,x|\) vượt quá khoảng 5, σ′ nhỏ hơn khoảng 0.0066·a, nên hàm bị bão hòa: thay đổi lớn ở đầu vào hầu như không làm thay đổi đầu ra. Trong huấn luyện dựa trên gradient, đây là hiện tượng gradient biến mất, vì đạo hàm rất nhỏ khiến các cập nhật trọng số cũng rất nhỏ.
σ″(x): độ cong
- Với x < 0, σ″ > 0: đường cong lồi (cong lên trên), và độ dốc vẫn đang tăng.
- Tại x = 0, σ″ = 0: đây là điểm uốn, nơi độ dốc đạt cực đại.
- Với x > 0, σ″ < 0: đường cong lõm (cong xuống dưới), và độ dốc đang giảm.
Các giá trị cực trị của σ″ xuất hiện tại \(\sigma=\frac{1}{2}\pm\frac{1}{2\sqrt{3}}\), tức là tại \(x=\pm\frac{\ln(2+\sqrt{3})}{a}\approx\pm\frac{1.317}{a}\). Đây là những điểm mà độ dốc thay đổi nhanh nhất.
Câu hỏi thường gặp
Độ dốc \(\text{a}\) có tác dụng gì? Nó co giãn giá trị đầu vào. \(\text{a}\) càng lớn thì đường cong dâng lên càng nhanh quanh \(x = 0\); khi \(\text{a}\) tăng, sigmoid tiến gần đến một bậc thang dốc đứng, còn \(\text{a} = 0\) cho ra một đường thẳng nằm ngang tại \(0{,}5\).
Điểm dốc nhất nằm ở đâu? Luôn ở \(x = 0\), nơi độ dốc bằng \(\frac{\text{a}}{4}\) và đạo hàm bậc hai bằng 0.
Tại sao kết quả không bao giờ đúng bằng 0 hay 1? Hàm mũ không bao giờ đạt giá trị 0 với \(x\) hữu hạn, nên \(\sigma\) luôn nằm hoàn toàn bên trong khoảng (0, 1). Với \(|\text{a}\cdot x|\) cực lớn, giá trị sẽ được làm tròn về 0 hoặc 1 theo cách tính số học, và máy tính này xử lý trường hợp đó một cách an toàn.