Hàm sigmoid là gì?
Hàm sigmoid (hay còn gọi là hàm logistic) "nén" mọi số thực về khoảng mở (0, 1) thông qua một đường cong hình chữ S mượt mà. Được định nghĩa là \(\sigma(x) = \frac{1}{1 + e^{-\text{a}\,x}}\), đây là một trong những hàm kích hoạt phổ biến nhất trong mạng nơ-ron, đồng thời là nền tảng của hồi quy logistic, mô hình hóa xác suất và các đường cong tăng trưởng. Tham số độ dốc \(\text{a}\) quyết định mức độ "gắt" của vùng chuyển tiếp: với \(\text{a} = 1\) bạn có dạng sigmoid kinh điển trong sách giáo khoa, còn khi \(\text{a}\) lớn hơn thì vùng chuyển tiếp bị nén lại, tiến dần về dạng hàm bậc thang.
Cách dùng máy tính này
Trước tiên hãy nhập độ dốc \(\text{a}\), sau đó là khoảng giá trị bạn muốn khảo sát hàm: \(x\) nhỏ nhất, \(x\) lớn nhất và bước nhảy \(x\) (gia số). Công cụ sẽ dựng một bảng gồm \(\sigma(x)\), đạo hàm bậc nhất \(\sigma^{\prime}(x)\) và đạo hàm bậc hai \(\sigma^{\prime\prime}(x)\) tại từng bước, đồng thời báo cáo giá trị tại một điểm \(x\) đơn lẻ nếu bạn nhập thêm (không bắt buộc). Lưu ý bước nhảy phải lớn hơn 0 và \(x\) lớn nhất phải không nhỏ hơn \(x\) nhỏ nhất, nếu không bảng sẽ không có dòng nào.
Giải thích các công thức
Các đạo hàm có dạng đặc biệt gọn gàng khi được viết theo chính hàm \(\sigma\). Lấy đạo hàm, ta được $$\sigma^{\prime}(x) = \text{a}\,\sigma(x)\bigl(1 - \sigma(x)\bigr)$$ giá trị này luôn dương (đường cong luôn đồng biến) và đạt cực đại bằng \(\frac{\text{a}}{4}\) tại điểm uốn \(x = 0\). Đạo hàm bậc hai, $$\sigma^{\prime\prime}(x) = \text{a}^{2}\,\sigma(x)\bigl(1 - \sigma(x)\bigr)\bigl(1 - 2\,\sigma(x)\bigr)$$ đổi dấu tại \(x = 0\) nơi \(\sigma = 0{,}5\), qua đó khẳng định đây chính là điểm uốn.
Ví dụ minh họa
Lấy \(\text{a} = 1\) và \(x = 2\). Khi đó \(e^{-2} = 0{,}135335\), nên $$\sigma(2) = \frac{1}{1{,}135335} = 0{,}880797$$ Đạo hàm bậc nhất là \(0{,}880797 \cdot (1 - 0{,}880797) = 0{,}104994\). Đạo hàm bậc hai là \(0{,}104994 \cdot (1 - 2 \cdot 0{,}880797) = 0{,}104994 \cdot (-0{,}761594) = -0{,}079963\). Tại \(x = 0\), các giá trị là \(\sigma = 0{,}5\), \(\sigma^{\prime} = 0{,}25\) và \(\sigma^{\prime\prime} = 0\).
Câu hỏi thường gặp
Độ dốc \(\text{a}\) có tác dụng gì? Nó co giãn giá trị đầu vào. \(\text{a}\) càng lớn thì đường cong dâng lên càng nhanh quanh \(x = 0\); khi \(\text{a}\) tăng, sigmoid tiến gần đến một bậc thang dốc đứng, còn \(\text{a} = 0\) cho ra một đường thẳng nằm ngang tại \(0{,}5\).
Điểm dốc nhất nằm ở đâu? Luôn ở \(x = 0\), nơi độ dốc bằng \(\frac{\text{a}}{4}\) và đạo hàm bậc hai bằng 0.
Tại sao kết quả không bao giờ đúng bằng 0 hay 1? Hàm mũ không bao giờ đạt giá trị 0 với \(x\) hữu hạn, nên \(\sigma\) luôn nằm hoàn toàn bên trong khoảng (0, 1). Với \(|\text{a}\cdot x|\) cực lớn, giá trị sẽ được làm tròn về 0 hoặc 1 theo cách tính số học, và máy tính này xử lý trường hợp đó một cách an toàn.
