Công cụ tính hàm Softsign và đạo hàm

Nhập phép tính

Giá trị x ban đầu

Bước nhảy

Số lần lặp

Kết quả

Đã tạo bảng Softsign

101

điểm dữ liệu của phi(x) = x / (1 + |x|)

Giá trị Softsign đầu tiên	-0,833333
Giá trị Softsign cuối cùng	0,833333

x	Softsign phi(x)	phi'(x) (đạo hàm bậc nhất)
-5	-0,83333333	0,02777778
-4,9	-0,83050847	0,02872738
-4,8	-0,82758621	0,02972652
-4,7	-0,8245614	0,0307787
-4,6	-0,82142857	0,03188776
-4,5	-0,81818182	0,03305785
-4,4	-0,81481481	0,03429355
-4,3	-0,81132075	0,03559986
-4,2	-0,80769231	0,03698225
-4,1	-0,80392157	0,03844675
-4	-0,8	0,04
-3,9	-0,79591837	0,04164931
-3,8	-0,79166667	0,04340278
-3,7	-0,78723404	0,04526935
-3,6	-0,7826087	0,04725898
-3,5	-0,77777778	0,04938272
-3,4	-0,77272727	0,05165289
-3,3	-0,76744186	0,05408329
-3,2	-0,76190476	0,05668934
-3,1	-0,75609756	0,0594884
-3	-0,75	0,0625
-2,9	-0,74358974	0,06574622
-2,8	-0,73684211	0,06925208
-2,7	-0,72972973	0,07304602
-2,6	-0,72222222	0,07716049
-2,5	-0,71428571	0,08163265
-2,4	-0,70588235	0,08650519
-2,3	-0,6969697	0,09182736
-2,2	-0,6875	0,09765625
-2,1	-0,67741935	0,10405827
-2	-0,66666667	0,11111111
-1,9	-0,65517241	0,11890606
-1,8	-0,64285714	0,12755102
-1,7	-0,62962963	0,13717421
-1,6	-0,61538462	0,14792899
-1,5	-0,6	0,16
-1,4	-0,58333333	0,17361111
-1,3	-0,56521739	0,18903592
-1,2	-0,54545455	0,20661157
-1,1	-0,52380952	0,22675737
-1	-0,5	0,25
-0,9	-0,47368421	0,27700831
-0,8	-0,44444444	0,30864198
-0,7	-0,41176471	0,34602076
-0,6	-0,375	0,390625
-0,5	-0,33333333	0,44444444
-0,4	-0,28571429	0,51020408
-0,3	-0,23076923	0,59171598
-0,2	-0,16666667	0,69444444
-0,1	-0,09090909	0,82644628
0	0	1
0,1	0,09090909	0,82644628
0,2	0,16666667	0,69444444
0,3	0,23076923	0,59171598
0,4	0,28571429	0,51020408
0,5	0,33333333	0,44444444
0,6	0,375	0,390625
0,7	0,41176471	0,34602076
0,8	0,44444444	0,30864198
0,9	0,47368421	0,27700831
1	0,5	0,25
1,1	0,52380952	0,22675737
1,2	0,54545455	0,20661157
1,3	0,56521739	0,18903592
1,4	0,58333333	0,17361111
1,5	0,6	0,16
1,6	0,61538462	0,14792899
1,7	0,62962963	0,13717421
1,8	0,64285714	0,12755102
1,9	0,65517241	0,11890606
2	0,66666667	0,11111111
2,1	0,67741935	0,10405827
2,2	0,6875	0,09765625
2,3	0,6969697	0,09182736
2,4	0,70588235	0,08650519
2,5	0,71428571	0,08163265
2,6	0,72222222	0,07716049
2,7	0,72972973	0,07304602
2,8	0,73684211	0,06925208
2,9	0,74358974	0,06574622
3	0,75	0,0625
3,1	0,75609756	0,0594884
3,2	0,76190476	0,05668934
3,3	0,76744186	0,05408329
3,4	0,77272727	0,05165289
3,5	0,77777778	0,04938272
3,6	0,7826087	0,04725898
3,7	0,78723404	0,04526935
3,8	0,79166667	0,04340278
3,9	0,79591837	0,04164931
4	0,8	0,04
4,1	0,80392157	0,03844675
4,2	0,80769231	0,03698225
4,3	0,81132075	0,03559986
4,4	0,81481481	0,03429355
4,5	0,81818182	0,03305785
4,6	0,82142857	0,03188776
4,7	0,8245614	0,0307787
4,8	0,82758621	0,02972652
4,9	0,83050847	0,02872738
5	0,83333333	0,02777778

Hàm Softsign là gì?

Softsign là một hàm kích hoạt (activation function) dùng trong mạng nơ-ron, được định nghĩa bởi công thức \(\varphi(x) = x / (1 + |x|)\). Giống như hàm tang hyperbolic (tanh), Softsign trơn, có dạng chữ S và bị giới hạn trong khoảng mở \((-1, 1)\). Điểm khác biệt mấu chốt nằm ở cách tiệm cận của nó: Softsign tiến tới \(\pm 1\) theo kiểu đa thức (tỉ lệ \(1/|x|\)), còn tanh thì tiến tới theo kiểu lũy thừa. Sự bão hòa chậm hơn này có thể giúp giảm hiện tượng triệt tiêu gradient (vanishing gradient) trong một số kiến trúc mạng.

Hàm Softsign là một đường cong hình chữ S nằm trong khoảng từ -1 đến +1.

Cách sử dụng công cụ này

Bạn nhập ba thông số: Giá trị x ban đầu (giá trị x ở dòng đầu tiên), Bước nhảy (lượng cộng thêm vào mỗi dòng) và Số lần lặp (số dòng cần tạo ra). Công cụ sẽ tạo một bảng gồm \(x\), giá trị Softsign \(\varphi(x)\) và đạo hàm bậc nhất \(\varphi'(x)\) cho từng điểm. Bạn có thể dùng bảng này để vẽ đường cong hoặc tra cứu các giá trị cụ thể.

Giải thích công thức

Với mỗi dòng, đặt \(a = 1 + |x|\). Khi đó $$\varphi(x) = \frac{x}{a}, \qquad \varphi'(x) = \frac{1}{a^2}.$$ Vì \(|x|\) không bao giờ âm nên mẫu số \(a\) luôn lớn hơn hoặc bằng 1, do đó không bao giờ xảy ra phép chia cho 0 và hàm số trơn ở mọi nơi. Hàm Softsign là hàm lẻ (\(\varphi(-x) = -\varphi(x)\)), còn đạo hàm của nó là hàm chẵn (\(\varphi'(-x) = \varphi'(x)\)). Tại gốc tọa độ, \(\varphi(0) = 0\) và \(\varphi'(0) = 1\).

Quảng cáo

Đạo hàm đạt cực đại bằng 1 khi x = 0 và giảm dần về 0 khi |x| tăng.

Ví dụ minh họa

Với \(x = -5\): \(a = 1 + 5 = 6\), nên $$\varphi(-5) = \frac{-5}{6} = -0.8333333, \qquad \varphi'(-5) = \frac{1}{36} = 0.0277778.$$ Với \(x = 1\): \(a = 2\), nên \(\varphi(1) = 0.5\) và \(\varphi'(1) = 0.25\). Với \(x = 0\): \(a = 1\), nên \(\varphi(0) = 0\) và \(\varphi'(0) = 1\). Với các giá trị mặc định (bắt đầu \(-5\), bước \(0.1\), 101 dòng), bảng sẽ quét \(x\) từ \(-5\) đến \(+5\).

Câu hỏi thường gặp

Vì sao đạo hàm không bao giờ âm? Vì \(\varphi'(x) = \dfrac{1}{(1+|x|)^2}\) là nghịch đảo của một bình phương nên luôn dương ngặt, nghĩa là hàm Softsign luôn đồng biến (tăng đơn điệu).

Softsign khác tanh ở chỗ nào? Cả hai đều bão hòa về một khoảng giá trị giới hạn, nhưng Softsign bão hòa từ từ hơn (suy giảm kiểu hữu tỉ) so với suy giảm kiểu lũy thừa của tanh, nhờ đó giữ cho gradient không bị triệt tiêu trên một dải đầu vào rộng hơn.

Bước nhảy có thể âm không? Có. Bước nhảy âm sẽ khiến bảng giảm dần; bước nhảy bằng 0 sẽ lặp lại cùng một giá trị \(x\) ở mọi dòng.