Softsign fonksiyonu nedir?
Softsign, yapay sinir ağlarında kullanılan pürüzsüz bir aktivasyon fonksiyonudur ve \(\phi(x) = x / (1 + |x|)\) şeklinde tanımlanır. Tıpkı hiperbolik tanjant (tanh) gibi her gerçek girdiyi \((-1, 1)\) açık aralığına eşler; ancak doyum sınırlarına çok daha yavaş yaklaşır. Bu yumuşak doyum davranışı, eğitim sırasında karşılaşılan kaybolan gradyan (vanishing-gradient) sorununu hafifletmeye yardımcı olabilir. Bu hesaplama aracı hem fonksiyon değeri \(\phi(x)\)'i hem de asıl çıktı olarak birinci türev \(\phi'(x)\)'i verir.
Bu hesaplama aracı nasıl kullanılır?
x için herhangi bir gerçek sayı girin — pozitif, negatif veya sıfır — ardından \(\phi'(x)\) değerini (Softsign eğrisinin eğimini) ve \(\phi(x)\) değerini (aktivasyon çıktısı) görün. Herhangi bir birim söz konusu değildir; x boyutsuz, saf bir gerçek sayıdır. Varsayılan girdi \(x = 0{,}5\)'tir.
Formülün açıklaması
\(\phi(x) = x / (1 + |x|)\) fonksiyonunun türevi $$\phi'(x) = \frac{1}{\left(1 + \left|x\right|\right)^{2}}$$ şeklindedir. Paydadaki \((1 + |x|)\) ifadesi her zaman en az 1 olduğundan, türev daima kesinlikle pozitiftir ve \((0, 1]\) aralığında yer alır. En büyük değeri olan 1'e, fonksiyonun en dik olduğu \(x = 0\) noktasında ulaşır. \(|x|\) büyüdükçe \(\phi'(x)\) sıfıra doğru küçülür; bu da fonksiyonun doyuma ulaşmasını yansıtır.
Çözümlü örnek
\(x = 0{,}5\) için: \(|x| = 0{,}5\) olduğundan \(1 + |x| = 1{,}5\) olur. Fonksiyon değeri $$\phi(0{,}5) = \frac{0{,}5}{1{,}5} = 0{,}333333\ldots$$ ve türev $$\phi'(0{,}5) = \frac{1}{1{,}5^{2}} = \frac{1}{2{,}25} = 0{,}444444\ldots$$ olarak bulunur. Yani Softsign eğrisinin \(x = 0{,}5\) noktasındaki çıktısı yaklaşık 0,3333, eğimi ise yaklaşık 0,4444'tür.
Sık sorulan sorular
Softsign her noktada türevlenebilir mi? Evet. \(|x|\) ifadesi \(x = 0\) noktasında bir kırılmaya sahip olsa da, \(\phi'\)in bu noktadaki soldan ve sağdan türevlerinin ikisi de 1'e eşittir; dolayısıyla \(\phi\) hem 0 noktasında hem de her yerde türevlenebilirdir.
Türev hiç negatif olabilir mi? Hayır. \(\phi'(x) = \frac{1}{\left(1 + \left|x\right|\right)^{2}}\) ifadesi, pozitif bir sayının karesine bölünen 1 olduğundan her zaman pozitiftir.
Softsign, tanh ile nasıl karşılaştırılır? Her ikisi de \((-1, 1)\) aralığına doyar; ancak Softsign, tanh'ın üstel kuyrukları yerine polinom \((1/x^2)\) tipi kuyruklar kullanır. Bu nedenle daha yavaş doyar ve sıfırdan uzakta biraz daha büyük gradyanları korur.
