Softsign fonksiyonu nedir?
Softsign, yapay sinir ağlarında kullanılan ve \(\phi(x) = \frac{x}{1+|x|}\) şeklinde tanımlanan bir aktivasyon fonksiyonudur. Hiperbolik tanjant (tanh) gibi pürüzsüz, S biçimli ve \((-1, 1)\) açık aralığıyla sınırlıdır. Temel fark, asimptotlarına nasıl yaklaştıklarıdır: Softsign \(\pm 1\) değerlerine polinom hızında (\(1/|x|\) gibi), tanh ise üstel hızda yaklaşır. Bu daha yavaş doyma davranışı, bazı mimarilerde kaybolan gradyan (vanishing gradient) etkisini azaltmaya yardımcı olabilir.
Bu hesaplayıcı nasıl kullanılır?
Üç değer girin: x'in başlangıç değeri (ilk satırdaki x), Artış değeri (her satırda eklenen adım) ve Tekrar sayısı (kaç satır üretileceği). Hesaplayıcı, her nokta için x, Softsign \(\phi(x)\) ve birinci türev \(\phi^{\prime}(x)\) değerlerini içeren bir tablo oluşturur; bu tabloyu eğrileri çizmek veya belirli değerleri incelemek için kullanabilirsiniz.
Formülün açıklaması
Her satır için \(a = 1 + |x|\) olsun. Bu durumda \(\phi(x) = \frac{x}{a}\) ve \(\phi^{\prime}(x) = \frac{1}{a^{2}}\) olur. \(|x|\) asla negatif olamayacağı için, payda olan \(a\) her zaman en az 1'dir; dolayısıyla hiçbir zaman sıfıra bölme oluşmaz ve fonksiyon her noktada pürüzsüzdür. Softsign fonksiyonu tek fonksiyondur (\(\phi(-x) = -\phi(x)\)), türevi ise çift fonksiyondur (\(\phi^{\prime}(-x) = \phi^{\prime}(x)\)). Orijinde \(\phi(0) = 0\) ve \(\phi^{\prime}(0) = 1\)'dir.
Çözümlü örnek
\(x = -5\) için: \(a = 1 + 5 = 6\), dolayısıyla $$\phi(-5) = \frac{-5}{6} = -0.8333333$$ ve $$\phi^{\prime}(-5) = \frac{1}{36} = 0.0277778.$$ \(x = 1\) için: \(a = 2\), dolayısıyla \(\phi(1) = 0.5\) ve \(\phi^{\prime}(1) = 0.25\). \(x = 0\) için: \(a = 1\), dolayısıyla \(\phi(0) = 0\) ve \(\phi^{\prime}(0) = 1\). Varsayılan değerlerle (başlangıç -5, adım 0.1, 101 satır) tablo, x'i -5'ten +5'e kadar tarar.
Sık sorulan sorular
Türev neden hiç negatif olmaz? \(\phi^{\prime}(x) = \frac{1}{(1+|x|)^{2}}\) bir karenin tersi olduğundan her zaman kesinlikle pozitiftir; bu da Softsign'ın monoton olarak arttığı anlamına gelir.
Softsign ile tanh arasındaki fark nedir? İkisi de sınırlı bir aralığa doyar; ancak Softsign daha kademeli doyar (rasyonel azalma), tanh ise üstel azalma gösterir. Bu sayede Softsign, gradyanları daha geniş bir giriş aralığında canlı tutar.
Adım negatif olabilir mi? Evet. Negatif adım tablonun azalmasını sağlar; sıfır adım ise her satırda aynı x değerini tekrarlar.