Softplus fonksiyonu nedir?
Softplus fonksiyonu, \(f(x) = \ln(1 + e^x)\), sinir ağlarında kullanılan ReLU (doğrultulmuş doğrusal birim) aktivasyonunun düzgün ve türevlenebilir bir yaklaşımıdır. Sıfır noktasında keskin bir köşesi olan ReLU'nun aksine, Softplus her noktada pürüzsüzdür ve her zaman kesinlikle pozitiftir. Bu hesaplama aracı, seçtiğiniz bir aralıkta x, f(x) ve onun birinci türevini içeren bir tablo oluşturur; ayrıca her iki eğriyi de çizerek karakteristik yumuşak S'ten rampaya geçen şekli görmenizi sağlar.
Nasıl kullanılır?
Üç değer girin: x'in başlangıç değeri (ilk apsis), Artış miktarı (noktalar arası aralık) ve Tekrar sayısı (kaç satır üretileceği). Örneğin başlangıç değeri -5, artış miktarı 0,1 ve 101 tekrar ile x değerleri -5,0'dan +5,0'a kadar üretilir. Sonuç olarak kaydırılabilir bir tablo ile Softplus ve türevinin grafiğini elde edersiniz.
Formülün açıklaması
Softplus, \(f(x) = \ln(1 + e^x)\) ile tanımlanır.
$$f(x) = \ln\!\left(1 + e^{x}\right), \qquad f^{\prime}(x) = \frac{1}{1 + e^{-x}}$$Türevi ise \(f'(x) = e^x / (1 + e^x) = 1 / (1 + e^{-x})\) olup tam olarak lojistik sigmoid fonksiyonudur. x büyük ve pozitif değerlere gittikçe f(x) değeri x'e, f'(x) ise 1'e yaklaşır; x büyük ve negatif değerlere gittikçe f(x) değeri 0'a, f'(x) de 0'a yaklaşır. Büyük x değerlerinde taşmayı (overflow) önlemek için araç, sayısal olarak kararlı \(f(x) = \max(x, 0) + \ln(1 + e^{-|x|})\) formunu kullanır.
Çözümlü örnek
x = 0 için: \(f(0) = \ln(2) = 0{,}693147\) ve \(f'(0) = 0{,}5\). x = 1 için: \(f(1) = \ln(1 + 2{,}718282) = 1{,}313262\) ve \(f'(1) = 1/(1 + e^{-1}) = 0{,}731059\). x = -1 için: \(f(-1) = 0{,}313262\) ve \(f'(-1) = 0{,}268941\). Burada \(f(x) - f(-x) = x\) özdeşliğine dikkat edin; örneğin \(1{,}313262 - 0{,}313262 = 1\).
Sıkça sorulan sorular
Neden ReLU yerine Softplus kullanılır? Softplus pürüzsüzdür ve her noktada sıfırdan farklı bir gradyana sahiptir; bu da gradyana dayalı optimizasyona yardımcı olabilir. Ancak ReLU hesaplama açısından daha ucuzdur.
Çıktı her zaman pozitif midir? Evet. Her sonlu x için \(1 + e^x > 1\) olduğundan \(\ln(1 + e^x) > 0\) olur.
Türev neyi temsil eder? Softplus eğrisinin eğimini temsil eder ve lojistik sigmoide eşittir; 0'dan 1'e doğru monoton biçimde artar ve x = 0 noktasında 0,5 değerini alır.
