Sigmoid fonksiyonu nedir?
Sigmoid ya da lojistik fonksiyon, herhangi bir gerçek sayıyı yumuşak, S biçimli bir eğriyle (0, 1) açık aralığına sıkıştırır. \(\sigma(x) = \frac{1}{1 + e^{-\text{a}\,x}}\) şeklinde tanımlanan bu fonksiyon, yapay sinir ağlarında en sık kullanılan aktivasyon fonksiyonlarından biridir; ayrıca lojistik regresyon, olasılık modelleme ve büyüme eğrilerinin de vazgeçilmezidir. Kazanç parametresi \(\text{a}\), geçişin ne kadar dik olacağını belirler: \(\text{a} = 1\) olduğunda ders kitaplarındaki klasik sigmoid'i elde edersiniz, daha büyük \(\text{a}\) değerleri ise geçişi adım fonksiyonuna doğru sıkıştırır.
Bu hesaplayıcı nasıl kullanılır?
Önce kazanç değeri \(\text{a}\)'yı, ardından fonksiyonu değerlendirmek istediğiniz aralığı girin: x minimum, x maksimum ve x adımı (artış miktarı). Araç her adımda \(\sigma(x)\), birinci türevi \(\sigma^{\prime}(x)\) ve ikinci türevi \(\sigma^{\prime\prime}(x)\) için bir tablo oluşturur; isteğe bağlı olarak girdiğiniz tek bir x değeri için de noktasal sonuçları gösterir. Adımın sıfırdan büyük ve x maksimumun en az x minimum kadar olduğundan emin olun; aksi takdirde tabloda hiçbir satır oluşmaz.
Formüllerin açıklaması
Türevler, \(\sigma\)'nın kendisi cinsinden yazıldığında oldukça sade biçimler alır. Türev alındığında $$\sigma^{\prime}(x) = \text{a}\,\sigma(x)\bigl(1 - \sigma(x)\bigr)$$ elde edilir; bu ifade her zaman pozitiftir (eğri tekdüze artar) ve büküm noktası olan \(x = 0\)'da en yüksek değeri olan \(\frac{\text{a}}{4}\)'e ulaşır. İkinci türev $$\sigma^{\prime\prime}(x) = \text{a}^{2}\,\sigma(x)\bigl(1 - \sigma(x)\bigr)\bigl(1 - 2\,\sigma(x)\bigr)$$ \(\sigma\)'nın 0,5 olduğu \(x = 0\) noktasında işaret değiştirir ve bu da büküm noktasını doğrular.
Örnek çözüm
\(\text{a} = 1\) ve \(x = 2\) alalım. Bu durumda \(e^{-2} = 0{,}135335\) olur ve $$\sigma(2) = \frac{1}{1{,}135335} = 0{,}880797$$ bulunur. Birinci türev \(0{,}880797 \cdot (1 - 0{,}880797) = 0{,}104994\)'tür. İkinci türev ise $$0{,}104994 \cdot (1 - 2 \cdot 0{,}880797) = 0{,}104994 \cdot (-0{,}761594) = -0{,}079963$$ olur. \(x = 0\) noktasında değerler \(\sigma = 0{,}5\), \(\sigma^{\prime} = 0{,}25\) ve \(\sigma^{\prime\prime} = 0\)'dır.
Sık Sorulan Sorular
Kazanç \(\text{a}\) ne işe yarar? Girdiyi ölçekler. Daha büyük bir \(\text{a}\), eğrinin \(x = 0\) çevresinde daha hızlı yükselmesini sağlar; \(\text{a}\) büyüdükçe sigmoid keskin bir adım fonksiyonuna yaklaşır, \(\text{a} = 0\) olduğunda ise 0,5 düzeyinde düz bir çizgi elde edilir.
En dik nokta neresidir? Her zaman \(x = 0\)'dır; bu noktada eğim \(\frac{\text{a}}{4}\)'e eşittir ve ikinci türev sıfırdır.
Çıktı neden hiçbir zaman tam olarak 0 veya 1 olmaz? Üstel fonksiyon sonlu bir x için asla sıfıra ulaşmaz; bu nedenle \(\sigma\) her zaman (0, 1) aralığının kesin olarak içinde kalır. \(|\text{a}\cdot x|\) çok büyük olduğunda değer sayısal olarak 0 veya 1'e yuvarlanır ve bu hesaplayıcı bu durumu güvenli şekilde ele alır.
Sigmoid ve Türevlerinin Referans Değerleri (a = 1)
Standart lojistik fonksiyon \(\sigma(x)=\frac{1}{1+e^{-x}}\) için türevler \(\sigma'(x)=\sigma(x)\,(1-\sigma(x))\) ve \(\sigma''(x)=\sigma(x)\,(1-\sigma(x))\,(1-2\sigma(x))\) şeklindedir. Değerler 6 ondalık basamağa yuvarlanmıştır.
| x | σ(x) | σ′(x) | σ″(x) |
|---|---|---|---|
| -6 | 0.002473 | 0.002467 | 0.002454 |
| -4 | 0.017986 | 0.017663 | 0.017028 |
| -3 | 0.047426 | 0.045177 | 0.040892 |
| -2 | 0.119203 | 0.104994 | 0.079963 |
| -1 | 0.268941 | 0.196612 | 0.090858 |
| 0 | 0.500000 | 0.250000 | 0.000000 |
| 1 | 0.731059 | 0.196612 | -0.090858 |
| 2 | 0.880797 | 0.104994 | -0.079963 |
| 3 | 0.952574 | 0.045177 | -0.040892 |
| 4 | 0.982014 | 0.017663 | -0.017028 |
| 6 | 0.997527 | 0.002467 | -0.002454 |
Simetri
- \(\sigma(-x)=1-\sigma(x)\): eğri (0, 0.5) noktasına göre nokta simetriktir.
- \(\sigma'(-x)=\sigma'(x)\): birinci türev çift bir fonksiyondur (çan biçimli bir eğri).
- \(\sigma''(-x)=-\sigma''(x)\): ikinci türev tek bir fonksiyondur.
Kazanç a'nın Eğri Üzerindeki Etkisi
Kazanç \(a\) girdiyi ölçeklendirir: \(\sigma(x)=\frac{1}{1+e^{-ax}}\), \(\sigma'(x)=a\,\sigma(1-\sigma)\), \(\sigma''(x)=a^2\,\sigma(1-\sigma)(1-2\sigma)\). Tablo, her kazanç değerini x = 1 için hesaplamaktadır.
| Kazanç a | σ(1) | σ′(1) | σ″(1) | Maksimum eğim a/4 (x = 0'da) | σ, 0.1 ile 0.9 arasında |
|---|---|---|---|---|---|
| 0.5 | 0.622459 | 0.117502 | -0.014389 | 0.125 | |x| < 4.394 |
| 1 | 0.731059 | 0.196612 | -0.090858 | 0.25 | |x| < 2.197 |
| 2 | 0.880797 | 0.209987 | -0.319851 | 0.5 | |x| < 1.099 |
| 5 | 0.993307 | 0.033240 | -0.163975 | 1.25 | |x| < 0.439 |
Maksimum eğim \(\sigma'(0)=a/4\)'tür. \(\sigma=0.1\) ve \(\sigma=0.9\) değerleri \(ax=\mp\ln 9\) olduğunda ortaya çıktığından, geçiş bandı yaklaşık olarak \(|x|<\frac{\ln 9}{a}\approx\frac{2.197}{a}\) kadardır. Daha büyük bir kazanç daha dik ve daha dar bir geçiş sağlar; daha küçük bir kazanç ise daha yumuşak ve daha geniş bir geçiş sağlar. Şunu da not edin: x = 1'de a = 5 için ikinci türevin mutlak değeri, a = 2'ye göre daha küçüktür, çünkü eğri orada zaten doygunluğa ulaşmaya başlamıştır.
Sigmoid ve Türev Değerlerinin Yorumlanması
σ(x): sınırlı, olasılığa benzer çıktı
Sigmoid, her gerçek girdiyi açık aralık (0, 1)'e eşler ve σ(0) = 0.5'tir. Bu nedenle lojistik regresyonda, sinir ağı aktivasyonlarında ve büyüme ya da doygunluk modellerinde kullanılır. 0.88 gibi bir değer olasılığa benzer bir puan olarak okunabilir; ancak model bu şekilde uydurulmuşsa gerçek bir kalibre edilmiş olasılık olur.
σ′(x): hassasiyet veya gradyan
Birinci türev, x'teki birim değişim başına çıktının ne kadar hızlı değiştiğini gösterir. Her zaman pozitiftir, x = 0 iken \(a/4\) değerine ulaşır ve her iki kuyrukta 0'a doğru düşer. \(|a\,x|\) yaklaşık 5'i aştığında σ′ yaklaşık 0.0066·a'nın altına iner ve fonksiyon doygun hale gelir: girdideki büyük değişimler çıktıyı neredeyse hiç değiştirmez. Gradyan tabanlı eğitimde bu, kaybolan gradyan etkisidir, çünkü çok küçük türevler ağırlık güncellemelerini küçük bırakır.
σ″(x): eğrilik
- x < 0 için σ″ > 0: eğri dış bükeydir (yukarı doğru eğilir) ve eğim hâlâ artmaktadır.
- x = 0'da σ″ = 0: eğimin maksimum olduğu bükülme noktasıdır.
- x > 0 için σ″ < 0: eğri iç bükeydir (aşağı doğru eğilir) ve eğim azalmaktadır.
σ″'nin uç değerleri \(\sigma=\frac{1}{2}\pm\frac{1}{2\sqrt{3}}\) olduğunda, yani \(x=\pm\frac{\ln(2+\sqrt{3})}{a}\approx\pm\frac{1.317}{a}\) noktalarında ortaya çıkar. Bunlar eğimin en hızlı değiştiği noktalardır.