Leaky ReLU aktivasyon fonksiyonu nedir?
Leaky ReLU (Sızıntılı Doğrultulmuş Doğrusal Birim), derin sinir ağlarında sıkça kullanılan bir aktivasyon fonksiyonudur. Standart ReLU gibi pozitif girdileri doğrudan geçirir; ancak negatif girdileri sıfıra düşürmek yerine onlara küçük ve sıfırdan farklı bir eğim olan alpha değerini uygular. Böylece negatif ön aktivasyonlarda dahi küçük bir gradyan akmaya devam eder ve nöronların sürekli sıfır üretip öğrenmeyi durdurduğu "ölen ReLU" (dying ReLU) sorununun önüne geçilmesine yardımcı olur.
Formül
Bir \(x\) girdisi ve sızıntı eğimi \(\alpha\) için çıktı şöyledir:
$$f(\text{x}) = \begin{cases} \text{x} & \text{if } \text{x} > 0 \\[0.5em] \alpha \cdot \text{x} & \text{if } \text{x} \le 0 \end{cases}$$Varsayılan sızıntı değeri \(\alpha = 0{,}01\)'dir. İki özel durum dikkat çekicidir: \(\alpha = 0\) fonksiyonu standart ReLU'ya (\(\max(0, \text{x})\)) dönüştürür; \(\alpha = 1\) ise fonksiyonu \(f(\text{x}) = \text{x}\) özdeşlik doğrusuna indirger.
Bu hesaplama aracı nasıl kullanılır?
Başlangıç \(x\) değerini, noktalar arasındaki adım büyüklüğünü, üretilecek nokta sayısını ve sızıntı eğimi \(\alpha\)'yı girin. Araç, \(i = 0\)'dan \(\text{count}-1\)'e kadar
$$x_i = \text{Initial x} + i \cdot \text{Step}, \quad i = 0, 1, \dots, \text{Count} - 1$$dizisini oluşturur, her noktada \(f\) değerini hesaplar ve eğrinin grafiğiyle birlikte \((x, f(x))\) çiftlerini listeler. Ayrıca tek bir \(x\) değeri yazarak \(f(x)\) için doğrudan tek bir hesaplama da yapabilirsiniz.
Örnek hesaplama
\(\alpha = 0{,}01\) ile: \(x = -4\) noktasında girdi pozitif olmadığından \(f = 0{,}01 \times (-4) = -0{,}04\) olur. \(x = 0\) noktasında \(f = 0\)'dır. \(x = 3\) noktasında girdi pozitif olduğundan \(f = 3\) olur. Varsayılan değerler (\(\text{startX} = -4\), \(\text{stepX} = 0{,}05\), \(\text{count} = 101\)) kullanıldığında tarama \(x = -4\)'ten (\(f = -0{,}04\)) başlar ve \(x = +1{,}0\)'a (\(f = 1{,}0\)) kadar ilerler; sıfır noktasını 81. noktada (\(i = 80\)) keser.
Sıkça Sorulan Sorular
Leaky ReLU, ReLU'dan nasıl farklıdır? ReLU tüm negatif girdiler için tam olarak \(0\) üretir; Leaky ReLU ise küçük bir negatif değer olan \(\alpha \cdot \text{x}\)'i üreterek gradyanı korur.
\(\alpha\) için iyi bir değer nedir? \(0{,}01\) yaygın olarak kullanılan varsayılan değerdir. Parametrik ReLU gibi varyantlar \(\alpha\) değerini eğitim sırasında kendileri öğrenir.
\(\alpha\) negatif olabilir mi? Matematiksel olarak evet, ancak bu alışılmadık bir durumdur ve standart ağlar için önerilmez.
