ReLU Aktivasyon Fonksiyonu Grafik Hesaplayıcı

Hesaplamaya Girin

x'in başlangıç değeri

Artış (adım)

Tekrar sayısı (adet)

Sonuç

ReLU taraması oluşturuldu

101

points from x = -5 to x = 5

End x5

Min x-5

Max x5

x	f(x) = ReLU(x)
-5	0
-4,9	0
-4,8	0
-4,7	0
-4,6	0
-4,5	0
-4,4	0
-4,3	0
-4,2	0
-4,1	0
-4	0
-3,9	0
-3,8	0
-3,7	0
-3,6	0
-3,5	0
-3,4	0
-3,3	0
-3,2	0
-3,1	0
-3	0
-2,9	0
-2,8	0
-2,7	0
-2,6	0
-2,5	0
-2,4	0
-2,3	0
-2,2	0
-2,1	0
-2	0
-1,9	0
-1,8	0
-1,7	0
-1,6	0
-1,5	0
-1,4	0
-1,3	0
-1,2	0
-1,1	0
-1	0
-0,9	0
-0,8	0
-0,7	0
-0,6	0
-0,5	0
-0,4	0
-0,3	0
-0,2	0
-0,1	0
0	0
0,1	0,1
0,2	0,2
0,3	0,3
0,4	0,4
0,5	0,5
0,6	0,6
0,7	0,7
0,8	0,8
0,9	0,9
1	1
1,1	1,1
1,2	1,2
1,3	1,3
1,4	1,4
1,5	1,5
1,6	1,6
1,7	1,7
1,8	1,8
1,9	1,9
2	2
2,1	2,1
2,2	2,2
2,3	2,3
2,4	2,4
2,5	2,5
2,6	2,6
2,7	2,7
2,8	2,8
2,9	2,9
3	3
3,1	3,1
3,2	3,2
3,3	3,3
3,4	3,4
3,5	3,5
3,6	3,6
3,7	3,7
3,8	3,8
3,9	3,9
4	4
4,1	4,1
4,2	4,2
4,3	4,3
4,4	4,4
4,5	4,5
4,6	4,6
4,7	4,7
4,8	4,8
4,9	4,9
5	5

ReLU aktivasyon fonksiyonu nedir?

Rektifiye Lineer Birim (Rectified Linear Unit), kısaca ReLU, modern yapay sinir ağlarında en yaygın kullanılan aktivasyon fonksiyonlarından biridir. \(f(x) = \max(0, x)\) şeklinde tanımlanır: pozitif bir girdiyi olduğu gibi geri verir, negatif bir girdiyi ise sıfıra eşitler. Bu basit, parçalı doğrusal kural; ağa doğrusal olmayanlık (non-linearity) katarken aynı zamanda hesaplaması son derece ucuz ve türevi kolaydır.

ReLU işlevi, negatif girdiler için sıfır, pozitif girdiler için girdinin kendisini verir.

Bu hesaplayıcı nasıl kullanılır?

Üç değer girmeniz yeterli: x'in başlangıç değeri (taramanın başladığı nokta), artış miktarı yani adım büyüklüğü (x'in her adımda ne kadar değişeceği) ve tekrar sayısı (kaç nokta üretileceği). Araç, her x değeri için ReLU'yu hesaplar, eksiksiz bir (x, f(x)) veri tablosu oluşturur ve orijinde köşesi bulunan, önce düz sonra yükselen o karakteristik şekli gösteren bir çizgi grafiği çizer.

Formülün açıklaması

ReLU, \(f(x) = \max(0, x)\) ile ifade edilir; yani "x > 0 ise x, değilse 0" anlamına gelir. Tarama şu kuralla üretilir:

$$f(x_k) = \max\left(0,\; x_k\right), \quad x_k = \text{Start }x + k \cdot \text{Step}, \quad k = 0,1,\dots,\text{Count}-1$$

burada \(k\) değeri 0'dan \(\text{iterations} - 1\)'e kadar gider. Dolayısıyla son x değeri (endX), \(\text{startX} + (\text{iterations} - 1) \cdot \text{stepX}\)'e eşittir. Fonksiyon tüm negatif girdilerde sıfır seviyesinde düz kalır, ardından pozitif girdilerde sabit 1 eğimiyle yükselir.

Reklam

ReLU parçalı bir işlevdir: x negatifken f(x)=0, x pozitifken f(x)=x.

Çözümlü örnek

Varsayılan değerleri (\(\text{startX} = -5\), \(\text{stepX} = 0.1\) ve \(\text{iterations} = 101\)) kullanırsak tarama, x'i -5'ten \(-5 + 100 \cdot 0.1 = +5\)'e kadar, 101 noktayı kapsayacak şekilde gezer. \(x = -2.0\) için \(f = \max(0, -2.0) = 0\) olur. \(x = 0\) için \(f = 0\). \(x = 0.1\) için \(f = 0.1\). \(x = 2.5\) için \(f = 2.5\). \(x = 5.0\) için \(f = 5.0\). Çizilen eğri negatif aralık boyunca sıfırda kalır, ardından doğrusal olarak (5, 5) noktasına tırmanır.

Sıkça sorulan sorular

ReLU sıfır noktasında türevlenebilir mi? Hayır. ReLU'nun \(x = 0\)'da bir köşesi (kırılma noktası) vardır, bu yüzden orada türevlenemez. Türevi \(x < 0\) için 0, \(x > 0\) için 1'dir; gelenek olarak sıfır noktasındaki türev çoğu zaman 0 kabul edilir.

Adım değeri negatif olabilir mi? Evet. Negatif adım, x'i azalan yönde tarar. Adımın sıfır olması ise her x'i başlangıç değerine eşitler (sabit bir sütun oluşturan dejenere durum).

ReLU neden bu kadar popüler? Pozitif girdilerde sigmoid ve tanh fonksiyonlarında görülen kaybolan gradyan (vanishing gradient) sorununu önler, hesaplaması çok basittir ve genellikle seyrek aktivasyonlar üretir; bu da eğitimi çoğu kez hızlandırır.