ReLU एक्टिवेशन फ़ंक्शन ग्राफ़ कैलकुलेटर

गणना दर्ज करें

x की शुरुआती वैल्यू

इन्क्रीमेंट (स्टेप)

रिपीटीशन की संख्या (काउंट)

परिणाम

ReLU स्वीप जनरेट हुआ

101

points from x = -5 to x = 5

End x5

Min x-5

Max x5

x	f(x) = ReLU(x)
-5	0
-4.9	0
-4.8	0
-4.7	0
-4.6	0
-4.5	0
-4.4	0
-4.3	0
-4.2	0
-4.1	0
-4	0
-3.9	0
-3.8	0
-3.7	0
-3.6	0
-3.5	0
-3.4	0
-3.3	0
-3.2	0
-3.1	0
-3	0
-2.9	0
-2.8	0
-2.7	0
-2.6	0
-2.5	0
-2.4	0
-2.3	0
-2.2	0
-2.1	0
-2	0
-1.9	0
-1.8	0
-1.7	0
-1.6	0
-1.5	0
-1.4	0
-1.3	0
-1.2	0
-1.1	0
-1	0
-0.9	0
-0.8	0
-0.7	0
-0.6	0
-0.5	0
-0.4	0
-0.3	0
-0.2	0
-0.1	0
0	0
0.1	0.1
0.2	0.2
0.3	0.3
0.4	0.4
0.5	0.5
0.6	0.6
0.7	0.7
0.8	0.8
0.9	0.9
1	1
1.1	1.1
1.2	1.2
1.3	1.3
1.4	1.4
1.5	1.5
1.6	1.6
1.7	1.7
1.8	1.8
1.9	1.9
2	2
2.1	2.1
2.2	2.2
2.3	2.3
2.4	2.4
2.5	2.5
2.6	2.6
2.7	2.7
2.8	2.8
2.9	2.9
3	3
3.1	3.1
3.2	3.2
3.3	3.3
3.4	3.4
3.5	3.5
3.6	3.6
3.7	3.7
3.8	3.8
3.9	3.9
4	4
4.1	4.1
4.2	4.2
4.3	4.3
4.4	4.4
4.5	4.5
4.6	4.6
4.7	4.7
4.8	4.8
4.9	4.9
5	5

ReLU एक्टिवेशन फ़ंक्शन क्या है?

रेक्टिफ़ाइड लीनियर यूनिट, यानी ReLU, आज के न्यूरल नेटवर्क में सबसे ज़्यादा इस्तेमाल होने वाले एक्टिवेशन फ़ंक्शनों में से एक है। इसे \(f(x) = \max(0, x)\) के रूप में परिभाषित किया जाता है: किसी भी पॉज़िटिव इनपुट के लिए यह इनपुट को जस का तस लौटा देता है, और किसी भी नेगेटिव इनपुट के लिए यह शून्य लौटाता है। यह सरल पीसवाइज़-लीनियर नियम नेटवर्क में नॉन-लीनियरिटी लाता है, फिर भी इसे कंप्यूट करना बेहद सस्ता और डिफ़रेंशिएट करना आसान रहता है।

ReLU फलन ऋणात्मक इनपुट के लिए शून्य और धनात्मक इनपुट के लिए इनपुट को ही लौटाता है।

इस कैलकुलेटर का उपयोग कैसे करें

तीन वैल्यू दर्ज करें: x की शुरुआती वैल्यू (जहाँ से स्वीप शुरू होता है), इन्क्रीमेंट या स्टेप साइज़ (हर बार x में कितना बदलाव होता है), और रिपीटीशन की संख्या (कितने पॉइंट जनरेट करने हैं)। टूल हर x वैल्यू पर ReLU की गणना करता है, एक पूरा \((x, f(x))\) डेटा टेबल बनाता है, और एक लाइन ग्राफ़ खींचता है जो वह पहचानी जाने वाली आकृति दिखाता है — पहले सपाट, फिर ऊपर चढ़ती हुई, जिसका मोड़ ऑरिजिन पर होता है।

फ़ॉर्मूला समझें

ReLU है \(f(x) = \max(0, x)\), जो इसके बराबर है "अगर \(x > 0\) तो \(x\), वरना 0"। स्वीप इस नियम से बनता है:

$$x_k = \text{startX} + k \cdot \text{stepX}, \quad k = 0,1,\dots,\text{iterations}-1$$

इसलिए अंतिम x वैल्यू \(\text{endX} = \text{startX} + (\text{iterations} - 1) \cdot \text{stepX}\) के बराबर होती है। यह फ़ंक्शन सभी नेगेटिव इनपुट पर शून्य पर सपाट रहता है, और पॉज़िटिव इनपुट के लिए 1 की स्थिर ढलान (slope) के साथ ऊपर उठता है।

विज्ञापन

ReLU खंडवार है: x ऋणात्मक होने पर f(x)=0 और x धनात्मक होने पर f(x)=x।

हल किया हुआ उदाहरण

डिफ़ॉल्ट व␣ैल्यू \(\text{startX} = -5\), \(\text{stepX} = 0.1\), और \(\text{iterations} = 101\) का उपयोग करते हुए, स्वीप x को -5 से \(-5 + 100 \cdot 0.1 = +5\) तक 101 समावेशी पॉइंट्स में कवर करता है। \(x = -2.0\) पर, \(f = \max(0, -2.0) = 0\)। \(x = 0\) पर, \(f = 0\)। \(x = 0.1\) पर, \(f = 0.1\)। \(x = 2.5\) पर, \(f = 2.5\)। \(x = 5.0\) पर, \(f = 5.0\)। प्लॉट किया गया कर्व पूरी नेगेटिव रेंज में शून्य पर रहता है, फिर रैखिक रूप से चढ़कर \((5, 5)\) तक पहुँचता है।

अक्सर पूछे जाने वाले सवाल

क्या ReLU शून्य पर डिफ़रेंशिएबल है? नहीं। ReLU में \(x = 0\) पर एक मोड़ (kink) होता है, इसलिए यह वहाँ डिफ़रेंशिएबल नहीं है। इसका डेरिवेटिव \(x < 0\) के लिए 0 और \(x > 0\) के लिए 1 होता है; परंपरा के अनुसार 0 पर डेरिवेटिव को अक्सर 0 मान लिया जाता है।

क्या स्टेप नेगेटिव हो सकता है? हाँ। नेगेटिव स्टेप x को नीचे की ओर स्वीप करता है। शून्य स्टेप से हर x शुरुआती वैल्यू के बराबर हो जाता है (एक डिजेनरेट स्थिर कॉलम)।

ReLU इतना लोकप्रिय क्यों है? पॉज़िटिव इनपुट के लिए यह सिग्मॉइड और tanh की वैनिशिंग-ग्रेडिएंट समस्या से बचाता है, कंप्यूटेशनल रूप से बेहद आसान है, और स्पार्स एक्टिवेशन पैदा करता है, जिससे अक्सर ट्रेनिंग तेज़ हो जाती है।