Leaky ReLU एक्टिवेशन फंक्शन क्या है?
Leaky ReLU (Leaky Rectified Linear Unit) डीप न्यूरल नेटवर्क में इस्तेमाल होने वाला एक लोकप्रिय एक्टिवेशन फंक्शन है। सामान्य ReLU की तरह यह पॉज़िटिव इनपुट को सीधे आगे भेज देता है, लेकिन नेगेटिव इनपुट को शून्य पर सपाट करने के बजाय उन्हें एक छोटा-सा नॉन-ज़ीरो ढलान \(\alpha\) देता है। इससे नेगेटिव प्री-एक्टिवेशन के लिए भी एक हल्का ग्रेडिएंट बहता रहता है और "dying ReLU" की समस्या से बचाव होता है — वह स्थिति जहाँ न्यूरॉन हमेशा शून्य देने लगते हैं और सीखना बंद कर देते हैं।
फॉर्मूला
किसी इनपुट \(x\) और लीक ढलान \(\alpha\) के लिए आउटपुट होता है
$$f(x) = \begin{cases} x & \text{if } x > 0 \\[0.5em] \alpha \cdot x & \text{if } x \le 0 \end{cases}$$डिफ़ॉल्ट लीक \(\alpha = 0.01\) है। दो खास मामले ध्यान देने लायक हैं: \(\alpha = 0\) होने पर यह सामान्य ReLU (\(\max(0, x)\)) बन जाता है, और \(\alpha = 1\) होने पर फंक्शन आइडेंटिटी रेखा \(f(x) = x\) में बदल जाता है।
इस कैलकुलेटर का उपयोग कैसे करें
\(x\) का प्रारंभिक मान, बिंदुओं के बीच का स्टेप साइज़, कितने बिंदु बनाने हैं उनकी संख्या, और लीक ढलान \(\alpha\) दर्ज करें। यह टूल क्रम
$$x_i = \text{startX} + i \cdot \text{stepX}, \quad i = 0, 1, \dots, \text{count} - 1$$बनाता है, हर बिंदु पर \(f\) का मान निकालता है, और \((x, f(x))\) जोड़ों की सूची के साथ कर्व का प्लॉट दिखाता है। आप किसी एक \(x\) मान को टाइप करके सीधे \(f(x)\) का एक मान भी पा सकते हैं।
हल किया हुआ उदाहरण
\(\alpha = 0.01\) के साथ: \(x = -4\) पर इनपुट नॉन-पॉज़िटिव है, इसलिए \(f = 0.01 \times (-4) = -0.04\)। \(x = 0\) पर \(f = 0\)। \(x = 3\) पर इनपुट पॉज़िटिव है, इसलिए \(f = 3\)। डिफ़ॉल्ट मानों (\(\text{startX} = -4\), \(\text{stepX} = 0.05\), \(\text{count} = 101\)) के साथ स्वीप \(x = -4\) (\(f = -0.04\)) से शुरू होकर \(x = +1.0\) (\(f = 1.0\)) तक चलती है, और 81वें बिंदु (\(i = 80\)) पर शून्य को पार करती है।
अक्सर पूछे जाने वाले सवाल
Leaky ReLU, ReLU से कैसे अलग है? ReLU हर नेगेटिव इनपुट के लिए ठीक 0 देता है; जबकि Leaky ReLU एक छोटा नेगेटिव मान \(\alpha \cdot x\) देता है, जिससे ग्रेडिएंट बना रहता है।
\(\alpha\) का अच्छा मान क्या है? 0.01 आम डिफ़ॉल्ट है। Parametric ReLU जैसे वैरिएंट ट्रेनिंग के दौरान \(\alpha\) को खुद सीख लेते हैं।
क्या \(\alpha\) नेगेटिव हो सकता है? गणितीय रूप से हाँ, लेकिन यह असामान्य है और सामान्य नेटवर्क के लिए इसकी सलाह नहीं दी जाती।
