ReLU एक्टिवेशन फ़ंक्शन क्या है?
ReLU, यानी Rectified Linear Unit (रेक्टिफाइड लीनियर यूनिट), आज के डीप लर्निंग और न्यूरल नेटवर्क में सबसे ज़्यादा इस्तेमाल होने वाले एक्टिवेशन फ़ंक्शन में से एक है। इसका सूत्र है \(f(x) = \max(0,\ x)\) — यानी जो इनपुट धनात्मक (positive) होते हैं, वे ज्यों-के-त्यों आगे निकल जाते हैं, जबकि ऋणात्मक (negative) इनपुट और शून्य को 0 बना दिया जाता है। यह सीधा-सादा नियम नेटवर्क में non-linearity (अरेखीयता) ले आता है, और साथ ही इसकी गणना बेहद आसान और तेज़ रहती है। यही वजह है कि आज ज़्यादातर कन्वोल्यूशनल और फुली कनेक्टेड लेयर में ReLU का ही बोलबाला है।
इस कैलकुलेटर का इस्तेमाल कैसे करें
x वाले फ़ील्ड में कोई भी वास्तविक संख्या डालिए और कैलकुलेटर आपको \(f(x) = \text{ReLU}(x)\) का नतीजा दे देगा। ऋणात्मक, शून्य या धनात्मक — तीनों तरह के मान मान्य हैं। जब x, 0 से बड़ा होता है तो नतीजा x के बराबर होता है, और जब x शून्य या ऋणात्मक होता है तो नतीजा 0 आता है। इसके अलावा कैलकुलेटर प्रचलित अवकलज (derivative) भी बताता है: धनात्मक इनपुट के लिए 1 और बाकी सभी मामलों में 0।
सूत्र को समझें
ReLU फ़ंक्शन को खंडशः (piecewise) इस तरह परिभाषित किया जाता है: यदि \(x > 0\) तो \(f(x) = x\), और यदि \(x \le 0\) तो \(f(x) = 0\)। $$\text{ReLU}(x) = \max\left(0,\ x\right)$$ इसका डोमेन सभी वास्तविक संख्याएँ \((-\infty,\ +\infty)\) हैं और इसकी रेंज \([0,\ +\infty)\) है। ReLU हर जगह सतत (continuous) है, मगर तकनीकी रूप से ठीक \(x = 0\) पर इसका अवकलज परिभाषित नहीं होता; परंपरा के अनुसार वहाँ इसे 0 मान लिया जाता है। इस तरह \(x \le 0\) के लिए \(f'(x) = 0\) और \(x > 0\) के लिए \(f'(x) = 1\) होता है। चूँकि इसमें कहीं भाग (division) नहीं होता, इसलिए किसी भी विशेष किनारे की स्थिति (edge case) से बचने की ज़रूरत नहीं पड़ती।
हल किया हुआ उदाहरण
मान लीजिए \(x = -3.2\) है। तब $$f(x) = \max(0,\ -3.2) = 0,$$ क्योंकि -3.2 ऋणात्मक है। वहीं अगर \(x = 7\) हो, तो $$f(x) = \max(0,\ 7) = 7.$$ और डिफ़ॉल्ट इनपुट \(x = 0.5\) के लिए $$f(x) = \max(0,\ 0.5) = 0.5$$ होगा।
अक्सर पूछे जाने वाले सवाल (FAQ)
ReLU इतना लोकप्रिय क्यों है? यह उस vanishing-gradient (विलुप्त होते ग्रेडिएंट) की समस्या से बच जाता है, जो बड़े इनपुट के लिए sigmoid और tanh को परेशान करती है। साथ ही इसकी गणना बेहद आसान है — बस शून्य से एक तुलना भर करनी होती है।
\(x = 0\) पर क्या होता है? फ़ंक्शन का मान 0 होता है, और अवकलज को परंपरा के अनुसार 0 ही माना जाता है।
ReLU, Sigmoid और Softmax में क्या फ़र्क है? Sigmoid मानों को \((0,\ 1)\) के बीच दबा देता है और Softmax किसी वेक्टर पर एक प्रायिकता वितरण (probability distribution) बनाता है, जबकि ReLU बस एक अकेले मान को ऋणात्मक न रहने देकर सीधा कर देता है।
