Softsign फंक्शन क्या है?
Softsign एक एक्टिवेशन फंक्शन है जो न्यूरल नेटवर्क में इस्तेमाल होता है, और इसे \(\phi(x) = x / (1 + |x|)\) के रूप में परिभाषित किया जाता है। हाइपरबोलिक टैनजेंट (tanh) की तरह यह भी स्मूद, S-आकार वाला होता है और (-1, 1) के खुले अंतराल में सीमित रहता है। मुख्य अंतर यह है कि यह अपने असिम्प्टोट्स तक किस तरह पहुँचता है: Softsign +/-1 तक बहुपदीय (polynomial) तरीके से (\(1/|x|\) के अनुपात में) पहुँचता है, जबकि tanh इसे चरघातांकी (exponential) तरीके से करता है। यह धीमा सैचुरेशन कुछ आर्किटेक्चर में vanishing-gradient की समस्या को कम करने में मदद कर सकता है।
इस कैलकुलेटर का उपयोग कैसे करें
तीन मान दर्ज करें: x का शुरुआती मान (पहली पंक्ति का x), वृद्धि मान (हर पंक्ति में जोड़ा जाने वाला स्टेप), और दोहराव की संख्या (कितनी पंक्तियाँ बनानी हैं)। इसके बाद कैलकुलेटर हर बिंदु के लिए x, Softsign \(\phi(x)\) और पहले अवकलज \(\phi^{\prime}(x)\) की टेबल तैयार करता है, जिसका उपयोग आप ग्राफ बनाने या किसी खास मान की जाँच करने में कर सकते हैं।
सूत्र की व्याख्या
हर पंक्ति के लिए मान लें \(a = 1 + |x|\)। तब $$\phi(x) = \frac{x}{a}, \qquad \phi^{\prime}(x) = \frac{1}{a^{2}}$$ होता है। चूँकि \(|x|\) कभी ऋणात्मक नहीं होता, इसलिए हर \(a\) हमेशा कम-से-कम 1 होता है — इस कारण शून्य से भाग कभी नहीं होता और फंक्शन हर जगह स्मूद रहता है। Softsign फंक्शन विषम (odd) है (\(\phi(-x) = -\phi(x)\)), जबकि इसका अवकलज सम (even) है (\(\phi^{\prime}(-x) = \phi^{\prime}(x)\))। मूल बिंदु पर \(\phi(0) = 0\) और \(\phi^{\prime}(0) = 1\) होता है।
हल किया हुआ उदाहरण
\(x = -5\) के लिए: \(a = 1 + 5 = 6\), इसलिए \(\phi(-5) = -5/6 = -0.8333333\) और \(\phi^{\prime}(-5) = 1/36 = 0.0277778\)। \(x = 1\) के लिए: \(a = 2\), इसलिए \(\phi(1) = 0.5\) और \(\phi^{\prime}(1) = 0.25\)। \(x = 0\) के लिए: \(a = 1\), इसलिए \(\phi(0) = 0\) और \(\phi^{\prime}(0) = 1\)। डिफ़ॉल्ट मानों के साथ (शुरुआत -5, स्टेप 0.1, 101 पंक्तियाँ) टेबल x को -5 से +5 तक स्कैन करती है।
अक्सर पूछे जाने वाले सवाल
अवकलज कभी ऋणात्मक क्यों नहीं होता? क्योंकि \(\phi^{\prime}(x) = \frac{1}{(1+|x|)^{2}}\) एक वर्ग का व्युत्क्रम है, यह हमेशा कड़ाई से धनात्मक रहता है — इसका मतलब है कि Softsign एकदिशीय रूप से बढ़ता (monotonically increasing) है।
Softsign, tanh से कैसे अलग है? दोनों ही एक सीमित रेंज में सैचुरेट होते हैं, लेकिन Softsign अधिक धीरे-धीरे (परिमेय क्षय) सैचुरेट होता है जबकि tanh चरघातांकी क्षय के साथ — इससे ग्रेडिएंट इनपुट की एक बड़ी रेंज पर सक्रिय बने रहते हैं।
क्या स्टेप ऋणात्मक हो सकता है? हाँ। ऋणात्मक स्टेप से टेबल घटते क्रम में बनती है; शून्य स्टेप से हर पंक्ति पर वही x मान दोहराया जाता है।
