Softsign फंक्शन क्या है?
Softsign एक स्मूद (सहज) एक्टिवेशन फंक्शन है, जिसका इस्तेमाल न्यूरल नेटवर्क्स में होता है। इसे \(\phi(x) = x / (1 + |x|)\) के रूप में परिभाषित किया जाता है। यह किसी भी वास्तविक इनपुट को \((-1, 1)\) की खुली रेंज में मैप करता है — ठीक वैसे ही जैसे हाइपरबोलिक टैंजेंट (tanh) करता है, लेकिन यह अपनी सैचुरेशन सीमा तक ज़्यादा धीरे-धीरे पहुँचता है। यह हल्की सैचुरेशन ट्रेनिंग के दौरान वैनिशिंग-ग्रेडिएंट की समस्या को कम करने में मदद कर सकती है। यह कैलकुलेटर फंक्शन का मान \(\phi(x)\) तो देता ही है, साथ ही अपने मुख्य आउटपुट के रूप में पहला डेरिवेटिव \(\phi'(x)\) भी निकालता है।
इस कैलकुलेटर का उपयोग कैसे करें
x के लिए कोई भी वास्तविक संख्या डालें — धनात्मक, ऋणात्मक या शून्य — और \(\phi'(x)\) (Softsign कर्व का ढलान) के साथ-साथ \(\phi(x)\) (एक्टिवेशन आउटपुट) देखें। इसमें कोई इकाई (यूनिट) शामिल नहीं है; x एक शुद्ध, विमारहित (dimensionless) वास्तविक संख्या है। डिफ़ॉल्ट इनपुट \(x = 0.5\) है।
फ़ॉर्मूला की व्याख्या
\(\phi(x) = x / (1 + |x|)\) का डेरिवेटिव $$\phi'(x) = \frac{1}{\left(1 + \left|x\right|\right)^{2}}$$ होता है। चूँकि हर (denominator) यानी \((1 + |x|)\) हमेशा कम से कम 1 रहता है, इसलिए डेरिवेटिव हमेशा कड़ाई से धनात्मक रहता है और \((0, 1]\) की रेंज में आता है। इसका अधिकतम मान 1, \(x = 0\) पर मिलता है, जहाँ फंक्शन सबसे तीव्र (steepest) होता है। जैसे-जैसे \(|x|\) बड़ा होता जाता है, \(\phi'(x)\) घटकर 0 की ओर बढ़ता है, जो फंक्शन की सैचुरेशन को दर्शाता है।
हल किया हुआ उदाहरण
मान लीजिए \(x = 0.5\): तब \(|x| = 0.5\), यानी \(1 + |x| = 1.5\)। फंक्शन का मान $$\phi(0.5) = \frac{0.5}{1.5} = 0.333333\ldots$$ होगा, और डेरिवेटिव $$\phi'(0.5) = \frac{1}{1.5^{2}} = \frac{1}{2.25} = 0.444444\ldots$$ आएगा। यानी \(x = 0.5\) पर Softsign कर्व का आउटपुट लगभग 0.3333 और ढलान लगभग 0.4444 होता है।
अक्सर पूछे जाने वाले सवाल (FAQ)
क्या Softsign हर जगह डिफरेंशिएबल है? हाँ। भले ही \(|x|\) में \(x = 0\) पर एक मोड़ (kink) होता है, फिर भी वहाँ \(\phi\) के बाएँ और दाएँ दोनों डेरिवेटिव 1 के बराबर होते हैं, इसलिए \(\phi\), \(x = 0\) पर और हर अन्य बिंदु पर डिफरेंशिएबल है।
क्या डेरिवेटिव कभी ऋणात्मक हो सकता है? नहीं। \(\phi'(x) = 1 / (1 + |x|)^2\) हमेशा धनात्मक रहता है, क्योंकि यह एक वर्ग की हुई धनात्मक संख्या से 1 को भाग देकर मिलता है।
Softsign की tanh से तुलना कैसी है? दोनों ही \((-1, 1)\) में सैचुरेट होते हैं, लेकिन Softsign tanh की एक्सपोनेंशियल टेल के बजाय पॉलिनोमियल \((1/x^2)\) टेल का उपयोग करता है। इसलिए यह ज़्यादा धीरे सैचुरेट होता है और शून्य से दूर के बिंदुओं पर थोड़े बड़े ग्रेडिएंट बनाए रखता है।
