सिग्मॉइड फंक्शन क्या है?
सिग्मॉइड, यानी लॉजिस्टिक फंक्शन, किसी भी वास्तविक संख्या को एक चिकनी S-आकार की वक्र के ज़रिए (0, 1) के खुले अंतराल में समेट देता है। इसे $$\sigma(x) = \frac{1}{1 + e^{-\text{a}\,x}}$$ के रूप में परिभाषित किया जाता है। यह न्यूरल नेटवर्क में सबसे ज़्यादा इस्तेमाल होने वाले एक्टिवेशन फंक्शनों में से एक है, और लॉजिस्टिक रिग्रेशन, प्रायिकता मॉडलिंग तथा ग्रोथ कर्व्स का अहम हिस्सा भी है। गेन पैरामीटर \(a\) यह तय करता है कि बदलाव कितना तीव्र होगा: \(a = 1\) पर आपको किताबी क्लासिक सिग्मॉइड मिलता है, जबकि \(a\) का मान जितना बड़ा होगा, बदलाव उतना ही सिकुड़कर एक स्टेप फंक्शन जैसा हो जाता है।
इस कैलकुलेटर का उपयोग कैसे करें
सबसे पहले गेन \(a\) दर्ज करें, फिर वह रेंज जिस पर आप फंक्शन का मूल्यांकन करना चाहते हैं: \(x\) का न्यूनतम मान, \(x\) का अधिकतम मान और \(x\) का स्टेप (वृद्धि)। यह टूल हर स्टेप पर \(\sigma(x)\), उसका पहला अवकलज \(\sigma'(x)\) और दूसरा अवकलज \(\sigma''(x)\) की एक तालिका बनाता है, और साथ ही आपके दिए गए वैकल्पिक \(x\) पर एकल-बिंदु मान भी दिखाता है। ध्यान रखें कि स्टेप शून्य से बड़ा होना चाहिए और \(x\) का अधिकतम मान कम से कम \(x\) के न्यूनतम मान के बराबर हो, वरना कोई पंक्ति नहीं बनेगी।
सूत्रों की व्याख्या
जब अवकलजों को खुद \(\sigma\) के रूप में लिखा जाता है, तो उनके रूप बेहद साफ़-सुथरे हो जाते हैं। अवकलन करने पर $$\sigma^{\prime}(x) = \text{a}\,\sigma(x)\bigl(1 - \sigma(x)\bigr)$$ मिलता है, जो हमेशा धनात्मक रहता है (इसलिए वक्र एकदिश रूप से बढ़ता है) और अपना अधिकतम मान \(\frac{\text{a}}{4}\) नति बिंदु \(x = 0\) पर प्राप्त करता है। दूसरा अवकलज $$\sigma^{\prime\prime}(x) = \text{a}^{2}\,\sigma(x)\bigl(1 - \sigma(x)\bigr)\bigl(1 - 2\,\sigma(x)\bigr)$$ है, जो \(x = 0\) पर अपना चिह्न बदलता है जहाँ \(\sigma = 0.5\) होता है — यही नति बिंदु की पुष्टि करता है।
हल किया हुआ उदाहरण
मान लीजिए \(a = 1\) और \(x = 2\) है। तब \(e^{-2} = 0.135335\) होगा, इसलिए $$\sigma(2) = \frac{1}{1.135335} = 0.880797$$ पहला अवकलज होगा \(0.880797 \cdot (1 - 0.880797) = 0.104994\)। दूसरा अवकलज होगा \(0.104994 \cdot (1 - 2 \cdot 0.880797) = 0.104994 \cdot (-0.761594) = -0.079963\)। \(x = 0\) पर मान इस तरह होते हैं: \(\sigma = 0.5\), \(\sigma' = 0.25\) और \(\sigma'' = 0\)।
सिग्मॉइड और उसके अवकलजों के संदर्भ मान (a = 1)
मानक लॉजिस्टिक फ़ंक्शन \(\sigma(x)=\frac{1}{1+e^{-x}}\) के लिए, अवकलज \(\sigma'(x)=\sigma(x)\,(1-\sigma(x))\) और \(\sigma''(x)=\sigma(x)\,(1-\sigma(x))\,(1-2\sigma(x))\) हैं। मान 6 दशमलव स्थानों तक पूर्णांकित हैं।
| x | σ(x) | σ′(x) | σ″(x) |
|---|---|---|---|
| -6 | 0.002473 | 0.002467 | 0.002454 |
| -4 | 0.017986 | 0.017663 | 0.017028 |
| -3 | 0.047426 | 0.045177 | 0.040892 |
| -2 | 0.119203 | 0.104994 | 0.079963 |
| -1 | 0.268941 | 0.196612 | 0.090858 |
| 0 | 0.500000 | 0.250000 | 0.000000 |
| 1 | 0.731059 | 0.196612 | -0.090858 |
| 2 | 0.880797 | 0.104994 | -0.079963 |
| 3 | 0.952574 | 0.045177 | -0.040892 |
| 4 | 0.982014 | 0.017663 | -0.017028 |
| 6 | 0.997527 | 0.002467 | -0.002454 |
समरूपता
- \(\sigma(-x)=1-\sigma(x)\): वक्र (0, 0.5) के बारे में बिंदु-सममित है।
- \(\sigma'(-x)=\sigma'(x)\): पहला अवकलज एक सम फ़ंक्शन है (घंटी के आकार का वक्र)।
- \(\sigma''(-x)=-\sigma''(x)\): दूसरा अवकलज एक विषम फ़ंक्शन है।
वक्र पर लाभ गुणांक a का प्रभाव
लाभ \(a\) इनपुट को स्केल करता है: \(\sigma(x)=\frac{1}{1+e^{-ax}}\), \(\sigma'(x)=a\,\sigma(1-\sigma)\), \(\sigma''(x)=a^2\,\sigma(1-\sigma)(1-2\sigma)\)। तालिका x = 1 पर प्रत्येक लाभ का मूल्यांकन करती है।
| लाभ a | σ(1) | σ′(1) | σ″(1) | अधिकतम ढलान a/4 (x = 0 पर) | σ 0.1 और 0.9 के बीच |
|---|---|---|---|---|---|
| 0.5 | 0.622459 | 0.117502 | -0.014389 | 0.125 | |x| < 4.394 |
| 1 | 0.731059 | 0.196612 | -0.090858 | 0.25 | |x| < 2.197 |
| 2 | 0.880797 | 0.209987 | -0.319851 | 0.5 | |x| < 1.099 |
| 5 | 0.993307 | 0.033240 | -0.163975 | 1.25 | |x| < 0.439 |
अधिकतम ढलान \(\sigma'(0)=a/4\) है। चूँकि \(\sigma=0.1\) और \(\sigma=0.9\) वहाँ होते हैं जहाँ \(ax=\mp\ln 9\), संक्रमण पट्टी लगभग \(|x|<\frac{\ln 9}{a}\approx\frac{2.197}{a}\) है। बड़ा लाभ एक तीखा, संकरा संक्रमण देता है; छोटा लाभ एक मंद, चौड़ा संक्रमण देता है। ध्यान दें कि x = 1 पर a = 5 के लिए दूसरा अवकलज का परिमाण a = 2 से छोटा है, क्योंकि वक्र वहाँ पहले ही संतृप्त होने लगा है।
सिग्मॉइड और अवकलज मानों की व्याख्या
σ(x): एक सीमित, प्रायिकता-जैसा आउटपुट
सिग्मॉइड किसी भी वास्तविक इनपुट को खुले अंतराल (0, 1) में मैप करता है, जहाँ σ(0) = 0.5। इसीलिए इसका उपयोग लॉजिस्टिक रिग्रेशन, न्यूरल-नेटवर्क एक्टिवेशन और वृद्धि या संतृप्ति मॉडलों में होता है। 0.88 जैसे मान को प्रायिकता-जैसे स्कोर के रूप में पढ़ा जा सकता है, हालाँकि यह केवल तभी वास्तविक अंशांकित प्रायिकता है जब मॉडल उसी तरह फिट किया गया हो।
σ′(x): संवेदनशीलता या ग्रेडिएंट
पहला अवकलज बताता है कि x में प्रति इकाई परिवर्तन पर आउटपुट कितनी तेज़ी से बदलता है। यह हमेशा धनात्मक होता है, x = 0 पर \(a/4\) पर शिखर पर पहुँचता है, और दोनों पूँछों में 0 की ओर गिरता है। जब \(|a\,x|\) लगभग 5 से अधिक होता है, तो σ′ लगभग 0.0066·a से नीचे होता है, अर्थात फ़ंक्शन संतृप्त है: इनपुट में बड़े परिवर्तन आउटपुट को मुश्किल से बदलते हैं। ग्रेडिएंट-आधारित प्रशिक्षण में यह वैनिशिंग-ग्रेडिएंट प्रभाव है, क्योंकि बहुत छोटे अवकलज भार अद्यतन को बहुत छोटा बना देते हैं।
σ″(x): वक्रता
- x < 0 के लिए, σ″ > 0: वक्र उत्तल है (ऊपर की ओर मुड़ता हुआ), और ढलान अभी भी बढ़ रही है।
- x = 0 पर, σ″ = 0: यह नति-बिंदु है, जहाँ ढलान अपने अधिकतम पर है।
- x > 0 के लिए, σ″ < 0: वक्र अवतल है (नीचे की ओर मुड़ता हुआ), और ढलान घट रही है।
σ″ के चरम मान वहाँ होते हैं जहाँ \(\sigma=\frac{1}{2}\pm\frac{1}{2\sqrt{3}}\), अर्थात \(x=\pm\frac{\ln(2+\sqrt{3})}{a}\approx\pm\frac{1.317}{a}\) पर। ये वे बिंदु हैं जहाँ ढलान सबसे तेज़ी से बदलती है।
अक्सर पूछे जाने वाले प्रश्न
गेन \(a\) क्या करता है? यह इनपुट को स्केल करता है। बड़ा \(a\) वक्र को \(x = 0\) के आसपास तेज़ी से ऊपर उठाता है; जैसे-जैसे \(a\) बढ़ता है, सिग्मॉइड एक तीखे स्टेप के करीब पहुँचता है, जबकि \(a = 0\) पर 0.5 की एक सीधी सपाट रेखा मिलती है।
सबसे तीव्र ढलान वाला बिंदु कहाँ है? हमेशा \(x = 0\) पर, जहाँ ढलान \(\frac{\text{a}}{4}\) के बराबर होती है और दूसरा अवकलज शून्य होता है।
आउटपुट कभी ठीक 0 या 1 क्यों नहीं होता? किसी भी परिमित \(x\) के लिए एक्सपोनेंशियल कभी शून्य तक नहीं पहुँचता, इसलिए \(\sigma\) हमेशा (0, 1) के अंदर ही रहता है। बहुत बड़े \(|\text{a}\cdot x|\) के लिए मान संख्यात्मक रूप से 0 या 1 के पास पहुँच जाता है, जिसे यह कैलकुलेटर सुरक्षित ढंग से संभाल लेता है।