Softplus फ़ंक्शन क्या है?
Softplus फ़ंक्शन, \(f(x) = \ln(1 + e^{x})\), न्यूरल नेटवर्क में इस्तेमाल होने वाले ReLU (rectified linear unit) activation का एक स्मूद और अवकलनीय (differentiable) रूप है। ReLU में जहाँ मूल बिंदु (origin) पर एक तीखा मोड़ होता है, वहीं Softplus हर जगह स्मूद रहता है और हमेशा धनात्मक (positive) होता है। यह कैलकुलेटर आपकी चुनी हुई रेंज पर x, f(x) और इसके प्रथम अवकलज की एक टेबल बनाता है, और दोनों वक्रों (curves) का ग्राफ़ दिखाता है ताकि आप इसका विशिष्ट S-से-ramp वाला आकार साफ़ देख सकें।
इसका इस्तेमाल कैसे करें
तीन मान भरें: x का प्रारंभिक मान (पहला भुज/abscissa), वृद्धि (Increment) (बिंदुओं के बीच की दूरी), और पुनरावृत्तियों की संख्या (कितनी पंक्तियाँ बनानी हैं)। उदाहरण के लिए, प्रारंभिक मान -5, वृद्धि 0.1 और 101 पुनरावृत्तियाँ देने पर x का मान -5.0 से +5.0 तक बनेगा। नतीजा एक स्क्रॉल होने वाली टेबल के साथ-साथ Softplus और इसके अवकलज का ग्राफ़ होता है।
सूत्र की व्याख्या
Softplus है $$f(x) = \ln(1 + e^{x}).$$ इसका अवकलज है $$f'(x) = \frac{e^{x}}{1 + e^{x}} = \frac{1}{1 + e^{-x}},$$ जो ठीक-ठीक logistic sigmoid है। जैसे-जैसे x बड़ा और धनात्मक होता है, \(f(x)\) का मान x के करीब और \(f'(x)\) का मान 1 के करीब पहुँचता है; और जैसे-जैसे x बड़ा व ऋणात्मक होता है, \(f(x)\) का मान 0 और \(f'(x)\) का मान भी 0 के करीब पहुँचता है। बड़े x पर overflow से बचने के लिए यह टूल संख्यात्मक रूप से स्थिर (numerically stable) रूप \(f(x) = \max(x, 0) + \ln(1 + e^{-|x|})\) का उपयोग करता है।
हल किया हुआ उदाहरण
x = 0 पर: \(f(0) = \ln(2) = 0.693147\) और \(f'(0) = 0.5\)। x = 1 पर: \(f(1) = \ln(1 + 2.718282) = 1.313262\) और \(f'(1) = \frac{1}{1 + e^{-1}} = 0.731059\)। x = -1 पर: \(f(-1) = 0.313262\) और \(f'(-1) = 0.268941\)। ध्यान दें कि एक रोचक सर्वसमिका (identity) यहाँ लागू होती है: \(f(x) - f(-x) = x\), जैसे \(1.313262 - 0.313262 = 1\)।
अक्सर पूछे जाने वाले सवाल (FAQ)
ReLU की जगह Softplus क्यों इस्तेमाल करें? Softplus स्मूद होता है और हर जगह इसका ग्रेडिएंट शून्य से अलग रहता है, जिससे ग्रेडिएंट-आधारित ऑप्टिमाइज़ेशन में मदद मिल सकती है; हालाँकि गणना के मामले में ReLU ज़्यादा सस्ता पड़ता है।
क्या आउटपुट हमेशा धनात्मक होता है? हाँ। हर परिमित (finite) x के लिए \(\ln(1 + e^{x}) > 0\) होता है, क्योंकि \(1 + e^{x}\) का मान हमेशा 1 से बड़ा रहता है।
अवकलज क्या दर्शाता है? यह Softplus वक्र का ढलान (slope) है और यह logistic sigmoid के बराबर होता है, जो 0 से 1 तक एकदिशीय (monotonic) रूप से बढ़ता है और x = 0 पर इसका मान 0.5 होता है।
