ما هي دالة Softplus؟
دالة Softplus، المعرّفة بالصيغة \(f(x) = \ln(1 + e^{x})\)، هي تقريب أملس وقابل للاشتقاق لدالة التفعيل ReLU (الوحدة الخطية المقوّمة) المستخدمة في الشبكات العصبية. وعلى عكس دالة ReLU التي تحتوي على زاوية حادة عند نقطة الأصل، فإن Softplus سلسة في كل نقطة وقيمتها موجبة دائمًا. تنشئ هذه الحاسبة جدولًا يضم قيم \(x\) ودالة \(f(x)\) ومشتقتها الأولى عبر النطاق الذي تختاره، كما ترسم المنحنيين معًا لتتمكن من رؤية الشكل المميّز الذي يتدرّج من منحنى ناعم على هيئة حرف S إلى خط مائل صاعد.
طريقة الاستخدام
أدخل ثلاث قيم: القيمة الابتدائية لـ \(x\) (أول إحداثي سيني)، ومقدار الزيادة (المسافة بين كل نقطة وأخرى)، وعدد التكرارات (كم صفًا تريد توليده). على سبيل المثال، إذا اخترت قيمة ابتدائية تساوي -5، وزيادة قدرها 0.1، و101 تكرار، فستحصل على قيم \(x\) تمتد من -5.0 إلى +5.0. والنتيجة جدول قابل للتمرير إلى جانب رسم بياني لدالة Softplus ومشتقتها.
شرح الصيغة الرياضية
تُعرّف Softplus بالصيغة $$f(x) = \ln(1 + e^{x}).$$ أما مشتقتها فهي $$f'(x) = \frac{e^{x}}{1 + e^{x}} = \frac{1}{1 + e^{-x}},$$ وهي تساوي تمامًا الدالة اللوجستية السينية (sigmoid). فكلما ازدادت \(x\) وأصبحت موجبة كبيرة، اقتربت \(f(x)\) من \(x\) واقتربت \(f'(x)\) من 1؛ وكلما صغرت \(x\) وأصبحت سالبة كبيرة، اقتربت \(f(x)\) من 0 واقتربت \(f'(x)\) من 0. ولتفادي الفيض العددي (overflow) عند القيم الكبيرة لـ \(x\)، تستخدم الأداة الصيغة المستقرة عدديًا $$f(x) = \max(x, 0) + \ln\left(1 + e^{-|x|}\right).$$
مثال محلول
عند \(x = 0\): تكون \(f(0) = \ln(2) = 0.693147\) وتكون \(f'(0) = 0.5\). وعند \(x = 1\): تكون \(f(1) = \ln(1 + 2.718282) = 1.313262\) وتكون \(f'(1) = \frac{1}{1 + e^{-1}} = 0.731059\). وعند \(x = -1\): تكون \(f(-1) = 0.313262\) وتكون \(f'(-1) = 0.268941\). لاحظ المتطابقة \(f(x) - f(-x) = x\)، على سبيل المثال \(1.313262 - 0.313262 = 1\).
الأسئلة الشائعة
لماذا نستخدم Softplus بدلًا من ReLU؟ لأن Softplus سلسة ولها تدرّج (gradient) غير صفري في كل نقطة، وهو ما قد يساعد في عمليات التحسين القائمة على التدرّج، رغم أن حساب ReLU أقل تكلفة.
هل تكون قيمة الناتج موجبة دائمًا؟ نعم. فالقيمة \(\ln(1 + e^{x})\) أكبر من 0 لأي قيمة منتهية لـ \(x\)، لأن \(1 + e^{x}\) أكبر من 1.
ماذا تمثّل المشتقة؟ إنها ميل منحنى Softplus، وتساوي الدالة اللوجستية السينية، وتتراوح بشكل رتيب من 0 إلى 1 وتبلغ قيمتها 0.5 عند \(x = 0\).
