ما هي دالة Softsign؟
دالة Softsign هي إحدى دوال التنشيط المستخدمة في الشبكات العصبية، وتُعرَّف بالصيغة \(\phi(x) = x / (1 + |x|)\). وعلى غرار دالة الظل الزائدي (tanh)، فهي دالة ملساء ذات شكل حرف S، ومحصورة ضمن المجال المفتوح (-1، 1). أما الفرق الجوهري فيكمن في طريقة اقترابها من خطوط التقارب: إذ تقترب Softsign من ±1 بصورة كثيرة الحدود (بمعدل \(1/|x|\))، في حين تقترب tanh منها بصورة أُسّية. وهذا التشبّع الأبطأ قد يساعد على تقليل مشكلة تلاشي التدرّج (vanishing gradient) في بعض البُنى.
كيفية استخدام هذه الحاسبة
أدخِل ثلاث قيم: القيمة الابتدائية لـ x (قيمة x في الصف الأول)، وقيمة الزيادة (المقدار المضاف في كل صف)، وعدد التكرارات (عدد الصفوف المراد توليدها). بعد ذلك تنشئ الحاسبة جدولًا يضمّ قيمة x ودالة Softsign أي \(\phi(x)\) ومشتقتها الأولى \(\phi'(x)\) عند كل نقطة، ويمكنك استخدامه لرسم المنحنيات أو فحص قيم محددة.
شرح الصيغة
عند كل صف، لِنفرض أن \(a = 1 + |x|\). عندها يكون \(\phi(x) = x / a\) والمشتقة \(\phi'(x) = 1 / a^2\). وبما أن \(|x|\) لا تكون سالبة أبدًا، فإن المقام \(a\) لا يقلّ عن 1 في كل الأحوال، ومن ثَمّ لا يحدث قسمة على صفر إطلاقًا وتظل الدالة ملساء في كل نقطة. ودالة Softsign دالة فردية (\(\phi(-x) = -\phi(x)\))، بينما مشتقتها دالة زوجية (\(\phi'(-x) = \phi'(x)\)). وعند نقطة الأصل يكون \(\phi(0) = 0\) و\(\phi'(0) = 1\).
مثال محلول
عند \(x = -5\): نجد \(a = 1 + 5 = 6\)، ومن ثَمّ $$\phi(-5) = -\frac{5}{6} = -0.8333333$$ و$$\phi'(-5) = \frac{1}{36} = 0.0277778$$ وعند \(x = 1\): تكون \(a = 2\)، فيكون \(\phi(1) = 0.5\) و\(\phi'(1) = 0.25\). وعند \(x = 0\): تكون \(a = 1\)، فيكون \(\phi(0) = 0\) و\(\phi'(0) = 1\). وباستخدام القيم الافتراضية (البداية -5، والخطوة 0.1، و101 صف) يمتدّ الجدول بقيم x من -5 إلى +5.
الأسئلة الشائعة
لماذا لا تصبح المشتقة سالبة أبدًا؟ لأن \(\phi'(x) = 1/(1+|x|)^2\) هي مقلوب مقدار مربّع، فتكون دائمًا موجبة تمامًا، ما يعني أن دالة Softsign متزايدة بصورة مطّردة.
كيف تختلف Softsign عن tanh؟ كلتاهما تتشبّع ضمن مدى محصور، لكن تشبّع Softsign يحدث بصورة أكثر تدرّجًا (اضمحلال كسري) مقارنةً بالاضمحلال الأُسّي لدالة tanh، ما يُبقي التدرّجات فاعلة على مدى أوسع من قيم المُدخلات.
هل يمكن أن تكون الخطوة سالبة؟ نعم. الخطوة السالبة تجعل قيم الجدول تتناقص، أما الخطوة الصفرية فتُكرّر القيمة نفسها لـ x في كل صف.
