ما هي دالة التنشيط Leaky ReLU؟
تُعدّ دالة Leaky ReLU (اختصارًا لـ Leaky Rectified Linear Unit، أي الوحدة الخطية المُصحَّحة المُسرَّبة) من أكثر دوال التنشيط شيوعًا في الشبكات العصبية العميقة. وعلى غرار دالة ReLU التقليدية، فإنها تمرّر المدخلات الموجبة كما هي، لكنها بدلًا من تصفير المدخلات السالبة تمنحها ميلًا صغيرًا غير معدوم يُسمّى alpha. هذا يُبقي تدرّجًا (gradient) صغيرًا مستمرًا حتى عند القيم السالبة قبل التنشيط، ويساعد على تفادي مشكلة "موت ReLU"، حيث تعلق بعض الخلايا العصبية عند إخراج صفر فتتوقف عن التعلّم.
الصيغة الرياضية
لأي مدخل \(x\) وميل تسريب alpha، يكون الناتج:
$$f(x) = \begin{cases} x & \text{if } x > 0 \\[0.5em] \alpha \cdot x & \text{if } x \le 0 \end{cases}$$القيمة الافتراضية للتسريب هي \(\alpha = 0.01\). وتجدر الإشارة إلى حالتين خاصتين: عند \(\alpha = 0\) نحصل على دالة ReLU التقليدية تمامًا (\(\max(0, x)\))، وعند \(\alpha = 1\) تتحول الدالة إلى خط التطابق \(f(x) = x\).
كيفية استخدام الحاسبة
أدخل قيمة \(x\) الابتدائية، ومقدار الخطوة بين النقاط، وعدد النقاط المطلوب توليدها، وميل التسريب alpha. تقوم الأداة ببناء المتتالية
$$x_i = \text{startX} + i \cdot \text{stepX}, \quad i = 0, 1, \dots, \text{count} - 1$$ثم تحسب قيمة \(f\) عند كل نقطة، وتعرض أزواج \((x, f(x))\) مع رسم بياني للمنحنى. كما يمكنك إدخال قيمة \(x\) واحدة فقط للحصول على حساب مباشر لـ \(f(x)\).
مثال محلول
باستخدام \(\alpha = 0.01\): عند \(x = -4\) يكون المدخل غير موجب، فيكون \(f = 0.01 \times (-4) = -0.04\). وعند \(x = 0\) يكون \(f = 0\). وعند \(x = 3\) يكون المدخل موجبًا، فيكون \(f = 3\). وباستخدام القيم الافتراضية (\(\text{startX} = -4\)، \(\text{stepX} = 0.05\)، \(\text{count} = 101\))، يمتد المسح من \(x = -4\) (حيث \(f = -0.04\)) حتى \(x = +1.0\) (حيث \(f = 1.0\))، ويعبر الصفر عند النقطة الحادية والثمانين (\(i = 80\)).
الأسئلة الشائعة
ما الفرق بين Leaky ReLU و ReLU؟ تُخرج دالة ReLU صفرًا تمامًا لكل المدخلات السالبة، بينما تُخرج Leaky ReLU القيمة \(\alpha \cdot x\)، وهي قيمة سالبة صغيرة تحافظ على وجود تدرّج.
ما القيمة المناسبة لـ alpha؟ القيمة \(0.01\) هي الافتراضية الشائعة. وهناك نسخ مثل Parametric ReLU تتعلّم قيمة alpha أثناء التدريب.
هل يمكن أن تكون alpha سالبة؟ رياضيًا نعم، لكن ذلك غير معتاد ولا يُنصح به في الشبكات القياسية.
