ما هي دالة التنشيط ReLU؟
الوحدة الخطية المقوّمة (Rectified Linear Unit)، أو اختصارًا ReLU، هي من أكثر دوال التنشيط استخدامًا في الشبكات العصبية الحديثة. تُعرّف بالصيغة \(f(x) = \max(0, x)\): فعند أي مدخل موجب تُعيد القيمة كما هي دون تغيير، وعند أي مدخل سالب تُعيد صفرًا. هذه القاعدة الخطية المتقطّعة البسيطة تُدخل اللاخطية إلى الشبكة، وفي الوقت نفسه تتميّز برخص حسابها وسهولة اشتقاقها إلى حدٍّ كبير.
كيفية استخدام الحاسبة
أدخل ثلاث قيم: قيمة x الابتدائية (نقطة بداية التمرير)، ومقدار الزيادة أو حجم الخطوة (مقدار تغيّر x في كل تكرار)، وعدد التكرارات (عدد النقاط المراد توليدها). تقوم الأداة بحساب دالة ReLU عند كل قيمة من قيم x، وتُنشئ جدول بيانات كاملًا للأزواج (x, f(x))، ثم ترسم منحنى خطيًا يُظهر الشكل المميّز المسطّح أولًا ثم الصاعد، مع زاويته الواقعة عند نقطة الأصل.
شرح المعادلة
دالة ReLU هي \(f(x) = \max(0, x)\)، وهو ما يكافئ القاعدة: "x إذا كان x > 0، وإلا فالقيمة صفر". يُولَّد التمرير وفق القاعدة \(x_k = \text{startX} + k \cdot \text{stepX}\) حيث \(k\) من 0 إلى \(\text{iterations} - 1\)، وبذلك تساوي قيمة x النهائية (endX) المقدار \(\text{startX} + (\text{iterations} - 1) \cdot \text{stepX}\). تبقى الدالة مسطّحة عند الصفر على امتداد جميع المدخلات السالبة، ثم ترتفع بميل ثابت مقداره 1 عند المدخلات الموجبة.
مثال محلول
باستخدام القيم الافتراضية startX = -5 وstepX = 0.1 وiterations = 101، يغطّي التمرير قيم x من -5 وصولًا إلى $$-5 + 100 \cdot 0.1 = +5$$ عبر 101 نقطة شاملة. عند x = -2.0 تكون \(f = \max(0, -2.0) = 0\). وعند x = 0 تكون \(f = 0\). وعند x = 0.1 تكون \(f = 0.1\). وعند x = 2.5 تكون \(f = 2.5\). وعند x = 5.0 تكون \(f = 5.0\). يستقر المنحنى المرسوم عند الصفر طوال النطاق السالب، ثم يتسلّق خطيًا حتى النقطة (5، 5).
الأسئلة الشائعة
هل دالة ReLU قابلة للاشتقاق عند الصفر؟ لا. تحتوي ReLU على زاوية (انكسار) عند x = 0، لذا فهي غير قابلة للاشتقاق عند تلك النقطة. مشتقّتها تساوي 0 عند x < 0 و1 عند x > 0؛ وعُرفًا يُؤخذ المشتق عند 0 على أنه 0 في الغالب.
هل يمكن أن تكون الخطوة سالبة؟ نعم. الخطوة السالبة تجعل قيم x تتناقص. أما الخطوة التي تساوي صفرًا فتجعل كل قيم x مساوية للقيمة الابتدائية (عمود ثابت متدهور).
لماذا تحظى ReLU بكل هذه الشعبية؟ لأنها تتجنّب مشكلة تلاشي التدرّج التي تعاني منها دالتا sigmoid وtanh عند المدخلات الموجبة، وهي تافهة من حيث الكلفة الحسابية، وتميل إلى إنتاج تنشيطات متناثرة (sparse)، وهو ما يُسرّع التدريب غالبًا.
