ما هي دالة التنشيط ReLU؟
تُعدّ دالة ReLU، واختصارها يعني «الوحدة الخطية المعدّلة» (Rectified Linear Unit)، من أكثر دوال التنشيط استخدامًا في التعلّم العميق والشبكات العصبية الحديثة. تُعرَّف هذه الدالة بالعلاقة \( f(x) = \max(0,\ x) \)، أي أنها تُمرّر القيم الموجبة كما هي دون تغيير، بينما تحوّل القيم السالبة (والصفر) إلى صفر. هذه القاعدة البسيطة تُدخل عدم الخطية إلى الشبكة مع بقائها سهلة الحساب للغاية، ولهذا السبب تعتمد عليها معظم الطبقات الالتفافية والطبقات المتصلة بالكامل اليوم.
كيفية استخدام الحاسبة
أدخل أي عدد حقيقي في خانة x، وستُعيد لك الحاسبة قيمة \( f(x) = \text{ReLU}(x) \). جميع القيم صالحة سواء كانت سالبة أو صفرًا أو موجبة. تساوي النتيجة قيمة x عندما يكون x أكبر من 0، وتساوي 0 عندما يكون x صفرًا أو سالبًا. كما تعرض الحاسبة المشتقة المتعارف عليها: 1 للقيم الموجبة و0 لما عداها.
شرح المعادلة
تُعرَّف دالة ReLU بشكل تجزيئي: \( f(x) = x \) إذا كان \( x > 0 \)، و\( f(x) = 0 \) إذا كان \( x \le 0 \). مجالها هو جميع الأعداد الحقيقية \( (-\infty,\ +\infty) \)، أما مداها فهو \( [0,\ +\infty) \). دالة ReLU متصلة عند كل النقاط، لكن مشتقتها غير معرّفة تقنيًا عند النقطة \( x = 0 \) تحديدًا؛ وبحسب الاصطلاح المتّبع تُضبط على 0 عندها، فتكون \( f'(x) = 0 \) عندما \( x \le 0 \) و\( f'(x) = 1 \) عندما \( x > 0 \). ولأن المعادلة لا تتضمّن أي قسمة، فلا توجد حالات حدّية يلزم الحذر منها.
مثال محلول
لنفترض أن \( x = -3.2 \). عندئذٍ $$ f(x) = \max(0,\ -3.2) = 0 $$ لأن القيمة -3.2 سالبة. أما إذا كان \( x = 7 \)، فإن $$ f(x) = \max(0,\ 7) = 7 $$ وبالنسبة للقيمة الافتراضية \( x = 0.5 \)، تكون $$ f(x) = \max(0,\ 0.5) = 0.5 $$
الأسئلة الشائعة
لماذا تحظى دالة ReLU بكل هذه الشعبية؟ لأنها تتجنّب مشكلة تلاشي التدرّج التي تعاني منها دالتا السيغمويد والظل الزائدي (tanh) عند القيم الكبيرة، كما أنها بسيطة حسابيًا للغاية — فهي مجرد مقارنة بالصفر.
ماذا يحدث عند \( x = 0 \)؟ قيمة الدالة هي 0، وتُؤخذ المشتقة اصطلاحًا على أنها 0 أيضًا.
ما الفرق بين ReLU وSigmoid وSoftmax؟ تضغط دالة Sigmoid القيم ضمن المجال \( (0,\ 1) \)، بينما تُنتج دالة Softmax توزيعًا احتماليًا على متجه من القيم، أما ReLU فتكتفي بـ«تعديل» قيمة واحدة لتجعلها غير سالبة.
