Hàm kích hoạt ReLU là gì?
Rectified Linear Unit, gọi tắt là ReLU, là một trong những hàm kích hoạt được dùng phổ biến nhất trong các mạng nơ-ron hiện đại. Hàm được định nghĩa là \(f(x) = \max(0, x)\): với mọi đầu vào dương, hàm trả về chính giá trị đó; còn với đầu vào âm, hàm trả về 0. Quy tắc tuyến tính từng khúc đơn giản này đưa yếu tố phi tuyến vào mạng, nhưng vẫn cực kỳ rẻ về mặt tính toán và dễ lấy đạo hàm.
Cách sử dụng máy tính này
Bạn nhập ba giá trị: giá trị ban đầu của x (điểm bắt đầu quét), bước nhảy (mức thay đổi của x sau mỗi lần lặp), và số lần lặp (số điểm cần sinh ra). Công cụ sẽ tính ReLU tại từng giá trị x, dựng bảng dữ liệu (x, f(x)) đầy đủ, rồi vẽ đồ thị đường thể hiện hình dạng đặc trưng phẳng-rồi-tăng với điểm gấp khúc nằm ngay tại gốc tọa độ.
Giải thích công thức
ReLU là \(f(x) = \max(0, x)\), tương đương với "x nếu x > 0, ngược lại bằng 0". Dải giá trị được sinh ra theo quy tắc
$$x_k = \text{Start }x + k \cdot \text{Step}, \quad k = 0,1,\dots,\text{Count}-1$$nên giá trị x cuối cùng (endX) bằng \(\text{Start }x + (\text{iterations} - 1) \cdot \text{Step}\). Hàm bằng 0 phẳng lì trên toàn bộ vùng đầu vào âm, sau đó tăng đều với hệ số góc không đổi bằng 1 đối với đầu vào dương.
Ví dụ minh họa
Với các giá trị mặc định startX = -5, stepX = 0.1 và iterations = 101, dải quét trải dài từ \(x = -5\) đến \(-5 + 100 \cdot 0.1 = +5\) qua 101 điểm (tính cả hai đầu). Tại \(x = -2.0\), \(f = \max(0, -2.0) = 0\). Tại \(x = 0\), \(f = 0\). Tại \(x = 0.1\), \(f = 0.1\). Tại \(x = 2.5\), \(f = 2.5\). Tại \(x = 5.0\), \(f = 5.0\). Đường cong được vẽ ra nằm yên ở mức 0 suốt vùng âm, rồi leo tuyến tính lên tới điểm \((5, 5)\).
Câu hỏi thường gặp
ReLU có khả vi tại 0 không? Không. ReLU có một điểm gấp khúc tại \(x = 0\) nên không khả vi tại đó. Đạo hàm của nó bằng 0 khi \(x < 0\) và bằng 1 khi \(x > 0\); theo quy ước, đạo hàm tại 0 thường được lấy bằng 0.
Bước nhảy có thể âm không? Có. Bước âm sẽ quét x theo chiều giảm dần. Bước bằng 0 khiến mọi giá trị x đều bằng giá trị ban đầu (một cột hằng số suy biến).
Vì sao ReLU lại phổ biến đến vậy? ReLU tránh được vấn đề triệt tiêu gradient (vanishing gradient) của sigmoid và tanh ở phần đầu vào dương, tính toán cực kỳ đơn giản, đồng thời thường tạo ra các kích hoạt thưa (sparse), nhờ đó giúp việc huấn luyện diễn ra nhanh hơn.
