¿Qué es la función de activación ReLU?
ReLU, siglas en inglés de Rectified Linear Unit (Unidad Lineal Rectificada), es una de las funciones de activación más utilizadas en el aprendizaje profundo y las redes neuronales actuales. Se define como \(f(x) = \max(0,\ x)\), es decir, deja pasar sin cambios los valores positivos y fuerza a 0 los valores negativos (y el cero). Esta regla tan sencilla introduce no linealidad en la red sin apenas coste de cálculo, y por eso es la base de la mayoría de las capas convolucionales y totalmente conectadas hoy en día.
Cómo usar esta calculadora
Introduce cualquier número real en el campo x y la calculadora te devolverá \(f(x) = \text{ReLU}(x)\). Son válidos los valores negativos, el cero y los positivos. El resultado es igual a x cuando x es mayor que 0, e igual a 0 cuando x es 0 o negativo. La calculadora también muestra la derivada habitual: 1 para entradas positivas y 0 en el resto de los casos.
La fórmula explicada
La función ReLU se define a trozos:
$$\text{ReLU}(x) = \max\left(0,\ x\right)$$es decir, \(f(x) = x\) si \(x > 0\), y \(f(x) = 0\) si \(x \le 0\). Su dominio son todos los números reales \((-\infty,\ +\infty)\) y su recorrido es \([0,\ +\infty)\). ReLU es continua en todos los puntos, pero su derivada está técnicamente indefinida justo en \(x = 0\); por convención se fija en 0 ahí, lo que da \(f'(x) = 0\) para \(x \le 0\) y \(f'(x) = 1\) para \(x > 0\). Como no interviene ninguna división, no hay casos límite que controlar.
Ejemplo resuelto
Supongamos que \(x = -3{,}2\). Entonces $$f(x) = \max(0,\ -3{,}2) = 0,$$ ya que -3,2 es negativo. Si en cambio \(x = 7\), entonces $$f(x) = \max(0,\ 7) = 7.$$ Para la entrada por defecto \(x = 0{,}5\), tenemos $$f(x) = \max(0,\ 0{,}5) = 0{,}5.$$
Preguntas frecuentes
¿Por qué es tan popular ReLU? Evita el problema del desvanecimiento del gradiente que afecta a las funciones sigmoide y tangente hiperbólica (tanh) con entradas grandes, y su cálculo es trivial: basta con una comparación con cero.
¿Qué ocurre en \(x = 0\)? El valor de la función es 0, y la derivada se toma por convención como 0.
¿Cuál es la diferencia entre ReLU, Sigmoide y Softmax? La sigmoide comprime los valores en el intervalo (0, 1) y Softmax genera una distribución de probabilidad sobre un vector, mientras que ReLU simplemente rectifica un único valor para que sea no negativo.
