Introducción al Aprendizaje por Refuerzo.

4. Resumen de la parte experimental

Para analizar la parte experimental, necesitamos empezar definiendo los siguientes conceptos:

• Política (policy): termino utilizado para referirse a las acciones qué decidirá el agente. La política $\varepsilon$ -voraz consiste en que el agente casi siempre tomará la mejor acción posible dada la información que posee.
• Exploración vs explotación: De vez en cuando, con una probabilidad de $\varepsilon$ , el agente tomará una acción completamente al azar. De esta forma, si tras la primera acción el agente ha obtenido una recompensa positiva, no se quedará atascado escogiendo esa misma acción todo el rato. Con probabilidad $\varepsilon$ el agente explorará otras opciones. Este valor es parametrizable y será el encargado de equilibrar la exploración y explotación

En un problema completo de aprendizaje por refuerzo, el estado cambia cada vez que ejecutamos una acción. El agente recibe el estado (state) en el que se encuentra el entorno (environment), el cual representaremos con la letra s (state). El agente ejecuta entonces la acción que elija, representada con la letra a (action). Al ejecutar esa acción, el entorno responde proporcionando una recompensa, representada con la letra r (reward), y el entorno se traslada a un nuevo estado, representado con s' (next state). Este ciclo se puede observar en la imagen: [1] .

El algoritmo Q-Learning, utilizado en el articulo, intenta aprender cuantas recompensas obtendrá a largo plazo para cada pareja de estados y acciones (s,a). A esa función la llamamos la función de acción-valor (action-value function) y este algoritmo la representa como la función Q(s,a), la cual devuelve la recompensa que el agente recibirá al ejecutar la acción a desde el estado s, y asumiendo que seguirá la misma política dictada por la función Q hasta el final del episodio. Por ejemplo, si Q(s,a1)=1 y Q(s,a2)=4, el agente sabe que la acción a2 es mejor y le traerá mayor recompensa, por lo que será la acción que ejecutará.

La definición formal de este algoritmo se realiza de la siguiente forma: $Q(s, a; \theta) = r + \gamma \max_{a'}{Q(s', a'; \theta')}$ Se define el valor-Q del estado s y la acción a (Q(s, a)) como la recompensa r obtenida al ejecutar esa acción, más el valor-Q de ejecutar la mejor acción posible a’ desde el próximo estado s’, multiplicado por un factor de descuento $\gamma$ (discount factor), que es un valor con rango $\gamma$$\in$ (0, 1].

Ahora bien, cuando hay miles de millones de estados diferentes y cientos de acciones distintas Q-Learning no es capaz de utilizarse de forma óptima. Por ello, en la obra [1] definen una nueva técnica llamada Deep Q-Network. Este algoritmo combina el Q-learning con redes neuronales profundas para aproximar la función Q, evitando así utilizar una tabla para representar la misma. En realidad, utiliza dos redes neuronales para estabilizar el proceso de aprendizaje. La primera, la red neuronal principal (main Neural Network), representada por los parámetros $\theta$ , se utiliza para estimar los valores-Q del estado s y acción a actuales: Q(s, a; $\theta$ ). La segunda, la red neuronal objetivo (target Neural Network), parametrizada por $\theta$ ', tendrá la misma arquitectura que la red principal, pero se usará para aproximar los valores-Q del siguiente estado s' y la siguiente acción a'. El aprendizaje ocurre en la red principal y no en el objetivo. La red objetivo se congela (sus parámetros no se cambian) durante varias iteraciones (normalmente alrededor de 10000), y después los parámetros de la red principal se copian a la red objetivo, transmitiendo así el aprendizaje de una a otra, haciendo que las estimaciones calculadas por la red objetivo sean más precisas.

Para poder entrenar una red neuronal, necesitamos una función de pérdida (loss function), la cual definimos como el cuadrado de la diferencia entre ambos lados de la ecuación [1] , es decir, el siguiente cálculo: $L(\theta) = E [(r + \gamma \max_{a'}{Q(s', a'; \theta')}-Q(s, a; \theta) )^{2}]$