Introducción
Origen
Descripción matemática del algoritmo de
retropropagación
Extensiones
de la regla delta generalizada
Valoración
Métodos estadísticos
Introducción:
equilibrio termodinámico simulado
Método de Boltzman
Método de Cauchy
Al hablar de redes de retropropagación o redes de propagación hacia atrás hacemos
referencia a un algoritmo de aprendizaje más que a una arquitectura determinada.
La retropropagación consiste en propagar el error hacia atrás, es decir, de
la capa de salida hacia la capa de entrada, pasando por las capas ocultas intermedias
y ajustando los pesos de las conexiones con el fin de reducir dicho error. Hay
distintas versiones o reglas del algoritmo de retropropagación y distintos arquitecturas
conexionistas a las que pueden ser aplicados.
Durante mucho tiempo no se dispuso de algoritmos para entrenar redes multicapa,
y como las redes de una capa estaban muy limitadas en cuanto a lo que eran capaces
de representar, el campo de las redes neuronales artificiales estaba estancado.
La invención y perfeccionamiento del algoritmo de retropropagación dio un gran
impulso al desarrollo de este campo. Tiene un buen fundamento matemático y a
pesar de sus limitaciones ha expandido enormemente el rango de problemas donde
se aplican las redes neuronales artificiales.
Al parecer el algoritmo fue ideado a principios de los 70 por Werbos, y redescubierto
a principios de los 80 por Parker y Rumelhart independientemente, sin embargo,
no se hizo popular hasta 1986, cuando Rumerlhart, Hinton y Williams presentaron
una descripción clara y concisa del mismo. Y es que en un primer momento no
se valoró como se merecía. El hecho de que permaneciera en el olvido tanto tiempo
también debe ser una consecuencia de la condición interdisciplinar del campo,
repartido entre las matemáticas y ciencias de la computación, las neurociencias
y la psicología.
Desde la fecha clave de 1986 han surgido nuevas versiones que han tratado
de aumentar la velocidad de convergencia del algoritmo y han tratado de superar
algunos de sus inconvenientes, como la tendencia a alcanzar mínimos locales
y no globales, punto que será discutido más tarde.
Se explica una versión del algoritmo (Hinton,
1992) para redes con las siguientes características:
- No recurrentes
- Función de activación sigmoidal
- Capas totalmente interconectadas
- Operación totalmente síncrona
- Aleatorizamos los pesos de las conexiones.
- Presentamos un patrón de entrada y calculamos la salida.
- Dada una unidad j-ésima de la capa de salida y unidades i-ésimas
de la capa oculta inmediatamente anterior, calculamos la entrada total ponderada
y la salida o activación de la misma.
- Una vez computadas las actividades de todas las unidades de salida se calcula
una estimación del error, generalmente una función cuadrática
de los errores individuales cometidos por cada unidad, siendo cada error individual
la diferencia entre la salida deseada y la obtenida.
siendo
dj la salida deseada para la unidad j-ésima
Nota: Se van a indicar por un lado las expresiones matemáticas y
por otro lado la explicación intuitiva de cada paso. Conviene recordar
que nuestro objetivo es calcular como varía el error al variar el
peso de cada conexión (tasa de variación del error respecto
al peso de una conexión, EP)
- Cómputo de la rapidez de variación del error al cambiar la
actividad de cada unidad de salida (EA, error respecto a la actividad)
Es justamente la diferencia entre la salida deseada y la salida real obtenida,
es decir, la diferencia entre la actividad deseada y la actividad real
- Cómputo de la rapidez de variación del error al cambiar la
entrada total que recibe cada unidad de salida.
Es igual a la tasa de variación del error al variar su activación
multiplicado por la tasa de variación de la activación al
cambiar su entrada ( que es justamernte la derivada de la función
sigmoidal )
- Cómputo de la rapidez de variación del error al ser modificado
un peso de la conexión aferente a una unidad de salida.
Es igual a la tasa de variación del error al variar su entrada,
por la tasa de variación de la entrada al variar ese peso.
Hasta ahora sabemos calcular el EA sólo para las unidades de salida,
¿ qué pasa con las unidades ocultas?. En este caso no tenemos una
estimación directa del error aportado por cada unidad oculta; aquí
es donde interviene la retropropagación o propagación hacia
atrás del error:
La unidad
i-ésima de la capa oculta afecta a todas las unidades de salida,
por lo tanto, para estimar como varía el error al variar la actividad
de esa unidad oculta, habrá que sumar los efectos individuales de
su actividad sobre todas las neuronas de salida. Cada efecto individual
sobre la variación del error, será igual a la tasa de variación
del error de la unidad de salida al cambiar su entrada total, multiplicado
por la tasa de variación de su entrada al variar la actividad de
la unidad oculta.
- Conociendo EA para las unidades de cualquier capa podemos calcular d y EP
con las expresiones ya conocidas.
- Disponiendo de la tasa de variación del error respecto al peso de
una conexión (EP), podemos usar distintas reglas para modificar ese
peso en aras a reducir dicho de error. Una de las primeras reglas que aprovechó
este algoritmo es la regla delta generalizada,
que calcula el incremento a aplicar a un peso como una proporción directa
de la tasa de variación del error.
siendo h el coeficiente de aprendizaje, típicamente con valores comprendidos
entre 0.01 y 1.0
La regla DBD (delta-bar-delta) (Jordan, 1988) consiste en usar un coeficiente
de aprendizaje propio y variable para cada conexión.
Una extensión propuesta por Rumelhart, Hinton y Williams (1986) consiste en
añadir un término proporcional a la cantidad del último cambio realizado sobre
un peso. Al coeficiente que pondera dicha cantidad se le llama momentum (??
La propuesta EDBD (extended delta-bar-delta) (Minai
y Williams,1990) consiste en añadir el momentum a la regla DBD.
El algoritmo de retropropagación presenta ciertos problemas, algunos
referentes a su dudosa plausibilidad neurofisiológica, y otros referentes a
ciertos aspectos computacionales, que son los que vamos a comentar aquí.
- Los resultados dependen de los valores iniciales, aleatorios, de las conexiones.
Esto hace que sea conveniente entrenar varias redes con distintas valores
iniciales y elegir la que mejor funcione.
- A veces se requiere mucho tiempo para obtener soluciones sencillas. Este
problema se reduce gracias al aumento de potencia de los procesadores y al
uso de nuevas tecnologías, sin embargo, el tiempo de cómputo aumenta mucho
al aumentar el tamaño de la red. Si bien el volumen de cálculo es proporcional
al número total de conexiones. En la práctica, al aumentar el tamaño de la
red, hacen falta más ejemplos de aprendizaje, y eso provoca un aumento aumenta
mucho mayor del tiempo de aprendizaje. Para incrementar la velocidad de convergencia
se han desarrollado diferentes modificaciones del algoritmo.
- La "interferencia catastrófica" o empeoramiento en el rendimiento
del sistema, como consecuencia de la incorporación de nuevos ejemplos de aprendizaje.
- La parálisis: esto sucede cuando los pesos quedan ajustados a valores muy
grandes, esto hace operar a las unidades de proceso con una activación muy
próxima a 1, y por lo tanto, el gradiente del error, ???tiende a 0, en consecuencia
no se producen modificaciones en los pesos, el aprendizaje queda detenido.
Por eso es conveniente aleatorizar los pesos de las conexiones con valores
pequeños y usar la tasa de aprendizaje, ????también pequeña, a pesar de que
se ralentice el aprendizaje.
- Inestabilidad temporal. Si usamos un coeficiente de aprendizaje elevado,
se van a producir incrementos grandes en los pesos, de manera que es fácil
pasarse de incremento y tener que tratar de compensarlo en el siguiente ciclo,
de manera que se producirían oscilaciones continuas. Esto se soluciona usando
un coeficiente pequeño, o, para no tener un aprendizaje muy lento, modificar
dicho coeficiente adaptativamente (aumentarlo si el error global disminuye,
y disminuirlo en caso contrario).
- El problema de los mínimos locales. El algoritmo de retropropagación usa
un técnica por gradiente descendiente, esto significa que sigue la "superficie
del error" siempre hacia abajo, hasta alcanzar un mínimo local, pero
no garantiza que se alcance una solución globalmente óptima. Sin embargo,
se ha comprobado que el hecho de alcanzar mínimos locales no impide que se
consigan resultados satisfactorios. Por otro lado, se han desarrollado métodos
para solventar este problema, como el modo de operación asíncrono o probabilístico
y el uso de métodos estadísticos, como el equilibrio termodinámico simulado
(ver siguiente apartado).
Ilustración 10: Problema de los mínimos locales
- Podemos considerar el error como una superficie llena de desniveles, si
soltamos una pelota caerá en algún valle, pero no necesariamente
en el más hondo, sino en el más cercano (un mínimo local).
Una idea intuitiva para solucionar esto, sería aplicarle cierta energía
a esa superficie agitándola o haciéndola vibrar, esto haría
saltar a la pelota de valle en valle, como de los valles más profundos
es más difícil salir, tendería a estar en valles cada
vez más profundos. Si dejamos de agitar esa superficie poco a poco,
al final tendremos la pelota en el valle más profundo de la superficie.
- Otras técnicas que pueden ayudar a no caer en mínimos locales
consisten en añadir cierto nivel de ruido a las modificaciones de los pesos
de las conexiones. Otra medida propuesta es añadir ruido a las conexiones,
pero esto es más útil para darle robustez y aumentar la capacidad
de generalización de la red. Estas medidas, por contra, aumentan el
tiempo de aprendizaje.
El equilibrio termodinámico simulado (simulated annealing) se inspira en el
modo en como se templa el acero en la industria metalúrgica: primero se calienta
hasta temperaturas muy altas y luego se deja enfriar, de manera que pase de
estados de alta energía a estados de baja energía, hasta que alcanza un mínimo
energético global, así el acero queda mucho más resistente.
La relación entre temperatura y estado energético viene expresada por la distribución
de probabilidad de Boltzmann:
E = energía del sistema
k = constante de Boltzmann
T = temperatura (grados Kelvin)
a = coeficiente que depende del material
Esta función indica la probabilidad de estar en un estado de energía
E a una determinada temperatura. Con altas temperaturas es igualmente probable
tener estados de alta o baja energía; pero a bajas temperaturas se reduce
la probabilidad de estar en un estado de alta energía. El estado energético
indica la capacidad o probabilidad de cambiar, por lo tanto, al empezar con
temperatura elevadas hay muchas probabilidades de cambiar, y se reducen al ir
enfriando el sistema.
- Definir una variable de temperatura, T, y darle al principio un valor elevado.
- Aplicar los ejemplos de aprendizaje y calcular la salida y la función objetivo
(error cuadrático).
- Realizar una modificación aleatoria de un peso y recalcular la salida y
la función objetivo.
- SI la función objetivo se reduce (el error disminuye) retener el cambio
SINO calcular la probabilidad de aceptar ese cambio mediante la distribución
de probabilidad de Bolztmann.
P(c)=
probabilidad de un cambio c en la función objetivo
k = constante que hay que elegir para cada problema concreto
T= la temperatura artificial
Seleccionar un número aleatorio r entre 0 y 1 (distribución uniforme)
y retener el cambio si P(c) > r, rechazarlo en caso contrario.
- Repetir los pasos 3 y 4 reduciendo la temperatura hasta lograr un valor
aceptable de la función objetivo.
Hay varias formas de elegir el cambio de peso del paso 3 emulando los procesos
termodinámicos, pe. mediante una distribución gaussiana de probabilidad.
P(w) = probabilidad
de un cambio de peso de tamaño w (?w)
Para obtener el incremento de peso D w a aplicar se puede usar el método de
Monte Carlo:
- Hallar la probabilidad acumulada de P(w), es decir, la integral entre 0
y w, por algún método de integración numérica, y tabular el resultado como
?w. Obtener una tabla con diversos valores de P(w) sobre cierto intervalo
y los correspondientes ?w.
- Elegir un número aleatorio mediante una distribución uniforme sobre el intervalo
prefijado, usarlo como valor para P(w) y buscar en la tabla el correspondiente
valor de ?w.
Se ha comprobado que la tasa de reducción de temperatura debe ser proporcional
al inverso del logaritmo del tiempo.
Este resultado predice velocidades muy lentas de enfriamiento y muchos cálculos,
lo cual conlleva periodos de aprendizaje excesivamente largos. Una solución
mucho más rápida consiste en sustituir la distribución
de Boltzmann por la distribución de Cauchy.
Emplea la distribución de probabilidad de Cauchy en función de la temperatura
y el tiempo:
En este caso el tiempo de enfriamiento se reduce drásticamente:
P(x) se puede integrar por métodos usuales:
xc es el cambio de peso
h es el coeficiente de aprendizaje
En este caso el método de Monte Carlo resulta muy simple. Seleccionamos un
número aleatorio sobre el intervalo abierto -p /2 a p /2, sustituirlo por P(x)
y calcular xc con la temperatura actual.