Aprendizaje

Este algoritmo aprende procesando iterativamente un conjunto de ejemplos de entrenamiento, comparando la predicción de la red para cada ejemplo con la clase real de dicho ejemplo (ya conocida). Para cada ejemplo de entrenamiento, los pesos son modificados para minimizar el error medio cuadrático entre la predicción y la clase real. Estas modificaciones son hechas en dirección hacia atrás, es decir, desde la capa de salida, hacia cada capa oculta llegando hasta la primera capa oculta (de aquí el nombre backpropagation). Sin embargo, esto no es garantía, en general los pesos convergirán, y el proceso de aprendizaje termina.

Pasos del Algoritmo

• Inicialización de los pesos: Los pesos en la red son inicializados con pequeños números aleatorio (p.e. -1.0 a 1.0, o -0.5 a 0.5). Cada unidad tiene un sesgo (bias) asociado, el cual se explicará más adelante. Los sesgos deben ser igualmente inicializados con números pequeños aleatorios.

Para cada ejemplo de entrenamiento:

• Propagación hacia adelante de las entradas: En este paso, las entradas y salidas de cada unidad en la capa oculta y en la capa de salida son calculadas. Primero el ejemplo de entrenamiento es enviado a la capa de entrada de la red. Por cada unidad j en la capa de entrada su salida es igual a su entrada, es decir, Oj = Ij para cada unidad de entrada j. Las salidas de cada unidad en la capa oculta y en la capa de salida son calculadas como una combinación lineal de sus entradas.

Las entradas de cada unidad, son en efecto, las salidas de las unidades conectadas a la capa anterior. Para calcular la entrada a la unidad, cada entrada conectada a la unidad es multiplicada por su correspondiente peso y esto es sumado. Dada una unidad j en la capa oculta o en la de salida, la entrada Ij a esta unidad j es:

El algoritmo de retropropagación aprende usando el método del gradiente descendente para encontrar el conjunto de pesos que puedan modelar el problema de clasificación dado y minimizar el error cuadrático medio. La rata de aprendizaje ayuda a evitar estancamientos en mínimos locales en el espacio de decisión, es decir, el algoritmo puede parecer converger, pero no a la solución óptima), y a llegar finalmente al mínimo global. Si la rata de aprendizaje es muy pequeña, entonces el aprendizaje ocurrirá muy lentamente. Si la rata de aprendizaje es muy grande, entonces pueden ocurrir oscilaciones entre soluciones no adecuadas. Una regla para establecer la tasa de aprendizaje es colocarla a 1/t, donde t es el número de iteraciones establecido hasta el momento.

El entrenamiento termina cuando:

• Todos los Dij en la época previa están por debajo del umbral previamente establecido.
• El porcentaje de ejemplos mal clasificados en la época previa está por debajo del umbral.
• Un número prefijado de épocas se ha cumplido.

En la práctica, muchos cientos o miles de épocas pueden ser requeridos antes de que los pesos converjan.