Evolutionary learning methods for multilayer morphological perceptron

Abstract

This thesis describes three compressive learning algorithms for multilayer morphological perceptrons. The three algorithms are based on evolutionary algorithms: direct encoding method, indirect encoding method, and catesian genetic programming method. The direct encoding method uses adaptive mutation as the genetic algorithm approaches convergence to fine tune network parameters to reach optimal values. In addition, the algorithms use a special fitness function which penalize those networks with redundant neurons. The training of the neural network using the indirect encoding method is done by finding the solution without considering the exact connectivity of the network. Looking for the set of connection weights and network architecture in a reduced search space, this simple, but powerful, training algorithm is able to evolve to a feasible solution using up to three layers suficient to perform most pattern classification. The last method uses Cartesian genetic programming to evolve network architecture and connection weights simultaneously. The resulting program consists of the multilayer morphological perceptron, which is able to classify patterns received as the inputs. The algorithm introduces the use of the morphological neuron computational model as the function used by the generated programs. Prototypes were implemented using Matlab, and tested using data sets used previously by other researchers.Esta tesis describe en detalle tres algoritmos de aprendizaje para perceptrones morfológicos de múltiples capas. Los tres algoritmos son basados en algoritmos evolutivos: el método de codificación de forma directa, el método de codificación de forma indirecta y el método de programación genética cartesiana. El método de codificación de forma directa utiliza mutación adaptiva según el algoritmo genético se acerca a la convergencia para refinar los parámetros de la red neural para poder conseguir valores óptimos. En adición, el algoritmo utiliza una función de evaluación especial en la que se penalizan aquellas redes neurales con neuronas redundantes de acuerdo a como estas estén colocadas. En el método de codificación de forma indirecta el entrenamiento de la red neural es hecho mediante la búsqueda de soluciones sin considerar la conectividad exacta de la red. Al reducir el espacio de busqueda pesos de las conexiones y la arquitectura de la red, este simple, pero poderoso algoritmo de entrenamiento es capaz de evolucionar soluciones viables usando hasta tres capas las cuales son requeridas para realizar la mayoría de las clasificaciones de patrones. El tercer método, utiliza programación genética cartesiana para evolucionar la arquitectura de la red y los pesos de las conexiones simultáneamente. El programa resultante produce la red neural capaz de clasificar los patrones recibidos como entradas. El metodo introduce el uso del modelo computacional usado por la neurona morfológica como las operaciones utilizadas por los programas generados. Prototipos fueron implementados usando Matlab y probados usando conjuntos de datos presentados por otros investigadores.