OPTIMIZACIÓN DE REDES NEURONALES COMPLETAMENTE CONECTADAS EN SISTEMAS EMBEBIDOS (FULLY CONNECTED NEURAL NETWORK OPTIMIZATION FOR EMBEDDED SYSTEMS)

Resumen

Resumen
Este artículo examina la viabilidad de implementar Redes Neuronales de Capas Completamente Conectadas, en sistemas embebidos de bajos recursos. Hoy en día, el estado del arte de las redes neuronales esta principalmente ocupado por las redes de convolución o “Convolutional Neural Networks”. Sin embargo, las redes de capas completamente conectadas, un concepto más antiguo, aún tienen aplicabilidad en este contexto, y son más factibles de implementar en estos sistemas de recursos limitados gracias a su estructura más simple. Se abordan las limitaciones de estos dispositivos y se proponen y prueban optimizaciones.
Específicamente, las optimizaciones implementadas son dos. Por un lado, se utiliza el proceso de cuantificación de pesos y aritmética de punto fijo. Por otro lado, se aborda el concepto de aproximación de la función de activación.
El objetivo es demostrar la aplicabilidad de estos algoritmos en estos sistemas gracias a las optimizaciones, y hacer una breve mención a un dispositivo desarrollado a modo de prueba de concepto, el “Neural Pen”.
Palabras Claves: Embebidos, Neuronales, Redes, Sistemas.

Abstract
This article examines the viability of implementing Fully Connected Neural Networks in low resource embedded systems. Today, the state of the art of neural networks is mainly occupied by Convolutional Neural Networks. Nonetheless, Fully Connected networks, an older concept, still have plenty of applicability in this context thanks to their simplicity in comparison to CNNs. The limitations of these devices are discussed, and optimizations are proposed and tested.
Specifically, the optimizations implemented are two. On one hand, weight quantization techniques and fixed-point arithmetic are utilized. On the other hand, the concept of activation function approximation is explored.
The objective is to demonstrate the viability of these algorithms in these systems thanks to the optimizations, and make a brief mention of a device developed as a proof of concept of the work carried out, the “Neural Pen”.
Keywords: Embedded, Networks, Neural, Systems.