Redes neuronales binarias: introducción

Resumen

Este artículo presenta una introducción a las redes neuronales binarias. A lo largo del documento, se presentan los conceptos fundamentales del aprendizaje automático y las redes neuronales, seguido de la evolución de las técnicas de compresión de redes, los principios de la binarización, y su aplicación a redes totalmente conectadas, convolucionales y recurrentes. Tanto la cuantización como la binarización ofrecen alternativas a los métodos tradicionales de compactación de redes neuronales como la poda, la dispersión (sparcity) y la compartición de pesos, así como a estrategias de aceleración basadas en hardware como la paralelización, el uso de GPU, e implementaciones distribuidas. El uso de valores binarios para los parámetros de la red, permite en teoría, disminuir su tamaño hasta 32 veces, mientras que el uso de operaciones a nivel de bits, como el xnor y el popcount pueden reducir el tiempo de procesamiento hasta en 50% dependiendo del número de ciclos de reloj utilizados en operaciones de punto flotante. No obstante, la binarización lleva implícita una pérdida significativa de información, lo cual impacta directamente la exactitud de los modelos, por lo que para mitigar este problema se han desarrollado numerosas técnicas. Este artículo proporciona al lector una introducción a los fundamentos de las técnicas de binarización y ofrece una visión general de las distintas estrategias que se han utilizado para mejorar la exactitud de las redes binarias e igualarla con las redes tradicionales de punto flotante