Las redes neuronales electrónicas, uno de los conceptos clave en la investigación de la inteligencia artificial, se han inspirado en las neuronas biológicas desde sus inicios, como lo demuestra su nombre. Una nueva investigación ahora ha revelado que la influyente arquitectura de transformadores de IA también comparte paralelos inesperados con la neurobiología humana. En un estudio colaborativo, los científicos proponen que las redes biológicas de astrocitos y neuronas podrían imitar los cálculos centrales de los transformadores. O viceversa. Los hallazgos, informados conjuntamente por el MIT, el MIT-IBM Watson AI Lab y la Escuela de Medicina de Harvard, se publicaron esta semana en la revista Proceedings of the National Academy of Sciences. Las redes de astrocitos y neuronas son redes de células en el cerebro que consisten en dos tipos de células: astrocitos y neuronas. Los astrocitos son células que sostienen y regulan las neuronas, que son células cerebrales que envían y reciben impulsos eléctricos. Su actividad es básicamente pensar. Los astrocitos y las neuronas se comunican entre sí mediante sustancias químicas, electricidad y el tacto.
Por otro lado, los transformadores de IA, presentados por primera vez en 2017, son una de las tecnologías base detrás de los sistemas generativos como ChatGPT. –de hecho, ahí es donde se encuentra la «T» en GPT. A diferencia de las redes neuronales que procesan las entradas secuencialmente, los transformadores pueden acceder directamente a todas las entradas a través de un mecanismo llamado autoatención. Esto les permite aprender dependencias complejas en datos como texto. Los investigadores se centraron en las sinapsis tripartitas, que son uniones donde los astrocitos forman conexiones entre una neurona que envía señales (neurona presináptica) y una neurona que recibe señales (neurona postsináptica). Utilizando modelos matemáticos, demostraron cómo la integración de las señales de los astrocitos a lo largo del tiempo podría proporcionar la memoria espacial y temporal necesaria para la autoatención. Sus modelos también muestran que se podría construir un transformador biológico utilizando la señalización de calcio entre astrocitos y neuronas. TL; DR, este estudio explica cómo construir un transformador orgánico. «Habiendo permanecido eléctricamente silencioso durante más de un siglo de grabaciones cerebrales, los astrocitos son una de las células más abundantes, aunque menos exploradas, en el cerebro», Konstantinos Michmizos, profesor asociado. de ciencias de la computación en la Universidad de Rutgers le dijo al MIT: «El potencial de liberar el poder computacional de la otra mitad de nuestro cerebro es enorme».Una descripción general de alto nivel de la red propuesta de neurona-astrocito. La hipótesis aprovecha la evidencia emergente de que los astrocitos juegan un papel activo en el procesamiento de la información, a diferencia de sus funciones de mantenimiento asumidas previamente. También describe una base biológica para los transformadores, que pueden superar las redes neuronales tradicionales para facilitar tareas como la generación de texto coherente. Los transformadores biológicos propuestos podrían proporcionar nuevos conocimientos sobre la cognición humana si se validan experimentalmente. Sin embargo, quedan brechas significativas entre los humanos y los modelos de transformadores hambrientos de datos. Si bien los transformadores requieren conjuntos de datos de entrenamiento masivos, los cerebros humanos transforman la experiencia en lenguaje de forma orgánica con un presupuesto de energía modesto. Aunque los vínculos entre la neurociencia y la inteligencia artificial ofrecen información, comprender la gran complejidad de nuestras mentes sigue siendo un desafío inmenso. Las conexiones biológicas representan solo una pieza del rompecabezas: desbloquear las complejidades de la inteligencia humana requiere un esfuerzo sostenido en todas las disciplinas. Cómo la biología neuronal logra casi la magia sigue siendo el misterio más profundo de la ciencia.
