Un científico sostiene que la IA no es tan incomprensible
Pese a que referentes de la tecnología admiten no entender del todo el funcionamiento interno de las redes neuronales, una nueva hipótesis plantea que son más transparentes de lo que se cree.
Uno de los mayores dilemas de la tecnología actual es que incluso los propios creadores de la inteligencia artificial desconocen con precisión qué ocurre dentro de sus sistemas. Creadores e investigadores del sector, como Geoffrey Hinton, Yoshua Bengio, Sam Altman y Dario Amodei, reconocieron abiertamente que existen limitaciones para comprender cómo los grandes modelos de lenguaje organizan y utilizan la información aprendida durante su entrenamiento.
Esta falta de claridad convierte a los modelos en verdaderas «cajas negras». En 2019, Hinton resumió el problema al señalar que en realidad no sabemos cómo funcionan. Más tarde, en octubre de 2024, Bengio expresó que no cree que lleguemos a interpretar jamás lo que sucede dentro de las redes neuronales por razones fundamentales, aunque mantuvo la esperanza de que el proceso por el cual la IA llega a sus respuestas pueda descomponerse en partes interpretables.
La hipótesis para abrir la caja negra
Frente a este escenario de incertidumbre, el investigador Nick Cammarata propone una perspectiva diferente. Cammarata, quien trabajó en OpenAI en el desarrollo de técnicas para explicar el comportamiento de las neuronas artificiales y en la visualización de circuitos neuronales, se desempeña actualmente en Goodfire, una firma dedicada a la interpretabilidad mecanicista de la IA.
El pasado 15 de octubre, el especialista publicó en el sitio de la empresa un artículo titulado «Las redes neuronales ya son transparentes», donde sostiene que estos sistemas resultan mucho más comprensibles de lo que se suele asumir. Si bien su trabajo no ofrece una demostración definitiva sobre la resolución del problema en los modelos de lenguaje, presenta una hipótesis respaldada por experimentos en redes de visión computacional y modelos de lenguaje.
Polisemia neuronal y superposición
El punto de partida del planteo de Cammarata es el análisis de la polisemia neuronal, definida como la capacidad de ciertas neuronas artificiales de responder a conceptos que no guardan una relación aparente entre sí.
Hasta el momento, la explicación dominante para este fenómeno era la teoría de la superposición, la cual sostiene que una red neuronal codifica distintas características en una sola neurona debido a que cuenta con un número limitado de ellas. Con sus investigaciones, Cammarata busca abordar de forma exhaustiva este comportamiento para profundizar en el funcionamiento interno de los modelos.