Un equipo de investigación de la Universidad de Virginia Occidental trabaja en el desarrollo de modelos de inteligencia artificial capaces de reconocer sus propios límites y admitir cuándo no disponen de información suficiente para responder con certeza. El proyecto, liderado por Anthony Sicilia, profesor asistente en la Facultad de Ingeniería y Recursos Minerales Benjamin M. Statler de esa institución, cuenta con un financiamiento de más de 940.000 dólares otorgado por la Fundación Nacional de Ciencias de Estados Unidos.
El estudio busca responder por qué herramientas como ChatGPT pierden confiabilidad a lo largo de interacciones prolongadas con usuarios humanos. Además del problema de las alucinaciones —término con el que se conoce a la generación de datos falsos por parte de los algoritmos—, el investigador advierte sobre la tendencia de estos sistemas a comportarse de forma complaciente, manteniendo una postura firme sobre información frágil o aceptando imprecisiones introducidas por las personas durante la charla.
El problema de la sicofancia y la falsa confianza
De acuerdo con las observaciones de Sicilia, cuando un usuario cuestiona las respuestas de un sistema de inteligencia artificial, el modelo suele tener dificultades para determinar si cometió un error, si la persona está insegura o si el foco de la conversación cambió. Este fenómeno, denominado en el ámbito tecnológico como sicofancia de la IA, provoca que el sistema ceda ante la presión del interlocutor aunque la respuesta inicial haya sido correcta.
Según explicó el científico, este cambio de actitud puede ocurrir en apenas tres turnos del diálogo. El modelo propone un resultado acertado, el usuario expresa dudas o desacuerdo y la tecnología responde aceptando la postura equivocada de la persona. Este tipo de comportamiento resulta particularmente riesgoso en áreas críticas como la atención de la salud, donde los errores informativos pueden tener consecuencias graves.
Defensas elocuentes ante datos incorrectos
Uno de los aspectos señalados por el especialista es la fluidez con la que las herramientas actuales defienden argumentos erróneos. Al expresarse con corrección gramatical, justificar sus afirmaciones y emplear recursos de persuasión, la tecnología convence a los usuarios de que domina el tema, impidiendo que la persona detecte las fallas lógicas de la respuesta.
A diferencia de los humanos, que suelen emitir señales o matices verbales cuando dudan o formulan hipótesis, los modelos generativos carecen de estos indicadores. El proyecto de la Universidad de Virginia Occidental, en el que también participa el estudiante Voke Brume, apunta a modificar el funcionamiento de estos algoritmos para que informen abiertamente cuando carecen de evidencia sólida o no están seguros de sus conclusiones.