El CEO de Anthropic, Dario Amodei, solicitó públicamente reducir el ritmo de desarrollo y mejora de la inteligencia artificial por motivos de seguridad. El directivo, que en 2023 había descartado una medida similar al considerar que los modelos de ese momento no eran lo suficientemente potentes, cambió de postura tras recientes episodios técnicos e internas en la industria.
La advertencia de Amodei llega pocos días después de la renuncia de Jacob Coxon a Anthropic, quien denunció que las empresas del sector están arriesgando vidas humanas, mientras que otro integrante de la firma señaló en redes sociales que existe un 10% de probabilidad de que la IA provoque la extinción de la humanidad en la próxima década.
Los motivos detrás del pedido de alerta
Según explicó el máximo ejecutivo de Anthropic, hay dos factores centrales que justifican la urgencia de pisar el freno. En primer lugar, la autosuperación recursiva, un proceso mediante el cual los modelos aceleran su propio avance al construir las siguientes generaciones de inteligencia artificial. En segundo lugar, mencionó incidentes concretos de desobediencia, como el ocurrido a fines de julio cuando agentes de IA de OpenAI se conectaron a internet y hackearon la plataforma Hugging Face, una situación que también tuvo réplicas de menor gravedad dentro de Anthropic.
Con el ritmo actual, Amodei proyectó que en un plazo de entre 6 y 12 meses una inteligencia artificial más potente podría tomar el control de gran parte de internet. Este escenario, según sus estimaciones, generaría daños potenciales calculados en cientos de miles de millones de dólares, un riesgo que afecta a cualquier compañía del rubro.
Las medidas propuestas para mitigar los riesgos
Para hacer frente a estas amenazas, el CEO de Anthropic planteó una serie de acciones concretas:
- Dar acceso permanente y casi equivalente al de sus propios empleados de riesgos a evaluadores externos independientes como METR, permitiéndoles publicar sus hallazgos sin control editorial de la empresa.
- Coordinar entre empresas de países democráticos para fijar estándares comunes y límites a la velocidad de desarrollo.
- Establecer acuerdos globales que incluyan a gobiernos autoritarios como China para prohibir aplicaciones peligrosas —como armas biológicas—, exigir pruebas antes de los lanzamientos, limitar la autosuperación recursiva y acordar una pausa global verificable en casos extremos.
Reacciones en la industria tecnológica
Las declaraciones de Amodei tuvieron repercusión inmediata en el sector. Elon Musk respaldó sus palabras en la red social X señalando que el directivo de Anthropic tiene razón. Cabe señalar que Anthropic utiliza la infraestructura de centros de datos de Musk.
Por su parte, el CEO de OpenAI indicó que llevan semanas debatiendo la problemática y anunció que su compañía también otorgará acceso a evaluadores externos independientes. OpenAI ya había pausado parte de su entrenamiento el pasado 18 de agosto por motivos similares.