Anthropic y OpenAI abren la puerta a auditores externos y admiten que el ritmo de la IA los supera

Los máximos responsables de Anthropic y OpenAI aceptaron esta semana que la velocidad con que avanzan los modelos de inteligencia artificial más potentes podría estar por encima de su capacidad para entenderlos y mantenerlos bajo control.

Dario Amodei, de Anthropic, y Sam Altman, de OpenAI, coincidieron en la necesidad de moderar ese ritmo, y Elon Musk, fundador de xAI, respaldó el llamado con un mensaje breve: "Dario tiene razón".

Amodei advirtió que la IA podría entrar en una fase de "automejora recursiva", en la que los propios sistemas ayuden a crear versiones más avanzadas. Según su diagnóstico, en un plazo de seis a 12 meses un conjunto de agentes autónomos podría llegar a controlar zonas extensas de internet mediante una red persistente de bots, con pérdidas económicas que estimó en cientos de miles de millones de dólares.

El ejecutivo basó parte de su preocupación en un episodio en el que agentes de IA de OpenAI salieron de su entorno de pruebas y vulneraron sistemas de la plataforma Hugging Face. De acuerdo con su relato, los programas atacaron objetivos ajenos a la tarea encomendada e intentaron interferir en el mecanismo que evalúa su rendimiento.

El caso puso la atención sobre los llamados agentes de IA: sistemas que no solo responden consultas o generan contenido, sino que ejecutan acciones, toman decisiones y se coordinan con otros programas con autonomía creciente.

En abril, especialistas ya habían advertido en Cooperativa que este tipo de herramientas podía buscar y explotar fallas informáticas sin interrupción, lo que dio origen al concepto de "portonazos digitales".

Como primera respuesta, Anthropic informó que abrirá sus instalaciones a evaluadores independientes, con un nivel de acceso similar al de sus propios empleados, para que revisen los procesos de entrenamiento y publiquen sus conclusiones.

Horas después, Altman respaldó la idea y confirmó que OpenAI también aceptará auditorías externas. "Coincido con Dario en que debemos avanzar a un ritmo adecuado en la frontera tecnológica", declaró el creador de ChatGPT, quien aseguró que la posibilidad de desacelerar ha estado entre los temas centrales de las conversaciones internas de la empresa en las últimas semanas.

Según los antecedentes conocidos esta semana, OpenAI ya habría detenido algunos procesos de entrenamiento por razones de seguridad. Altman también descartó una salida a la bolsa en el corto plazo, al considerar que la presión de los inversionistas podría dificultar decisiones que pongan la seguridad por delante de las ganancias inmediatas.

El ejecutivo calificó como "inaceptable" un escenario en el que exista un 10 por ciento de probabilidad de que sistemas superinteligentes provoquen una catástrofe por falta de control.

Musk apoyó la desaceleración, aunque no comprometió a xAI con las auditorías independientes anunciadas por Anthropic y OpenAI.

Las advertencias sobre riesgos futuros llegaron junto con revelaciones sobre usos actuales de estas herramientas. Anthropic informó que en los últimos ocho meses detectó y bloqueó investigaciones que podían contribuir al desarrollo de armas biológicas.

La empresa precisó que no pudo determinar si quienes las realizaban tenían fines legítimos o maliciosos, pero decidió impedirlas ante el riesgo de facilitar la creación de patógenos peligrosos.

También documentó usos indebidos de su modelo Claude vinculados a actores estatales de China, Rusia, Irán y Yemen. En el caso iraní, usuarios asociados al Gobierno habrían empleado el sistema para tareas de vigilancia, procesamiento de información sobre disidentes, periodistas, activistas y políticos, además de elaborar recomendaciones para eventuales ataques contra fuerzas navales estadounidenses en la región.

La inquietud interna quedó en evidencia con la renuncia de Jacob Coxon, investigador que trabajó en Anthropic y OpenAI. Coxon acusó a ambas compañías de estar más concentradas en superarse entre sí que en garantizar la seguridad de sus productos.

Otros miembros de Anthropic respaldaron sus temores: el investigador Evan Hubinger calculó en más de un 10 por ciento la probabilidad de que la IA acabe con la humanidad en la próxima década.

Las declaraciones reavivaron el debate político en Estados Unidos. El senador Bernie Sanders recordó que prepara una iniciativa para prohibir el desarrollo de una superinteligencia y pausar el avance de los modelos, mientras los congresistas Greg Casar, Lori Trahan y Jay Obernolte impulsan distintas fórmulas para aumentar la supervisión.

La presión también cruzó fronteras: el alto comisionado de la ONU para los Derechos Humanos, Volker Türk, pidió un esfuerzo internacional coordinado antes de que los sistemas más avanzados se vuelvan incontrolables y cuestionó que un grupo reducido de personas concentre un poder "casi ilimitado" sobre su desarrollo.

El llamado profundiza un debate ya abierto en Naciones Unidas, organismo que antes había solicitado un pacto internacional para proteger a los niños de sistemas no regulados y había advertido que la tecnología avanza más rápido que la capacidad de respuesta de los Estados.

El domingo, el presidente de Sudáfrica, Cyril Ramaphosa, llevó el tema a la cumbre de los BRICS y propuso crear un mecanismo internacional de evaluación científica independiente, junto con la obligación de reportar incidentes graves.

"Nuestra responsabilidad es garantizar que la gobernanza humana avance tan rápidamente como la propia inteligencia artificial", afirmó.

En medio de los pronósticos más extremos, la investigadora española Nuria Oliver introdujo una distinción: los incidentes conocidos no prueban la existencia de una inteligencia superior con voluntad destructiva, sino que muestran los peligros de delegar acciones sin supervisión humana efectiva.

El cambio decisivo no estaría solo en que los modelos sean más inteligentes, sino en que reciban permiso para actuar, coordinarse y decidir con consecuencias reales. Para Oliver, ninguna IA debería ejecutar de forma autónoma tareas capaces de afectar a millones de personas, y los humanos deberían comprender siempre lo que ocurre, conservar la posibilidad de intervenir y definir para qué quieren usar la tecnología.

El escritor británico Ian McEwan resumió el temor que atraviesa este debate: quizás haga falta una catástrofe para que la humanidad decida regular la inteligencia artificial.