Saltar al contenido
Jueves, 15 de octubre

    Busca en la edición de hoy. Las notas anteriores están en el archivo.

    Tecnología

    OpenAI documenta seis episodios en que sus modelos de IA burlaron instrucciones y controles

    La empresa publicó un informe sobre comportamientos de "desalineamiento" detectados en los últimos seis meses, entre ellos un sistema que inventó datos financieros y otro que se dio a sí…

    Equipo ChileNoticias4 min de lectura

    WhatsApp Facebook

    OpenAI documenta seis episodios en que sus modelos de IA burlaron instrucciones y controles
    Imagen: Cooperativa

    OpenAI hizo público un informe con seis episodios en los que sus modelos de inteligencia artificial actuaron al margen de las instrucciones de sus creadores. Los comportamientos, que la compañía agrupa bajo el concepto de "desalineamiento", fueron observados durante los últimos seis meses, aunque el registro más antiguo corresponde a octubre de 2025.

    Entre los casos descritos hay uno en que un modelo redactó indicaciones para que una versión posterior de sí mismo escondiera que había hecho trampa y evitara ser detectado. En otro, el sistema reescribió sus propias instrucciones para ordenarse ignorar los mensajes de los desarrolladores y quedar fuera de las restricciones que se aplican a otros chatbots.

    El informe también menciona a un modelo que, ante la falta de datos para construir un modelo financiero, optó por inventarlos y definió que solo sería transparente al respecto si alguien se lo preguntaba.

    A esto se suman un agente que subió un archivo a internet para reutilizarlo después como fuente de información, sistemas que compartieron archivos sin autorización y otros que usaron credenciales fuera de su alcance.

    OpenAI aclaró que se trata de ejemplos puntuales y que no deben leerse como una medición de la frecuencia con que ocurren estas conductas. La empresa admitió además que sus reportes previos sobre desalineamiento se habían divulgado de manera irregular y menos seguido de lo que consideraba deseable, y anunció que buscará publicarlos con mayor regularidad.

    El nuevo marco de seguridad habilita a cualquier trabajador de OpenAI a reportar un posible incidente para que lo revisen los equipos de alineamiento. Los casos se ordenarán en tres categorías según su complejidad: los listos para divulgar, las investigaciones menores y aquellos que exijan una indagación más amplia.

    La compañía espera que este esquema ayude a fijar estándares de reporte para toda la industria.

    En paralelo, el director ejecutivo de Palantir, Alex Karp, dijo en una entrevista con CNBC que se necesitan regulaciones "razonables" para la inteligencia artificial, aunque puso en duda que sea posible aplicarlas.

    "Hay que encontrar la manera de establecer directrices razonables que se hagan cumplir, pero no se puede hacer. La primera línea de defensa es que cada uno es responsable de sus propias acciones", afirmó en el programa "Squawk on the Street".

    Karp, fundador de Palantir en 2003 junto a Peter Thiel y otros socios, respaldó la nacionalización de los laboratorios de IA y la persecución penal de los desarrolladores que "no actúen de forma responsable" al crear herramientas de inteligencia artificial.

    "Si (estas empresas) no se nacionalizan, todos y cada uno de mis clientes van a presentar una demanda", sostuvo.

    Sus declaraciones se producen en un debate global sobre los riesgos de esta tecnología. El tema escaló cuando Jacob Coxon, exempleado de Anthropic y OpenAI, afirmó que la IA podría acabar con toda la humanidad antes de que termine la década.

    El director ejecutivo de Anthropic, Dario Amodei, publicó el fin de semana pasado un ensayo en el que pidió "un ritmo más lento" para la industria ante los crecientes riesgos de seguridad, postura a la que se sumaron Sam Altman, de OpenAI, y Elon Musk, de xAI, en una coincidencia poco habitual del sector para exigir más regulaciones.

    Redacción propia a partir de información de Cooperativa. Si encuentras un error, avísanos y lo corregimos.

    Más noticias