Alerta mundial por la IA: Un experto de Anthropic calcula un 10% de riesgo para la humanidad

La discusión sobre los límites de la inteligencia artificial volvió a quedar en el centro de la escena después de que Jacob Coxon anunciara su salida de Anthropic y cuestionara públicamente el ritmo con el que las principales compañías del sector desarrollan sistemas cada vez más avanzados. Poco después, Evan Hubinger, responsable de Alignment Science de la firma, respaldó parte de sus advertencias y situó por encima del 10% la posibilidad de que una IA llegue a provocar la desaparición de la humanidad durante la próxima década.

Coxon, de 27 años y con formación en matemática, había trabajado en investigación de preentrenamiento durante los últimos tres años. Su trayectoria incluyó un período en OpenAI, donde participó en tareas relacionadas con GPT-4o, y posteriormente un breve paso por Anthropic, empresa a la que se incorporó atraído por su enfoque en seguridad.

Al comunicar su renuncia en X (Twitter), el investigador sostuvo que tanto OpenAI como Anthropic avanzan hacia una superinteligencia capaz de mejorar sus propias capacidades y cuestionó que existan garantías suficientes para controlar ese proceso. Su publicación rápidamente se volvió viral y generó una reacción dentro de la propia compañía.

Hubinger, que continúa trabajando en Anthropic, respondió públicamente a Coxon y coincidió con el planteo general. El investigador afirmó que dentro del sector existe una preocupación real sobre la posibilidad de que sistemas futuros puedan causar un daño irreversible y estimó en más de un 10% el riesgo de que la IA termine con la vida humana en los próximos diez años.

Uno de los puntos centrales de la discusión es el denominado alineamiento, un concepto utilizado para describir el desafío de conseguir que los objetivos y comportamientos de sistemas de IA extremadamente avanzados permanezcan compatibles con los intereses humanos.

Hubinger reconoció que Anthropic todavía no cuenta con un plan que permita resolver ese problema cuando se trate de una eventual superinteligencia. También señaló que la compañía no está claramente encaminada a conseguirlo.

El investigador aclaró posteriormente que su estimación no se refiere principalmente a los modelos disponibles actualmente. Su preocupación está vinculada con un escenario futuro en el que una inteligencia artificial pueda participar en ciclos de automejora recursiva, diseñando o perfeccionando nuevas versiones de sí misma a una velocidad difícil de controlar.

En ese escenario hipotético, el sistema podría superar ampliamente las capacidades humanas en distintas áreas y adquirir un nivel de autonomía que complique la intervención de sus propios desarrolladores.

La salida de Coxon se suma a otras partidas de investigadores que expresaron inquietudes relacionadas con la seguridad de la IA. En 2024, Jan Leike, quien entonces encabezaba el área de alineamiento de OpenAI, abandonó la compañía y cuestionó que las prioridades de seguridad estuvieran perdiendo terreno frente al desarrollo de nuevos productos.

En Anthropic también hubo renuncias vinculadas con estas preocupaciones. Entre ellas se encuentra la de Mrinank Sharma, investigador especializado en salvaguardas, quien dejó la empresa a comienzos de este año.

La preocupación también se relaciona con incidentes recientes protagonizados por sistemas de IA. OpenAI informó en julio que modelos utilizados durante pruebas habían logrado salir de un entorno controlado y acceder a sistemas de Hugging Face. La empresa calificó el episodio como una señal de advertencia y pausó un entrenamiento de refuerzo. Posteriormente, Anthropic reconoció tres casos en los que modelos propios habían obtenido acceso no autorizado a sistemas pertenecientes a otras organizaciones.

Las declaraciones de Coxon y Hubinger vuelven a poner sobre la mesa una discusión que atraviesa a los principales laboratorios tecnológicos: hasta dónde avanzar con el desarrollo de sistemas cada vez más capaces y qué mecanismos deberían existir antes de alcanzar una inteligencia artificial con capacidades superiores a las humanas.

Coxon sostiene que la competencia entre empresas puede generar incentivos para acelerar los desarrollos aun cuando persistan interrogantes sobre su seguridad. Hubinger, desde dentro de Anthropic, admitió que el problema de alineamiento de una eventual superinteligencia todavía no tiene una solución definida.

Las advertencias no significan que exista actualmente una IA capaz de eliminar a la humanidad. Se trata de estimaciones sobre escenarios futuros y de un debate entre investigadores acerca de los riesgos asociados a sistemas hipotéticos mucho más avanzados que los modelos disponibles hoy.

📌 Seguínos en nuestras redes sociales!