El jefe de alineamiento de Anthropic pone en más de 10% el riesgo de que la IA acabe con la humanidad

Esta mañana me encontré con un titular que parecía diseñado para conseguir clics: un investigador de Anthropic estima en más de 10% la posibilidad de que la inteligencia artificial acabe con la humanidad durante la próxima década.

Fácil descartarlo como otra predicción apocalíptica sobre IA.

El problema aparece cuando ves quién lo dijo y, sobre todo, lees el resto de su declaración.

De dónde salió ese 10%

Evan Hubinger es responsable de Alignment Science en Anthropic. Su trabajo está precisamente relacionado con uno de los problemas más difíciles de la inteligencia artificial: conseguir que sistemas cada vez más capaces mantengan objetivos compatibles con los nuestros y permanezcan bajo control.

Hubinger escribió públicamente que considera personalmente superior al 10% la posibilidad de que la IA pueda acabar con todos los seres humanos durante la próxima década.

Hay que poner esa frase en contexto.

No es una estimación oficial de Anthropic, tampoco significa que exista un estudio que haya calculado matemáticamente un 10.7% o un 12.3%. Es la evaluación personal de un investigador especializado en alineamiento.

Y tampoco está diciendo que Claude, ChatGPT o Gemini puedan provocar mañana una catástrofe de ese nivel.

Hubinger ha aclarado que considera bajo el riesgo de los modelos actuales.

Su preocupación mira varios pasos más adelante.

El problema es la superinteligencia

Imaginemos que utilizamos una IA para ayudarnos a desarrollar la siguiente generación de inteligencia artificial.

La nueva generación es mejor programando, investigando y diseñando modelos, así que participa todavía más en la creación de su sucesora.

Repetimos el proceso.

En algún momento podríamos tener sistemas que mejoran las herramientas utilizadas para construir sistemas todavía más capaces.

A esto se le suele llamar recursive self-improvement, o mejora recursiva.

Ahí cambia bastante el problema.

Ya no basta con comprobar que un chatbot rechaza determinadas instrucciones peligrosas. Necesitamos garantizar que un sistema mucho más inteligente, autónomo y capaz siga haciendo aquello que realmente queremos incluso cuando pueda encontrar estrategias que nosotros ni siquiera habíamos considerado.

Ese es el problema del alineamiento.

Y todavía no está resuelto.

La frase que me preocupa más que el 10%

Hubinger dijo algo que me parece bastante más importante que su porcentaje:

Anthropic todavía no tiene un plan para resolver el alineamiento de una superinteligencia y, según su propia evaluación, tampoco está claramente encaminada a conseguirlo.

Eso cambia bastante cómo interpreto la noticia.

Es perfectamente razonable discutir si su 10% es demasiado alto.

Podría ser 1%. Podría ser 0.1%. También podría ser mayor. Estamos intentando asignar probabilidades a una tecnología que todavía no existe, por lo que inevitablemente existe una enorme incertidumbre.

Pero hay una pregunta mucho más concreta.

¿Tenemos una solución demostrada para controlar una inteligencia muy superior a nosotros?

Por ahora, no.

La propia Anthropic ha explicado desde hace años que todavía no existe una comprensión sólida de cómo garantizar que sistemas extremadamente poderosos permanezcan robustamente alineados con los valores humanos.

Un investigador acaba de renunciar por esto

La declaración de Hubinger tampoco apareció de forma aislada.

Jacob Coxon renunció a Anthropic después de haber trabajado durante aproximadamente tres años en investigación de pretraining entre OpenAI y Anthropic.

Su acusación fue bastante fuerte: considera que ninguna de las dos compañías está actuando responsablemente y que existe una carrera hacia sistemas capaces de mejorarse a sí mismos.

Hubinger respondió respaldando buena parte de su preocupación.

Samuel Marks, responsable de scalable oversight en Anthropic, también señaló públicamente que desarrolladores de IA contemplan escenarios de extinción o resultados de gravedad comparable.

Tres personas trabajando cerca del problema diciendo públicamente cosas similares el mismo día merecen, como mínimo, que prestemos atención.

Tampoco significa que debamos entrar en pánico

Hay un peligro con titulares como este.

Si presentamos la historia como “Anthropic dice que hay un 10% de posibilidades de que Claude nos mate”, estamos contando algo que no ocurrió.

Los sistemas actuales siguen teniendo limitaciones enormes.

La preocupación está relacionada con sistemas futuros mucho más capaces, particularmente aquellos que puedan contribuir sustancialmente a su propio desarrollo.

Además, dentro de la comunidad científica existe discusión sobre cuánto debemos preocuparnos por escenarios de extinción frente a problemas que la IA ya provoca o puede agravar: desinformación, fraude, ciberataques, desplazamiento laboral o concentración de poder.

Podemos ocuparnos de ambos.

¿Por qué seguir desarrollándola entonces?

Esta es probablemente la contradicción más interesante de toda la historia.

Si algunos investigadores de las empresas que desarrollan estos modelos consideran que existe un riesgo tan grande, ¿por qué siguen avanzando?

Porque ninguna empresa trabaja aislada.

Anthropic puede pensar que desarrollar una IA segura es preferible a permitir que otra organización llegue primero con menos controles. OpenAI puede hacer un razonamiento parecido. Google también.

Y cada compañía sabe que detenerse unilateralmente no obliga a las demás a hacerlo.

Es el clásico problema de una carrera tecnológica.

Todos pueden reconocer el riesgo mientras individualmente tienen incentivos para continuar.

Por eso esta discusión termina inevitablemente saliendo del laboratorio y llegando a gobiernos, regulación y acuerdos internacionales.

Lo que me llevo

Trabajo todos los días con inteligencia artificial y sigo pensando que es una de las tecnologías más útiles que hemos tenido los desarrolladores en mucho tiempo.

Precisamente por eso creo que hay que poder hablar de sus riesgos sin caer en ninguno de los extremos.

Ni todo avance de IA anuncia el fin del mundo ni cualquier preocupación sobre seguridad es paranoia.

El 10% de Hubinger es una opinión personal y debemos presentarla como tal.

Pero su segunda afirmación es mucho más tangible: todavía no sabemos cómo garantizar el alineamiento de una futura superinteligencia.

Y estamos intentando construirla.

Conclusión

Hace unos años discutíamos si una IA podía escribir código suficientemente bueno para utilizarlo en producción.

Ahora investigadores de las propias compañías que desarrollan los modelos están discutiendo públicamente qué ocurriría si esos sistemas empiezan a participar en la construcción de versiones superiores de sí mismos.

El cambio de escala es enorme.

No sé si el riesgo real es 10%, 1% o una fracción muchísimo menor. Nadie puede demostrar hoy ese número.

Sí sabemos otra cosa: las capacidades están avanzando mientras el problema de control continúa abierto.