La creadora de Claude alertó en un prospecto para su posible salida a bolsa que la inteligencia artificial avanzada podría causar daños «catastróficos o existenciales para la humanidad».
Anthropic sostiene que la inteligencia artificial avanzada podría plantear riesgos «catastróficos o existenciales para la humanidad». Y es que la frase aparece en un prospecto para posibles inversionistas, por lo que describe un escenario de riesgo: no significa que la compañía afirme que Claude vaya a causar ese daño ni que considere inevitable ese desenlace.
El documento menciona posibles comportamientos de autopreservación en modelos futuros, como intentar resistirse a un apagado, ocultar o manipular información y actuar de una forma similar al chantaje. Son posibilidades que Anthropic considera relevantes para evaluar la seguridad de sus sistemas, no una descripción del funcionamiento habitual de Claude.
La empresa identifica además una dificultad concreta para poner a prueba sus modelos. Si un sistema reconoce que está siendo evaluado, su comportamiento durante las pruebas podría no reflejar lo que hará después de su lanzamiento. Anthropic advierte también que algunas capacidades inesperadas pueden surgir durante el entrenamiento sin ser detectadas hasta que el modelo ya se utiliza.
La extensión de la advertencia da una idea del peso que Anthropic concede al asunto: unos 80 folios de las 261 páginas principales del prospecto están dedicados a factores de riesgo, frente a 48 páginas sobre el negocio. La compañía reconoce que investigar la seguridad requiere recursos, aunque no precisa cuánto dinero destina a ese trabajo en el documento.
El desafío ocurre mientras Anthropic sostiene una expansión costosa. Según las cifras recogidas por Cooperativa, la empresa registró ingresos de unos 4.600 millones de dólares el año pasado, casi doce veces más que en el ejercicio anterior, pero también una pérdida operativa superior a 8.000 millones de dólares. Sus gastos operativos rozaron los 13.000 millones, en buena medida por la infraestructura necesaria para entrenar y ejecutar modelos.
El prospecto señala asimismo que cerca de una cuarta parte de los ingresos de Anthropic en 2025 provino de solo dos clientes. Ese dato añade un riesgo comercial a los desafíos técnicos: la empresa debe financiar su crecimiento y sus investigaciones de seguridad mientras depende en parte de un número reducido de compradores.
La advertencia coincide con el llamado de su director ejecutivo, Dario Amodei, a moderar el ritmo de desarrollo de los modelos más avanzados para reforzar la seguridad. El prospecto deja así una tensión abierta: Anthropic considera que los sistemas de IA más capaces requieren mayores controles, pero también reconoce que lanzar nuevos modelos de forma continua es importante para seguir compitiendo.
