Claude ya escribe el 90% del código de Anthropic: «Usar la IA para construir una IA más capaz podría suponer un riesgo considerable para la seguridad»

Anthropic reveló que la propia inteligencia artificial ya realiza casi todo su trabajo técnico interno. Solo durante septiembre, más del 90 % del código informático de la empresa fue generado por Claude, su modelo de IA.Además, el volumen medio diario de código producido por … cada ingeniero se multiplicó por más de 45 en comparación con el año anterior, reflejando la velocidad a la que estas herramientas están transformando la creación de software.

Noticia relacionada

Rodrigo Alonso

Sin embargo, Anthropic advierte en la versión actualizada de la documentación de su salida a bolsa (S-1/A) que el ritmo de avance técnico podría desbordar las barreras de protección actuales si la IA empieza a diseñarse a sí misma de forma autónoma.

Un progreso drástico por la IA

El informe financiero incluye advertencias explícitas sobre la «automejora recursiva», una denominación que define el momento en el que un modelo de IA es lo suficientemente avanzado como para desarrollar y entrenar a su propio sucesor sin intervención humana. Este fenómeno representa tanto la gran promesa de productividad del futuro como un peligro considerable si los sistemas llegan a escaparse del control humano.
«Nuestras estimaciones internas y nuestras expectativas sobre los modelos futuros, y no sobre los actuales, indican que podríamos alcanzar de forma inminente la definición de ‘progreso drásticamente acelerado atribuible a la IA’ de nuestra Política de Escalado Responsable», afirmó la compañía de Dario Amodei.
«Usar la IA para ayudar a construir una IA más capaz también podría suponer un riesgo considerable para la seguridad, sobre todo si acelera bruscamente el ritmo del progreso», añadió la empresa.

Control humano como base del desarrollo

Anthropic teme que el ritmo de evolución técnica avance a mayor velocidad que la capacidad de los científicos para medir sus efectos y aplicar protocolos de protección.
Como los análisis de seguridad suelen basarse en datos que llegan con retraso, podría producirse una aceleración peligrosa antes de que pueda ser detectada y evaluada a tiempo. Frente a esta amenaza, la tecnológica sostiene que la supervisión humana debe continuar siendo un pilar indispensable en el diseño de los algoritmos más potentes.
«No prevemos poder usar Claude de forma segura para diseñar y construir de manera totalmente autónoma generaciones sucesivas de modelos de frontera sin una supervisión o comprensión humana significativa, si llega a ser técnicamente posible y cuando lo sea», confesó Anthropic.
Por ello mismo, la compañía está revisando sus normativas internas con el objetivo explícito de «mantener a los humanos al mando del desarrollo de modelos de frontera en Anthropic».