Anthropic presentó una batería de tres métricas con el objetivo de mapear qué tan rápido avanza la inteligencia artificial de frontera y cómo repercute en los laboratorios que la desarrollan. Las mediciones se centran en la automatización del desarrollo de modelos, la capacidad de supervisar a los agentes de IA y la cantidad de recursos computacionales que se destinan a crear y salvaguardar estos sistemas.
La empresa sostiene que estas métricas son necesarias porque los modelos más avanzados no solo elevan sus capacidades, sino que también empiezan a asumir tareas propias de investigación y desarrollo para generar próximas generaciones de IA. Con estas señales, buscan comprender mejor la relación entre los recursos invertidos en la creación de los modelos y las capacidades que llegan a adquirir, con la finalidad de anticipar su evolución y facilitar su supervisión.
La iniciativa llega luego de las advertencias de Dario Amodei, director ejecutivo de Anthropic, sobre los riesgos vinculados a un desarrollo acelerado de sistemas de IA de frontera.
Primera medición: automatización de I+D. A esta dimensión la empresa la denomina Índice de Automatización de I+D de Anthropic y la utiliza para medir qué proporción del trabajo de investigación y desarrollo en IA es liderado directamente por Claude, el modelo propio. Según datos publicados, desde agosto Claude lidera el 26% del trabajo de I+D en IA en la firma y participa de más del 90% de estas tareas de alguna forma. La brecha entre ambos porcentajes permite distinguir entre actividades que Claude dirige de forma más directa y aquellas en las que actúa como colaborador o ejecutor. Anthropic sostiene que seguir esta evolución es importante, ya que una aceleración de la automatización podría dificultar que los investigadores humanos comprendan y controlen el proceso de desarrollo.
Segunda medición: supervisión de los agentes de IA. A medida que estos sistemas asumen más tareas por cuenta propia, crece la relevancia de detectar y contener conductas problemáticas. La empresa analizó más de 30.000 agentes de investigación e ingeniería que operan de forma simultánea en su plataforma interna. Para evaluar el desempeño de sus sistemas de supervisión, utilizan tres variables: cobertura, latencia y tasa de escalado. En un análisis de más de mil millones de decisiones, los sistemas de monitorización bloquearon el 0,002%, es decir, una decisión cada 47.000. El componente offline, destinado a revisar registros posteriormente, también forma parte del esquema de supervisión, aunque el único dato numérico específico en el informe12 no se detalla en este resumen público.
La propuesta de Anthropic apunta a ofrecer una visión más clara de la relación entre los recursos destinados a la construcción de modelos y las capacidades que éstos adquieren, con vistas a anticipar la evolución de la IA y facilitar su supervisión en un marco de mayor control y gobernanza.