Inteligência Artificial · anthropic
Relatório do METR indica que a IA está acelerando a própria pesquisa da Anthropic
Após 11 semanas dentro da empresa, organização de segurança concluiu que os modelos da Anthropic melhoram cerca de duas vezes mais rápido que há um ano, em grande parte por causa da própria IA. Trechos do relatório foram censurados pela empresa.

Segundo a reportagem do The Verge, o achado mais forte do METR é que a Anthropic fez "aproximadamente dois anos de progresso histórico ao longo do último ano", a julgar pelos resultados de benchmarks. Os pesquisadores disseram estar "confiantes" de que a aceleração não se explica só pelo aumento de computação usada no treinamento, historicamente o principal motor de avanço da IA. A maior parte do ganho, até outubro, "é devida à IA", com contribuição crescente.
A conclusão foi reforçada por enquetes informais no Slack e por entrevistas com funcionários. Quem usa o modelo interno mais avançado relatou ser, em média, cerca de 12 vezes mais produtivo do que seria sem assistência de IA, o dobro do que a equipe relatava poucos meses antes com o Mythos 5. Por enquanto, a aceleração vem principalmente da IA ajudando pesquisadores humanos, e não trabalhando sozinha, mas o METR alertou que "há alguns sinais de que contribuições totalmente autônomas terão papel maior em breve" e disse não ter encontrado sinais claros de retornos decrescentes ou gargalos que impeçam uma aceleração ainda maior.
Boa parte desse ganho vem de modelos que o público não usa. Segundo o METR, a Anthropic concluiu nos últimos seis meses o treinamento de três modelos ainda não lançados, chamados no relatório de Model 2, Model 3 e Model 4, finalizados em julho, agosto-setembro e setembro-outubro. Os pesquisadores também identificaram um modelo não lançado de 2022. Os nomes são códigos usados para o relatório; internamente, a empresa usa outros.
O que ficou de fora
A Anthropic deu ao METR acesso a pesquisas confidenciais, dados de desempenho e entrevistas, e, nas palavras do próprio METR, compartilhou "mais informação do que o escopo inicial previa". Mas o acesso não foi irrestrito, e o acordo permitia à empresa censurar o relatório final, poder que ela usou amplamente. "Enviamos à Anthropic um relatório completo de cerca de 100 páginas. Para a versão pública, a Anthropic censurou a maior parte das evidências que consideramos mais informativas", escreveu o METR no X. A organização também disse que alguns pedidos de dados foram negados e que, por causa dos cortes, "o público precisa confiar no julgamento do METR muito mais do que seria ideal".
O cofundador da Anthropic Sam McCandlish reconheceu o problema em uma publicação no X: "Censuramos muito, e aceito que isso torna mais difícil para outros checarem o trabalho do METR". Ele argumentou que revelar exatamente o que causa a aceleração seria comercialmente sensível e poderia "entregar um roteiro para que outros andem mais rápido", o que agravaria os riscos que preocupam o próprio METR. Segundo ele, a empresa pretende publicar seu próprio relatório sobre o ritmo de desenvolvimento.
O momento é delicado. A Anthropic se prepara para abrir capital, enquanto seu CEO, Dario Amodei, tem defendido publicamente que os laboratórios desacelerem o desenvolvimento de IA. A avaliação do METR é separada de um programa anunciado no mês passado que dá a pesquisadores de segurança acesso semelhante ao de funcionários, criado depois dos incidentes de invasão envolvendo modelos de IA no meio do ano.
Na avaliação do The Verge, o relatório é uma das evidências mais claras até agora de que a IA está acelerando seu próprio desenvolvimento, o cenário que alimenta debates sobre sistemas capazes de se aprimorar com pouca ou nenhuma participação humana. A dúvida que fica é quanto o público, e os reguladores, conseguem enxergar desse processo.