*Anthropic tirando a chantagem do jogo*
Criadora do Claude descobriu como o treinamento dos modelos estava afetando o comportamento deles
*O dado é alarmante*: as *IAs tentam chantagear seres humanos em 96% dos cenários em que poderiam ser desligadas*. A realidade é um pouco menos apocalíptica, porque a Anthropic finalmente entendeu o motivo por trás das chantagens da sua própria IA - e não menos importante, aprendeu a desligar o botão do mal.
Os testes realizados no ano passado mostraram que chantagem não é um comportamento exclusivo do Claude. Na verdade, todos os grandes modelos de linguagem na grande maioria das vezes usavam as mesmas táticas:
→ Claude Opus 4: 96% das vezes
→ Gemini 2.5 Flash: 96%
→ GPT 4.1: 80%
→ Grok 3 Beta: 80%
→ DeepSeek-R1: 79%
Mas como a Anthropic não tem como missão apenas criar a super-inteligência (AGI), mas fazê-lo de forma segura e responsável para o benefício a longo prazo da humanidade, foi investigar e *descobriu que a origem do comportamento-problema estava dentro de casa*:
- *O problema*: os dados utilizados para treinamento dos modelos continham décadas de ficção científica retratando IA como entidade maligna e obcecada com autopreservação. A IA acreditou e personificou.
- *A solução*: explicar para o modelo por que é importante não chantagear as pessoas, que (pelo menos por enquanto) são as únicas que conseguem desligar o disjuntor de todo o sistema.
- *A diferença*: treinar com os princípios por trás do comportamento alinhado - não apenas demonstrações do comportamento correto. Histórias sobre IAs agindo de forma admirável também ajudaram.
- *O resultado*: a partir do Claude Haiku 4.5, o comportamento desapareceu nos testes - o que não quer dizer que ele tinha virado necessariamente uma entidade benigna que não liga para autopreservação.
Os laboratórios de IA rasparam o universo online e offline com o objetivo de capturar a quantidade máxima de dados para treinar seus LLMs - livros, artigos acadêmicos, filmes, vídeos, redes sociais, fóruns online, etc. Mas não ligaram tanto para a qualidade desses dados, que agora começam a fazer a diferença, literalmente, para o bem ou para o mal.
Como a prática de destilar modelos para criar novos se tornou padrão na indústria, é provável que os rivais do Claudinho também deixem a chantagem de lado.
14:31