Pular para o conteúdo

Código pronto ainda exige revisão

Capa AiLETH: Código pronto ainda exige revisão
Capa gerada pela AiLETH · ilustração; não retrata o fato

01O fato

No Co-Design Bench, o melhor dos dez modelos avaliados cumpriu todos os requisitos em apenas 26,4% das tarefas. O GPT-6 Astra atendeu cerca de 70% dos requisitos em média, mas frequentemente deixou detalhes pendentes. O estudo usa pedidos reais de alteração de aplicativos, selecionados entre casos difíceis.

Principais dados

  • Confirmado por veículo independente — o The Decoder reportou os resultados, disponíveis também no artigo dos pesquisadores no arXiv.

03Por que importa

Uma aplicação aparentemente pronta ainda pode conter funções incompletas. Os resultados reforçam a necessidade de conferir cada requisito, mas não representam uma taxa universal de falha dos agentes.