Código pronto ainda exige revisão
01O fato
No Co-Design Bench, o melhor dos dez modelos avaliados cumpriu todos os requisitos em apenas 26,4% das tarefas. O GPT-6 Astra atendeu cerca de 70% dos requisitos em média, mas frequentemente deixou detalhes pendentes. O estudo usa pedidos reais de alteração de aplicativos, selecionados entre casos difíceis.
Principais dados
- Confirmado por veículo independente — o The Decoder reportou os resultados, disponíveis também no artigo dos pesquisadores no arXiv.
03Por que importa
Uma aplicação aparentemente pronta ainda pode conter funções incompletas. Os resultados reforçam a necessidade de conferir cada requisito, mas não representam uma taxa universal de falha dos agentes.