Saltar para o conteúdo

Agentes de IA

Nenhum agente de IA cumpre mais de 12% do trabalho num novo teste com tarefas reais de oito horas

A SemiAnalysis pôs os modelos mais avançados a desenhar chips, negociar em bolsa e rever contratos em ambientes de trabalho simulados. O Claude Opus 5.5 ficou à frente, mas nas tarefas de finanças e de direito quase nenhum chegou ao fim sem erros.

Por · 2 min de leitura
Partilhar
Mãos a escrever num portátil com uma janela de terminal, em frente a dois monitores com código, numa secretária junto a uma janela
Imagem de arquivo. Christina Morillo / Pexels

Os agentes de inteligência artificial mais avançados ainda falham a maior parte do trabalho especializado quando têm de o fazer do princípio ao fim, sozinhos. É o que mostra o GDPx, um teste publicado a 2 de novembro pela SemiAnalysis, uma empresa de análise do setor tecnológico. Nenhum modelo passou dos 12%, e o primeiro lugar ficou para o Claude Opus 5.5, da Anthropic.

Trabalho a sério, com software a sério

Em vez de fazer perguntas de conhecimento, o GDPx põe a IA dentro de ambientes de trabalho simulados, com até oito horas para cada tarefa. São 206 tarefas em 11 áreas, do desenho de chips à cibersegurança, da biologia à negociação em bolsa, passando pelo direito, pelas finanças e pela ciência dos materiais. Foram preparadas com 14 empresas especializadas em criar este tipo de exercícios. A SemiAnalysis deixou de fora de propósito setores como a administração pública, o imobiliário e os seguros, por achar que o grosso das receitas da IA vai vir das áreas onde ela rende mais.

Cada modelo trabalhou, sempre que possível, com as ferramentas da própria marca: o Claude Code para o Opus 5.5, o Codex para o GPT-6 Astra e o Antigravity para o Gemini 4 Carbon. Nas tarefas de cibersegurança, por exemplo, os agentes tinham de encontrar, explorar e corrigir falhas reais descobertas por especialistas, com vários serviços a correr ao mesmo tempo.

Quem ficou à frente

O Opus 5.5 somou 12%, com um custo de 51,41 dólares por tarefa. Seguiram-se o Gemini 4 Carbon, da Google, com 10,9% e apenas 16,29 dólares por tarefa, e o GPT-6 Astra, da OpenAI, com 9,6%. O Muse Wonder Full, da Meta, chegou aos 9%. Entre os modelos abertos, o melhor foi o DeepSeek 4.1 Flash, com 5,4% e menos de um dólar por tarefa, enquanto o Grok 4.7, da xAI, se ficou pelos 3,9%.

As tarefas de finanças e de direito foram as mais duras. Basta um valor errado numa folha de cálculo para o resultado não servir, e com esse critério de tudo ou nada todos os modelos teriam zero. Por isso, a tabela conta a parte dos requisitos cumpridos em cada tarefa. A SemiAnalysis avisa também que os filtros de segurança do Opus 5.5 e do GPT-6 Astra baixam as notas destes modelos na biologia, na cibersegurança e nos testes de alinhamento, onde por vezes recusam trabalhar.

Os resultados por área variam muito. O Opus 5.5 ganha no desenho de chips e de hardware e na negociação em bolsa, o Gemini 4 Carbon na biologia e na programação, e o GPT-6 Astra na ciência dos materiais e nas tarefas de investigação em IA.

Há um pormenor para quem quer escolher pelo preço: o Gemini 4 Carbon, o mais eficiente da tabela, ainda não está disponível para todos, como nota a própria SemiAnalysis. Os resultados detalhados de cada área podem ser consultados no site do GDPx.

Partilhar

Newsletter

O essencial da tecnologia, em português, na tua caixa de correio. Deixa o teu email e recebes a primeira edição.

Mais lidas nos últimos 7 dias

  1. Internet e AppsNão sabes o nome da peça do carro? A B-Parts mostra um modelo 3D pela matrícula e encontra-a por ti
  2. MobilidadePortugal vai ter o primeiro carregador MCS para camiões elétricos, com até 1000 kW, a partir de 17 de novembro
  3. TelemóveisFórum de ajuda da Apple fecha a 20 de novembro, também em português, e já não aceita perguntas novas
  4. TelemóveisMercado de telemóveis deve encolher 5% em 2027, mas o iPhone cresce e fica com um em cada quatro vendidos
  5. TelemóveisOPPO Reno17 chega com 8.000 mAh, a maior bateria de sempre num Reno, e o Pro passa a ser o modelo compacto