OpenAI
OpenAI diz que o GPT-6.1 Sol já converte programas em COBOL, a linguagem dos multibancos, com 97,9% de acerto
Bancos, cartões e caixas automáticas ainda dependem de programas escritos em linguagens antigas, que os modelos de IA conheciam mal. A OpenAI publicou dois testes próprios que mostram um salto grande nos seus modelos mais recentes, mas avisa que migrar sistemas reais continua a exigir revisão humana.
Quando levantas dinheiro numa caixa automática ou pagas com cartão numa loja, há boas hipóteses de a operação passar por um programa escrito em COBOL, uma linguagem de programação antiga. Segundo números da IBM citados pela OpenAI, o COBOL suporta mais de 40% dos sistemas de banca online, 80% das transações presenciais com cartão e 95% das transações em caixas automáticas. Manter e modernizar estes sistemas é difícil, e os modelos de IA também se davam mal com esta linguagem. A OpenAI publicou a 19 de outubro resultados que mostram uma melhoria grande dos seus modelos mais recentes nestas linguagens.
Porque é difícil para a IA
COBOL, Fortran, OCaml ou Visual Basic têm muito menos código e documentação disponíveis na internet do que Python ou JavaScript, e é desse material que os modelos aprendem. A OpenAI diz que clientes empresariais se queixavam de que os assistentes de programação falhavam nestas linguagens. Nos sistemas antigos, acrescenta a empresa, a documentação está muitas vezes incompleta, quem os escreveu já saiu e certas regras de negócio só existem no próprio código. O Fortran, por exemplo, ainda é usado na previsão do tempo e na análise de segurança de reatores nucleares.
Os resultados, segundo a OpenAI
O teste mais próximo do uso real pede aos modelos que convertam programas COBOL para C++, Java, Kotlin, Python ou Rust sem mudar o que eles fazem. Os resultados têm de ser idênticos ao byte em testes que o modelo não vê. A empresa dá um exemplo do tipo de armadilha: o COBOL corta as casas decimais a mais em vez de arredondar, e uma reescrita que arredonde pode correr sem erros e dar valores financeiros diferentes. Neste teste, o GPT-6.1 Sol acertou 86,6% com esforço de raciocínio baixo, contra 5,4% do GPT-5.6 Sol, custando 61% do preço na API. Com mais raciocínio chegou aos 97,9%.
O segundo teste, chamado MultiLangBench, pede a construção de raiz de um motor de base de dados compatível com o SQLite em 20 linguagens. O GPT-6 Astra passou em média 87,4% dos testes, contra 26,8% do GPT-5.6 Sol, e ficou acima dos 83% em 19 linguagens. O COBOL continua a ser a mais difícil: subiu de 10,9% para 72,1%. O GPT-6 Luna, uma opção mais barata, ficou nos 40,3%, com um custo estimado de 0,77 dólares por tarefa, contra 3,48 do GPT-5.6 Sol.
O que fica por provar
Os dois testes foram criados e corridos pela própria OpenAI, e não há para já avaliações independentes destes números. A empresa publicou no GitHub o conjunto de testes do MultiLangBench e os resultados por linguagem, o que permite a terceiros verificá-los e repeti-los. A própria OpenAI avisa que usar estes modelos em software de produção continua a exigir revisão por especialistas e testes contra as regras de negócio de cada sistema. Os modelos estão disponíveis através da API da empresa, para programadores e empresas.
