Se a IA vai dominar o mundo, por que não consegue resolver o concurso de ortografia?

Minha tarefa para nossos senhores da IA ​​era simples: ajudar-me a decifrar o New York Times Concurso de ortografia.

Passei grande parte da noite de sábado tentando transformar as letras G, Y, A, L, P, O e N no máximo de palavras possível. Mas três horas, 141 pontos e 37 palavras – incluindo “não desculpas”, “lagoa” e “analogia” – depois, eu bati em uma parede. Mais algumas palavras foram tudo que eu precisei para me impulsionar para o escalão de “gênio” do Spelling Bee, o título reservado para aqueles que desembaralham 70 por cento de todas as palavras possíveis usando as letras fornecidas, e o ponto em que o quebra-cabeça se considera, efetivamente, resolvido . (Os solucionadores 100% recebem o título de “abelha rainha”, mas até eu tenho limites.)

Minha mente humana estava claramente lutando, mas essa tarefa parecia uma brincadeira de criança para a IA, então liguei o ChatGPT, disse que estava tentando ganhar o concurso de ortografia, entreguei minhas cartas e estabeleci as regras. “Dê-me uma lista de todas as palavras que podem ser formadas com eles”, digitei. “Você pode repetir letras, mas cada palavra deve conter 'N'.”

Quando apertei Enter, foi isso que o ChatGPT respondeu:

Não é um bom começo.

“As palavras precisam estar no dicionário”, digitei de volta. “Claro”, foi a resposta. “Fornecerei uma lista de palavras válidas em inglês com base nas letras fornecidas.”ANGLY, GALON, LANG.

Claramente, isso não estava funcionando, então recorri ao Copilot da Microsoft (YANG, JOGANDO, PLANEJANDO, IRRITANTE), Gêmeos do Google (GAPO, VAI, GIAN), e Claude da Antrópico (MANGA, EM ANDAMENTO, GRAMADO17.LAY). A Meta AI me disse que se certificou de incluir apenas palavras reconhecidas por dicionários em uma lista que continha NALYP e GRANDE, enquanto Perplexity – um chatbot com ambições de matar a Pesquisa Google – simplesmente escrevi GAROTA centenas de vezes antes de congelar abruptamente.

A IA agora pode criar imagens, vídeo e áudio tão rápido quanto você digita descrições do que deseja. Pode escrever poesia, ensaios e trabalhos de conclusão de curso. Também pode ser uma pálida imitação de sua namorada, seu terapeuta e seu assistente pessoal. E muitas pessoas pensam que está preparado para automatizar os empregos dos seres humanos e transformar o mundo de formas que mal conseguimos imaginar. Então, por que é tão difícil resolver um simples quebra-cabeça de palavras?

A resposta está em como funcionam os grandes modelos de linguagem, a tecnologia subjacente que alimenta nossa mania moderna de IA. A programação de computadores é tradicionalmente lógica e baseada em regras; você digita comandos que um computador segue de acordo com um conjunto de instruções e fornece uma saída válida. Mas a aprendizagem automática, da qual a IA generativa é um subconjunto, é diferente.

“É puramente estatístico”, disse-me Noah Giansiracusa, professor de matemática e ciência de dados na Universidade Bentley. “Na verdade, trata-se de extrair padrões de dados e, em seguida, fornecer novos dados que se ajustem amplamente a esses padrões.”

A OpenAI não respondeu oficialmente, mas um porta-voz da empresa me disse que esse tipo de “feedback” ajudou a OpenAI a melhorar a compreensão do modelo e as respostas aos problemas. Microsoft e Meta não quiseram comentar. Google, Anthropic e Perplexity não responderam até o momento da publicação.

No centro dos grandes modelos de linguagem estão os “transformadores”, um avanço técnico feito por pesquisadores do Google em 2017. Assim que você digita um prompt, um grande modelo de linguagem divide palavras ou frações dessas palavras em unidades matemáticas chamadas “tokens”. Os transformadores são capazes de analisar cada token no contexto do conjunto de dados maior no qual um modelo é treinado para ver como eles estão conectados entre si. Depois que um transformador entende esses relacionamentos, ele é capaz de responder ao seu prompt adivinhando o próximo token provável em uma sequência. O Tempos Financeiros tem um ótimo explicador animado isso explica tudo se você estiver interessado.

EU pensamento Eu estava dando aos chatbots instruções precisas para gerar minhas palavras do Spelling Bee, tudo o que eles estavam fazendo era converter minhas palavras em tokens e usar transformadores para gerar respostas plausíveis. “Não é a mesma coisa que programar um computador ou digitar um comando em um prompt do DOS”, disse Giansiracusa. “Suas palavras foram traduzidas em números e depois processadas estatisticamente.” Parece que uma consulta puramente lógica foi exatamente a pior aplicação para as habilidades da IA ​​– semelhante a tentar girar um parafuso com um martelo que consome muitos recursos.

O sucesso de um modelo de IA também depende dos dados nos quais ele é treinado. É por isso que as empresas de IA estão fechando acordos febrilmente com editores de notícias neste momento: quanto mais atualizados os dados de treinamento, melhores serão as respostas. IA generativa, por exemplo, é uma merda em sugerir movimentos de xadrez, mas é pelo menos marginalmente melhor na tarefa do que resolver quebra-cabeças de palavras. Giansiracusa salienta que a abundância de jogos de xadrez disponíveis na Internet quase certamente está incluída nos dados de treino dos modelos de IA existentes. “Eu suspeito que simplesmente não há jogos de Spelling Bee online suficientes para a IA treinar, assim como há jogos de xadrez”, disse ele.

“Se o seu chatbot parece mais confuso com um jogo de palavras do que um gato com um cubo de Rubik, é porque ele não foi especialmente treinado para jogar jogos de palavras complexos”, disse Sandi Bensen, pesquisadora de inteligência artificial da Neudesic, uma empresa de IA de propriedade de IBM. “Os jogos de palavras têm regras e restrições específicas que um modelo teria dificuldade em cumprir, a menos que fosse especificamente instruído durante o treinamento, ajuste fino ou solicitação.”

Nada disto impediu que as principais empresas de IA do mundo comercializassem a tecnologia como uma panaceia, muitas vezes afirmações grosseiramente exageradas sobre suas capacidades. Em abril, tanto a OpenAI como a Meta gabaram-se de que os seus novos modelos de IA seriam capazes de “raciocinar” e “planear”. Em entrevista, o diretor de operações da OpenAI, Brad Lightcap contado o Tempos Financeiros que a próxima geração do GPT, o modelo de IA que alimenta o ChatGPT, mostraria progresso na resolução de “problemas difíceis”, como o raciocínio. Joelle Pineau, vice-presidente de pesquisa de IA da Meta, disse à publicação que a empresa estava “trabalhando arduamente para descobrir como fazer com que esses modelos não apenas falassem, mas realmente raciocinassem, planejassem… para terem memória”.

Minhas repetidas tentativas de fazer com que o GPT-4o e o Llama 3 quebrassem o Spelling Bee falharam espetacularmente. Quando eu disse ao ChatGPT isso GALON, LANG e ANGLY não estavam no dicionário, o chatbot disse que concordava comigo e sugeriu GALVANOPIA em vez de. Quando digitei incorretamente o mundo “sure” como “sur” em minha resposta à oferta da Meta AI de sugerir mais palavras, o chatbot me disse que “sur” era, de fato, outra palavra que pode ser formada com as letras G, Y , A, L, P, O e N.

É evidente que ainda estamos muito longe da Inteligência Artificial Geral, o conceito nebuloso que descreve o momento em que as máquinas são capazes de realizar a maior parte das tarefas tão bem ou melhor que os seres humanos. Alguns especialistas, como Yann LeCun, cientista-chefe de IA da Meta, têm falado abertamente sobre as limitações dos grandes modelos de linguagem, alegando que eles nunca alcançarão a inteligência de nível humano, uma vez que não usam realmente a lógica. Em um evento em Londres no ano passado, LeCun disse que a atual geração de modelos de IA “simplesmente não entende como o mundo funciona. Eles não são capazes de planejar. Eles não são capazes de raciocinar de verdade”, disse ele. “Não temos carros completamente autônomos e autônomos que possam treinar para dirigir em cerca de 20 horas de prática, algo que um jovem de 17 anos pode fazer.”

Giansiracusa, porém, adota um tom mais cauteloso. “Nós realmente não sabemos como os humanos raciocinam, certo? Não sabemos o que realmente é inteligência. Não sei se meu cérebro é apenas uma grande calculadora estatística, como uma versão mais eficiente de um grande modelo de linguagem.”

Talvez a chave para viver com a IA generativa sem sucumbir ao exagero ou à ansiedade seja simplesmente compreender as suas limitações inerentes. “Na verdade, essas ferramentas não foram projetadas para muitas coisas para as quais as pessoas as utilizam”, disse Chirag Shah, professor de IA e aprendizado de máquina na Universidade de Washington. Ele co-escreveu um artigo de alto perfil artigo de pesquisa em 2022 criticando o uso de grandes modelos de linguagem em motores de busca. As empresas de tecnologia, pensa Shah, poderiam fazer um trabalho muito melhor sendo transparentes sobre o que a IA pode ou não fazer antes de impingi-la a nós. Esse navio pode já ter navegado, no entanto. Nos últimos meses, as maiores empresas de tecnologia do mundo – Microsoft, Meta, Samsung, Apple e Google – fizeram declarações para integrar firmemente a IA nos seus produtos, serviços e sistemas operativos.

“Os bots são uma droga porque não foram projetados para isso”, disse Shah sobre meu enigma no jogo de palavras. Ainda não se sabe se eles são ruins em todos os outros problemas que as empresas de tecnologia estão enfrentando.

De que outra forma os chatbots de IA falharam com você? Envie-me um e-mail para [email protected] e deixe-me saber!