Shannon e o jogo de palavras

🎟️ A peça

A peça desta sala é um parágrafo. Lê devagar, de preferência em voz alta:

o problema da semana que vem aí depois do almoço frio que a minha avó fazia questão de pagar a conta de luz que nunca mais voltou a funcionar direito na cabeça de quem inventou essa história toda santa sexta-feira de manhã cedo

Repara no que acontece quando você lê. Cada pedacinho parece português de verdade. “O problema da semana que vem”, “a minha avó fazia questão”, “a conta de luz”, tudo soa certo, encaixado, natural. Mas junta tudo e não vai a lugar nenhum. A frase não quer dizer nada. E aí está o detalhe que vira a chave. Nenhuma pessoa escreveu isso. Esse parágrafo foi montado por um joguinho mecânico, sem ninguém ali entendendo uma única palavra, seguindo uma receita de 1948. Esse amontoado é um dos bisavôs mais diretos da IA que você abriu hoje.

❓ O gancho

Quando você conversa com uma IA, ela parece lembrar. Você diz uma coisa, ela responde levando em conta o que você falou antes, retoma um detalhe que você jogou lá em cima, emenda no assunto sem perder o fio. Dá uma sensação nítida de que tem alguém ali do outro lado acompanhando a conversa. De onde vem isso? Como é que um monte de conta sabe qual é a próxima palavra a dizer, e ainda escolhe logo a próxima palavra que combina com tudo que você já tinha falado?

A resposta começa num jogo tão simples que dava pra jogar com um livro e um lápis, muito antes de existir computador pra rodar.

🕰️ A história

Você já esbarrou no Claude Shannon duas vezes neste museu. Foi ele quem, lá na Ala 1, pegou a álgebra do Boole e a transformou em circuito elétrico, ensinando a eletricidade a fazer lógica. E foi um dos quatro nomes que assinaram a proposta que batizou a “inteligência artificial”, na ala passada. Pois ele volta mais uma vez, e agora com a peça que mais se parece, de verdade, com a IA que você usa.

Em 1948, trabalhando nos laboratórios da Bell, Shannon publicou o artigo que fundou a teoria da informação, a matemática que está por baixo de toda mensagem digital que você já mandou. No meio dele, uma pergunta de aparência inocente. Quanta estrutura escondida existe numa língua? Será que o inglês, o português, qualquer idioma, é previsível a ponto de dar pra adivinhar o que vem depois?

Pra atacar isso, Shannon inventou um jogo. A receita é boba de tão simples. Você abre um texto qualquer, escolhe uma palavra pra começar, digamos “casa”. Procura no texto outra aparição de “casa” e anota a palavra que aparece logo depois dela. Achou “casa amarela”? Sua próxima palavra virou “amarela”. Agora procura outra “amarela”, copia o que vier na sequência, e segue assim, palavra puxando palavra, cada uma escolhida só por causa da que veio antes. No fim você tem uma frase inteira que ninguém pensou, montada apenas pela estatística de quais palavras costumam andar coladas. O parágrafo lá da entrada saiu exatamente daí. Shannon fez isso em inglês, à mão, em 1948, e o resultado dele ficou famoso entre os matemáticos. Eu rodei a mesma receita em português pra você sentir o efeito na sua própria língua.

E aqui vai um convite, porque isso é bom demais pra você só ler. Shannon levou horas folheando um livro de papel pra trás e pra frente. Você faz num instante. Abre um e-book, ou qualquer arquivo de texto longo que você tenha, e usa o “localizar”, o Ctrl+F. Escolhe uma palavra pra começar e busca. Pega a palavra que aparece logo depois dela. Agora busca essa nova palavra e pega a seguinte. Repete, emendando uma palavra na outra, e vê sua frasezinha sem sentido ir crescendo. Se quiser ir além, faz o que nem existia no tempo do Shannon. Pede pra IA da sua escolha jogar o jogo por você, no texto que você quiser, pode ser até esta aula. Explica a regra pra ela. Começa numa palavra, acha onde ela aparece, copia a palavra seguinte, depois busca essa palavra nova e copia a seguinte, e segue encadeando até virar uma frase. Em segundos você vê a máquina cuspir a mesma bobagem elegante que o Shannon montou no muque, e ainda usa a própria IA pra reviver a brincadeira que deu origem a ela.

O que o Shannon notou no resultado ainda arrepia. Pedaços do troço soam quase certos, trechos que caberiam numa conversa real sem ninguém estranhar. O jogo não fazia a menor ideia do que estava dizendo. Não sabia o que é uma casa, uma avó, uma conta de luz. Sabia só, da contabilidade do texto, que essas palavras gostam da companhia umas das outras. E mesmo sem entender nada, cuspia algo com cara de linguagem.

Três anos depois, em 1951, Shannon virou o mesmo jogo do avesso pra medir a coisa pelo outro lado. Em vez de uma máquina gerando texto, um humano adivinhando. Ele pegava um trecho de um romance policial, tapava o que vinha à frente e pedia pra esposa adivinhar, letra por letra, qual era a próxima. Ela acertava com uma facilidade espantosa. Sem nunca ter estudado isso, ela carregava na cabeça a estatística inteira do idioma, a mesmíssima que a máquina usava pra fabricar a bobagem elegante. Os dois jogos, o de gerar e o de adivinhar, batiam no mesmo fato escondido. A língua é muito mais previsível do que a gente sente enquanto fala.

🔗 A revelação

Aqui o museu fecha um circuito que ele deixou aberto duas alas atrás. Lembra que, em Dartmouth, eu te contei que os fundadores apostaram todas as fichas na lógica, e que a máquina que de fato venceu chegou por outra estrada, a da estatística? Este é o primeiro tijolo daquela estrada. No fundo do fundo, o que a sua IA faz é o jogo do Shannon levado ao delírio. Ela olha pras palavras que já estão na tela e calcula qual tem mais chance de vir em seguida. Escreve essa palavra. Calcula de novo. Escreve a próxima. Palavra puxando palavra, igualzinho ao jogo do Shannon.

A diferença está na escala, e a escala muda tudo. Shannon olhava pra uma palavra anterior, com a estatística de um único livro na cabeça. A sua IA olha pra milhares de palavras anteriores de uma vez, e a estatística dela foi destilada de uma fatia gigantesca de tudo que a humanidade já escreveu. O mesmo joguinho que produzia bobagem com um livro produz, com a internet inteira e um poder de conta absurdo, um texto que argumenta, responde e parece entender você.

E é exatamente aqui que mora a resposta do gancho. Aquela sensação de que a IA “lembra” do que você disse tem uma explicação bem menos mágica do que parece. Ela não guarda você na memória do jeito que uma pessoa guarda. O que ela faz, a cada palavra nova que vai escrever, é reler tudo que está na conversa até ali e usar esse texto pra escolher o que vem em seguida. A sua mensagem de três parágrafos atrás continua “lembrada” porque ainda está na tela que ela relê a cada passo. A memória dela é a folha aberta na frente dela, não uma lembrança guardada atrás dos olhos.

E fica uma última coincidência, dessas que dão um arrepio bom. Um dos maiores modelos de IA de hoje se chama Claude. A Anthropic, que o criou, nunca confirmou com todas as letras, mas é leitura quase unânime que o nome é uma homenagem ao Claude Shannon, esse mesmo, o do joguinho de palavras de 1948. Pensa no tamanho disso. Existe por aí uma máquina que prevê a próxima palavra o tempo inteiro, e que carrega no próprio nome o homem que mostrou, com um livro e um lápis, que prever a próxima palavra já era quase falar.

🪞 O GEB

Tem uma obsessão que atravessa o nosso livro-patrono, o GEB, de ponta a ponta, e o jogo do Shannon é a versão mais limpa dela. O Hofstadter fica rondando uma pergunta incômoda. Será que significado pode brotar de pecinhas que, sozinhas, não significam nada? Símbolos embaralhados por regras cegas, sem ninguém ali dentro entendendo coisa alguma, e ainda assim saindo do outro lado algo com cara de sentido.

O parágrafo da entrada é esse enigma pego no flagra. Não existe compreensão em ponto nenhum daquele jogo. Existe só “esta palavra costuma vir depois daquela”, repetido até o fim. E mesmo assim você, lendo, escorrega sentido pra dentro dele sem querer. Bate o olho em “a minha avó fazia questão” e sua cabeça já começa, sozinha, a montar uma cena, uma cozinha, uma velhinha teimosa.

Aí se abre um alçapão embaixo dos seus pés, do tipo que este museu adora. Se um amontoado de estatística sem nenhum entendimento consegue produzir frases que fazem você sentir sentido, onde é que o sentido estava, afinal? Na frase, ou em você que leu? Segura essa pergunta sem pressa de responder. Ela vai voltar maior.

🛠️ Leve com você

A IA não tem memória de você. Ela tem a tela. Tudo que ela “sabe” sobre o que vocês estão fazendo é o texto que está aberto na conversa, agora, na frente dela. O que rolou pra fora dali, pra ela, parou de existir.

Na prática, esse único fato conserta boa parte dos seus perrengues com IA. Quando ela “esquecer” uma instrução que você deu lá no comecinho de uma conversa longa, não conclua que ela é desatenta ou preguiçosa. O mais provável é que aquilo já tenha escorregado pra fora do que ela consegue enxergar de uma vez. O conserto é simples e quase sempre funciona. Traz a informação de volta pra perto, recoloca o que importa na sua última mensagem, em vez de torcer pra que ela tenha guardado. Você não está lembrando a máquina de algo que ela esqueceu. Você está repondo na mesa a única coisa com que ela joga, as palavras que estão diante dela agora.

🤔 Pra pensar

Da próxima vez que a palavra exata cair na sua boca sem você procurar, ou que você terminar a frase de alguém antes da pessoa, repara no que acabou de acontecer. A esposa do Shannon adivinhava a próxima letra porque a língua é cheia de padrão, e a cabeça dela tinha bebido esse padrão a vida inteira. Quando você completa um ditado, um clichê, o final óbvio de um pensamento, quanto daquilo você escolheu mesmo, e quanto foi só a próxima palavra mais provável saindo sozinha? A pergunta é desconfortável de propósito. Quanto da sua fala de hoje foi você, e quanto foi o jogo do Shannon rodando por baixo, sem você sentir?

⏭️ Para onde ir agora

O jogo do Shannon explica como a IA enfileira uma palavra atrás da outra, mas deixa um buraco do tamanho do mundo. Prever a próxima palavra a partir das anteriores, sozinho, dá no máximo a bobagem elegante da entrada. Da bobagem até uma resposta que de fato te ajuda existe uma distância imensa, e essa distância é feita de camadas, uma empilhada sobre a outra. A próxima sala é sobre isso. Sobre por que quase toda falha da IA, e quase todo superpoder dela, é uma questão de camada. Tem uma escada escondida dentro da máquina, e no instante em que você aprende a enxergar os degraus, para de se assustar com ela e começa a saber em qual degrau o problema está.