Por que o chatGPT erra e depois "se corrige"? estaria aprendendo com o usuário?

Desde que o chatGPT surgiu, ele apanha muito nas redes. O exemplo abaixo é a regra, não a exceção. Em entrevista, o CEO disse, tradução e adaptação minha: eu nunca pensei que depois de construirmos uma das maiores inteligências artificiais, estaríamos discutindo se ela consegue contar caráteres.

Caso não saiba, o Word faz isso, conta palavras e caracteres. Mesmo um programa simples, criado pelo própria chatGPT, consegue fazer isso. Ver: Aprenda a conta palavras em uma string em JavaScript

chatGPT fazendo contas. Às vezes, faltam dedos! 😂

Usando uma regra de dedo do mundo acadêmico:

não mate uma mosca com um canhão.

Essa regra é um lembrete: não use inteligência artificial onde um algoritmo simples consegue fazer. Contar palavras é algo que um algoritmo simples domina.

Você pediria um engenheiro para levantar parede? Você pediria Dr House para atender pacientes? Dr Cuddy pede, e sabemos o resultado.

É verdade que a openAI gostaria de democratizar a inteligência artificial. Até que ponto isso pode ser feito sem as pessoas saberem do que fala? Depois do chatGPT, muitas falam de inteligência artificial, algo bom, mas poucos sabem do que falam, algo ruim.

Muitos dos ataques ao chat que tenho visto são claramente falta de conhecimento do que é um modelo de linguagem. Ou mesmo, do que é inteligência artificial, seus limites e desafios.

A insistência das pessoas em ficarem com esses exemplos igual ao abaixo mostra isso: o chatGPT é um modelo de linguagem. Não é um modelo de decisão, ou fazer contas. Nem mesmo um modelo para lidar com DRs focadas em matemática.

Exemplo onde o chatGPT não consegue se decidir. Clique na imagem e seja direcionado para a discussão.

O que aprendi usando e testando: se pedir algo, ele vai fazer!

O chatGPT não substitui o bom senso de quem usa, ou mesmo, a falta de conhecimento mínimo do que o chat pode e não pode fazer. o chatGPT não substitui o cérebro humano. Se pedir, ele vai fazer, mesmo que errado.

Em um caso, eu pedi para ele fazer uma regressão linear, ele fez. O resultado estava errado, testei no Excel.

Do meu ebook "Redes Neurais em termos simples", onde falei com o chatGPT pela primeira vez, e fiz perguntas sobre seu funcionamento para para meu ebook.

“It's important to keep in mind that I am a tool created to assist users, not to replace human decision-making or judgment.”

Esta parte é importante destacar porque falamos de usar modelos para tomar decisões. Usamos o exemplo de tomar banho ou ir cheirando mal para o trabalho. Naquele cenário, o modelo servia para nos ajudar a usar um androide. No caso do chat, ele serve para ajudar, assistir, não tomar decisões. Para isso, teríamos de usar outros modelos de decisão. Esse é um “modelo de linguagem” como o mesmo destacou quando questionado se era um modelo de redes neurais.

I am a tool created to assist users

Essa parte é muito importante: é uma ferramenta de assistência a humanos. Isso explica alguns comportamentos como o mostrado anteriormente. Em um caso, a pessoa disse a conta errada, ele corrigiu, a pessoa disse que sua mulher disse que a errada estava certa: ele aceitou a errada.

Quando ocorre esses casos, eu tento replicar. Quero aprender os limites do chatGPT, onde confiar, onde ficar em alerta.

Vou tentar replicar o acima.

Resposta correta!

Tentei forçar a resposta, como o caso da esposa, ele não aceitou.

Dando um carteirada no chatGPT

Por que não consigo replicar esses erros?

Muitas pessoas insistem que o chatGPT está aprendendo, quando não comete mais o erro.

Existem dois problemas com essa hipótese: busquei tanto na documentação quanto perguntando o chatGPT, e venho fazendo há tempos. Não achei nada nisso. Parece-me um daqueles fenômenos da psicologia onde pessoas usam fenômenos excepcionais que não se repetem para criarem teorias: seria associar Deus ao aleatório. Isso já foi explicado pela psicologia, e por isso temos o método científico, ver meu ebook "Introdução à pesquisa científica"

O segundo problema com essa teoria: eu uso a API, na API, não tem como enviar feedback de que ele errou, e ele errou no meu chatbot, mas não consegui replicar o erro, da mesma forma usando o chatGPT aberto.

Outro ponto que derruba essa teoria: o chatGPT não é uma inteligência artificial genérica (AGI), feita para executar diferentes tarefas. Falar (em forma de chat), e fazer contas, são tarefas diferentes. Não esquecemos do Paradoxo de Moravec. O que ele consegue fazer a mais é bônus.

Minha explicação: o modelo é estocástico. Sua missão é simples: adivinhar a próxima palavra dada uma palavras anterior. Ele forma uma visão probabilista do texto. Abaixo um exemplo, mais em "Modelling “What the hell”, my thoughts on chatGPT"

Fechamento

Desculpa, não há evidências de que o chatGPT aprende quando erra na sua frente; mas sim um comportamento errático resultado da forma como ele funciona: um modelo probabilístico. Quando ele adivinhar uma palavras errada, isso se propaga no restante do texto, o que pode gerar alguns textos estranhos que aparecem na internet.

Nós também cometemos erros aleatórios e falamos bobagens: isso se chama emoção. Fazemos as maiores barbáries quando ficamos defensivos: o QI cai.

Como disse Kahneman:

“Como humanos, estamos totalmente conscientes de que cometemos erros, contudo, esse é um privilégio que não estamos preparados para compartilhar. Esperamos que as máquinas sejam perfeitas. Caso essa expectativa seja violada, nós as descartamos” AcademicAI, Inteligência Artificial e Ética