A OpenAI, a empresa por trás do popular sistema de Inteligência Artificial (AI) ChatGPT, disse durante esta semana que está melhorando as habilidades matemáticas de resolução de problemas do chatbot com o objetivo de reduzir as chamadas “alucinações” da ferramenta.
“Mitigar as alucinações é um passo crítico para a construção de AIs”, disse a OpenAI em um post.
A mais recente iteração do ChatGPT, GPT-4, lançada em março, continua a empurrar a inteligência artificial para o mainstream. Mas os chatbots generativos de AI vem tendo problemas com fatos e inventam informações falsas — coloquialmente conhecidas como “alucinações.”
As alucinações de AI referem-se a casos em que uma AI gera resultados inesperados e falsos, não apoiados por dados do mundo real. As alucinações de AI podem ser conteúdo falso, notícias ou informações sobre pessoas, eventos ou fatos.
A OpenAI adverte os usuários contra a confiança cega no ChatGPT, apresentando um aviso que diz: “O ChatGPT pode produzir informações imprecisas sobre pessoas, lugares ou fatos.”
Embora a OpenAI não tenha citado nenhum exemplo específico que tenha conduzido à investigação mais recente sobre alucinações, dois acontecimentos recentes ilustraram a questão em situações do mundo real.
Em abril, Jonathan Turley, advogado de defesa criminal dos EUA e professor de direito, afirmou que o ChatGPT o acusou de cometer agressão sexual. Pior, a AI inventou e citou um artigo do Washington Post para fundamentar a alegação.
Na semana passada, Steven A. Schwartz, advogado do caso Mata vs. Avianca Airlines, admitiu “consultar” o chatbot como fonte ao realizar pesquisas. O problema? Os resultados que o ChatGPT forneceu à Schwartz foram todos fabricados.
“Isso é culpa do declarante ao não confirmar as fontes fornecidas pelo chat GPT dos pareceres legais que forneceu”, escreveu Schwartz na declaração apresentada ao tribunal, acrescentando que” lamenta muito ” a utilização de inteligência artificial gerativa para complementar a pesquisa. Schwartz jurou nunca mais fazê-lo sem uma verificação absoluta da sua autenticidade.
Choque do ChatGPT
Em fevereiro, a gigante da tecnologia Microsoft deu aos repórteres uma demonstração dos recursos do Chatbot do Bing, incluindo relatórios de ganhos, especificações de aspiradores de pó e planos de viagem. Os resultados foram menos do que estelares.
“Estou chocado que a equipe do Bing tenha criado esta demonstração pré-gravada cheia de informações imprecisas e a apresentado com confiança ao mundo como se fosse boa”, disse o Pesquisador de AI, Dmitri Brereton, que participou do evento, no Substack. “Estou ainda mais chocado que esse truque tenha funcionado e todos pularam no trem de propaganda do Bing AI sem fazer um pingo de avaliação prévia.”
Apesar desses problemas, a Microsoft está apostando muito no ChatGPT, incorporando a tecnologia em seu navegador Bing após um investimento de US$ 13 bilhões na OpenAI.
Em sua pesquisa, a OpenAI comparou a “supervisão de resultados”, que fornece feedback com base em um resultado final, e a “supervisão de processos”, que fornece feedback para cada etapa de uma cadeia de pensamento.
“Avaliamos nossos modelos de recompensa supervisionados por processos e resultados usando problemas do conjunto de testes de matemática”, disse a OpenAI. “Geramos muitas soluções para cada problema e, em seguida, escolhemos a solução classificada como a mais qualificada por cada modelo de recompensa.”
A equipe de investigação concluiu que a supervisão do processo proporcionou um melhor desempenho, uma vez que incentiva o modelo a seguir um processo aprovado pelo homem, ao passo que a supervisão dos resultados é geralmente mais difícil de analisar.
A OpenAI reconheceu que não se sabe como os resultados irão além da matemática, mas diz que o trabalho futuro deve explorar o impacto da supervisão de processos em outros domínios. A empresa divulgou seu conjunto completo de dados de supervisão de processos para incentivar a pesquisa.
“Se esses resultados se generalizarem, podemos descobrir que a supervisão de processos nos dá o melhor dos dois mundos — um método que é mais eficiente e mais alinhado do que a supervisão de resultados”, disse OpenAI.
A OpenAI ainda não respondeu ao contato do Decrypt.
*Traduzido por Gustavo Martins com autorização do Decrypt.
- Não perca dinheiro. No Mercado Bitcoin, você pode fazer staking de Ethereum de maneira segura e simples. Abra sua conta agora e comece a ganhar recompensas sobre seus investimentos em criptomoedas.