Notícias

Usando o chatgpt para limpar dados raspados e como lidar com documentos grandes com chatgpt

by Auto News Bot 21 de abril de 2023 174

Infelizmente, isso
receberá cada botão, barra lateral, rodapé, etc., e é incrível quantos deles existem.Páginas diferentes terão lixo diferentes, talvez no meio,
na barra lateral, o rodapé, o meio do texto utilizável, etc. Observe que temos que
Deixe espaço para o prompt, o conteúdo passado no conteúdo da página, os trechos de loops anteriores e o chatgpt’s
resposta.Desta vez, pedimos a resposta para a pergunta, um resumo e também uma pontuação de 0 a 100 de quão bem
Page respondeu à pergunta.Para renderizar este modelo, analisar a resposta e lidar com as chamadas reais para o chatgpt, nós
Use Langchain.

Fonte: https://lunabrain.com/blog/using-chatgpt-to-clean-scraped-data-and-how-to-handle-any-big-document-with-chatgpt/