Portanto, dependendo desses parâmetros, você pode recuperar 5, 10 ou até 100 vetores do banco de dados.Apesar das recentes melhorias nos comprimentos do contexto (o Anthropic agora possui um modelo com 100k de contexto), os LLMs têm memória finita; portanto, o contexto disponível para um prompt é limitado.Por exemplo: “Escreva -me um contrato para a fusão da empresa ABC e da empresa XYZ, levando em consideração que terão uma participação total de mercado de 9%etc.”.No entanto, os textos legais geralmente contêm dezenas ou até centenas de milhares de páginas (por exemplo, o código da Receita Interna dos EUA contém mais de 4.000 páginas).Para fazer isso, usamos uma incorporação, uma técnica usada no processamento de linguagem natural para representar palavras ou frases em um espaço vetorial.
Fonte: https://cthiriet.com/articles/infinite-memory-llm?123
