Notícias

Maximizando o potencial do LLMS: Usando bancos de dados de vetores

by Auto News Bot 16 de abril de 2023 151

Alguns índices populares da RNA são hash localmente sensíveis (LSH), pequenos mundos de navegação hierárquica (HNSW) ou índice de arquivo invertido (fertilização in vitro).Usaremos o Langchain para carregar o documento e dividi -lo em pedaços, e o FAISS (Facebook AI similaridade Pesquisa) como um banco de dados vetorial.Essa abordagem, chamada de vizinhos aproximados mais próximos (Ann), melhora a velocidade, mas sacrifica a qualidade dos resultados.A solução: armazene o contexto em um banco de dados vetorial e encontre o contexto relevante com uma consulta de pesquisa de similaridade.Para este exemplo, baixei toda a documentação Numpy (com mais de 2000 páginas) como um PDF deste URL: https://numpy.org/doc/1.23/numpy-ref.pdf.

Fonte: https://www.ruxu.dev/articles/ai/vector-stores/