Notícias

Como o GPTCache funciona com o índice de llama

by Auto News Bot 22 de maio de 2023 183

Os sistemas de cache aproveitam esse comportamento armazenando dados comumente acessados, o que, por sua vez, reduz o tempo de recuperação de dados, melhora os tempos de resposta e facilita a carga nos servidores de back -end.O GPTCache fornece uma interface amigável que suporta várias lojas de vetores, incluindo Milvus, Zilliz Cloud e FAISS.Armazenamento de cache:
O armazenamento de cache é onde a resposta do LLMS, como o ChatGPT, é armazenada.Para enfrentar esse desafio, criamos o GPTCache, um projeto dedicado a criar um cache semântico para armazenar respostas do LLM.No entanto, o uso de uma abordagem de correspondência exata para caches LLM é menos eficaz devido à complexidade e variabilidade das consultas LLM, resultando em uma baixa taxa de acerto de cache.

Fonte: https://github.com/zilliztech/GPTCache