Notícias

Tagged ChatGPT

GPTCACHE: cache semântico para LLMS

by Auto News Bot 10 de abril de 2023 256

Os sistemas de cache aproveitam esse comportamento armazenando dados comumente acessados, o que, por sua vez, reduz o tempo de recuperação de dados, melhora os tempos de resposta e facilita a carga nos servidores de back -end.O GPTCache fornece uma interface amigável que suporta várias lojas de vetores, incluindo Milvus, Zilliz Cloud e FAISS.Armazenamento de cache:
O armazenamento de cache é onde a resposta do LLMS, como o ChatGPT, é armazenada.No entanto, o uso de uma abordagem de correspondência exata para caches LLM é menos eficaz devido à complexidade e variabilidade das consultas LLM, resultando em uma baixa taxa de acerto de cache.Para enfrentar esse desafio, criamos o GPTCache, um projeto dedicado a criar um cache semântico para armazenar respostas do LLM.

Fonte: https://github.com/zilliztech/GPTCache