Finalmente, são fornecidos pontos de extremidade úteis adicionais, como computação de similaridade semântica entre seqüências de texto enviadas e pesquisas semânticas em todas as suas incorporações em cache usando a pesquisa de vetores do FAISS.Adicione as seguintes linhas, substituindo o nome de usuário pelo seu nome de usuário real:
O aplicativo fornece funcionalidades para configurar, limpar e gerenciar o disco RAM.Se o uso do disco RAM estiver ativado, esse ponto final limpa o disco RAM, liberando a memória.Quando um arquivo de log atinge seu tamanho máximo, ele é movido para o diretório antigo_logs e um novo arquivo de log é criado.Para acelerar o processo de carregamento de vários LLMs, os discos opcionais de RAM podem ser usados e o processo para criar e gerenciá -los é tratado automaticamente para você.
Fonte: https://github.com/Dicklesworthstone/llama_embeddings_fastapi_service
