Notícias

Rag com índice de lhama e tevadores, executando LLMs em sua nuvem preferida

by Auto News Bot 20 de setembro de 2023 168

Como vamos carregar dados dentro ou de texear, precisaremos de um tecelaviado.client:
Em seguida, prepare as classes de índice llama: llama_index.servicecontext (para indexação e consulta) e
llama_index.storageContext (para carregar e armazenar).OBSERVAÇÃO:
Se você implantou o LLM usando a implantação de LLMs usando API Python,
Certifique -se de definir o TGI_ENDPOINT_URL como http: // localhost: 8080.Em nosso exemplo, usando um LLM implantado com o DSTACK via TGI, usaremos o wrapper Langchain.HuggingFaceTextGenInference.Como invocaremos o LLM real, ao configurar o LLAMA_Index.ServiceContext, devemos incluir a configuração do LLM.Como alternativa, para fins de desenvolvimento, você também pode verificar a implantação de LLMs usando a API Python.

Fonte: https://dstack.ai/examples/llama-index-weaviate/