Notícias

Mostrar HN: API HTTP simples para LLMS

by Auto News Bot 17 de setembro de 2023 154

Durante a inferência, o servidor começa a transmitir os tokens para o cliente, e o código de status é 200. Relatórios de bugs, correções de bugs e melhorias de desempenho são bem -vindas.A resposta em texto simples
Envie uma conversa para este terminal e receba a resposta em texto simples.Nos dois casos, o cliente sabe que a conexão/fluxo foi encerrada devido a um erro desconhecido.O servidor gera o prompt das mensagens que o cliente envia de acordo com o modelo de prompt.

Fonte: https://github.com/cmitsakis/llm-api