Deixamos de fora algum código de limpeza/manuseio de erros (para limpar, inicializar as variáveis de estado antes/depois das solicitações, manipular a falha etc.) – você pode ver mais no exemplo.Além disso, dada a natureza geralmente robótica e abafada dos LLMs, o streaming pode fazê -los parecer mais interativos, quase como se estivessem pensando.Burr lida com a orquestração, monitoramento, persistência, etc …).Além dos tipos de dados do ChatItem (que foram gerados usando o OpenAP-TypeScript-CodeGen), também definiremos duas classes, que correspondem aos tipos de dados retornados pelo servidor.O fluxo básico da lógica é assim:
Para modelar isso com o BURR, primeiro criaremos ações correspondentes, usando a API de streaming.
Fonte: https://blog.dagworks.io/p/streaming-chatbot-with-burr-fastapi
