Notícias

Mostrar HN: Ferramenta de Fallback da Biblioteca Open de Fonte Aberta/Azure

by Auto News Bot 21 de novembro de 2023 138

Funções do OpenAI suportadas: ChatCompletion, incorporação, conclusão (será depreciado em breve)
Para instalar o balanceador de carga do Openai, execute o seguinte comando:
Pypi-https://pypi.org/project/openai-load-balancer/
Primeiro, configure seus pontos de extremidade da API do OpenAI.O Balancer de Carga do OpenAI é uma biblioteca Python projetada para distribuir solicitações de API em vários pontos de extremidade (suporta o OpenAI e o Azure).:
Você também pode configurar o balanceador de carga com as seguintes variáveis
As contribuições para o balanceador de carga do Openai são bem -vindas!Ele implementa um mecanismo redondo-robina para balanceamento de carga e inclui o retorno exponencial para repetir solicitações com falha.
Feito com código aberto ❤️ da equipe em Spryngtime (YC W22).

Fonte: https://github.com/Spryngtime/openai-load-balancer