Notícias

Langport-A plataforma de servir LLM auto-hospedada que fornece APIs compatíveis com o OpenAi

by Auto News Bot 26 de maio de 2023 51

Este projeto é inspirado no LMSYS/FASTCHAT, esperamos que a plataforma de servir seja leve e rápida, mas o FastChat inclui outros recursos, como treinamento e avaliação, o complicam.Os principais recursos incluem:
Utilizamos o RTX3090 único para executar um modelo LLAMA 7B FINETUNED (OpenBuddy v0.9) na configuração do BF16.
Langport é uma plataforma de servir de modelo de grande idioma de código aberto.Nosso objetivo é construir um serviço de inferência super rápido LLM.

Fonte: https://github.com/vtuber-plan/langport