Este projeto é inspirado no LMSYS/FASTCHAT, esperamos que a plataforma de servir seja leve e rápida, mas o FastChat inclui outros recursos, como treinamento e avaliação, o complicam.Os principais recursos incluem:
Utilizamos o RTX3090 único para executar um modelo LLAMA 7B FINETUNED (OpenBuddy v0.9) na configuração do BF16.
Langport é uma plataforma de servir de modelo de grande idioma de código aberto.Nosso objetivo é construir um serviço de inferência super rápido LLM.
