Este projeto é inspirado no LMSYS/FASTCHAT, esperamos que a plataforma de servir seja leve e rápida, mas o FastChat inclui outros recursos, como treinamento e avaliação, o complicam.Os principais recursos incluem:
Utilizamos o RTX3090 único para executar um modelo LLAMA 7B FINETUNED (OpenBuddy v0.9) na configuração do BF16.
Langport é uma plataforma de servir de modelo de grande idioma de código aberto.Nosso objetivo é construir um serviço de inferência super rápido LLM.
Trending posts dos últimos 30 dias
-
-
-
A nova distração da KDE: OS Linux imutável baseado em BTRFS, com Flatpak e Snap
2 de novembro de 2024| 0 Comments -
O firewall do MacOS embutido da Apple quebra firewalls de terceiros
14 de novembro de 2024| 0 Comments -
