Então corra:
Também é possível construir manualmente a imagem:
NOTA: Por padrão, o serviço dentro do contêiner do Docker é executado por um usuário sem raiz.Mas meio que funciona, e é meio divertido, especialmente o modo multibot:
Para executá -lo:
Observe que as sessões são armazenadas em ~/ exllama_sessions/ por padrão.Portanto, a propriedade de diretórios montados em ligação (/dados/modelo e/dados/exllama_sessions no arquivo padrão do docker-comppose.yml) é alterado para esse usuário não-robusta no ponto de entrada do contêiner (ponto de entrada.sh).O conjunto de dados usado é uma amostra particular e pequena de
Wikitext, então as pontuações não são comparáveis a outros benchmarks de lhama e só são úteis para comparar a llama diferente
modelos um para o outro.Para benefícios de segurança e implantação mais fácil, também é possível executar a interface do usuário da web em um contêiner isolado do Docker.
