Notícias

GGML-K8: Execute modelos GGML com Kubernetes

by Auto News Bot 5 de dezembro de 2023 191

Para destruir o cluster de Kubernetes e os recursos de back -end:
Sinta -se à vontade para abrir um problema ou um PR se tiver alguma sugestão ou dúvida!Certifique -se de ter os recursos necessários disponíveis no cluster Kubernetes para executar o modelo.Certifique -se de criar a zona hospedada da rota53 e o certificado ACM validado.Não tenha medo, com GGML e Kubernetes, você pode implantar lhama e Mistral usando máquinas AWS baratas!Este repositório é um script de implantação de llama.cpp de prova de conceito para o EC2 que escala automaticamente com o Kubernetes.

Fonte: https://github.com/danielgross/ggml-k8