Notícias

Aikit: construa e implante LLMs de código aberto facilmente com apenas o Docker

by Auto News Bot 13 de dezembro de 2023 164

O AIKIT é uma maneira rápida, fácil e local ou-netóstica de começar a hospedar e implantar modelos de idiomas grandes (LLMS) para inferência.Para Kubernetes, o operador da NVIDIA GPU fornece uma maneira simplificada de instalar os drivers NVIDIA e o kit de ferramentas de contêiner para configurar seu cluster para usar o GPUs.Você pode ver a imagem com:
Você pode iniciar o servidor de inferência para seus modelos com:
Você pode enviar solicitações para localhost: 8080 para executar a inferência de seus modelos.Como alternativa, se você estiver usando o Docker V24 com o armazenamento de imagens de contêiner, poderá pular esta etapa.Para começar com a Inferência acelerada por GPU, defina o seguinte no seu AIKITFILE e construa seu modelo.

Fonte: https://github.com/sozercan/aikit