O construto usa o DLC de inferência Hugging Face LLM, construído sobre a inferência de geração de texto (TGI), uma solução de código aberto, construído para fins específicos para implantar e servir modelos de idiomas grandes (LLMS).O AWS Cloud Development Kit (AWS CDK) é uma estrutura de desenvolvimento de software de código aberto que permite que você use código para definir, provisionar e gerenciar sua infraestrutura em nuvem na AWS.Como o construto usa o DLC de inferência Hugging Face LLM, você pode usar os mesmos parâmetros para inferência, incluindo max_new_tokens, temperatura, top_p etc. Para executar a inferência, você pode usar o AWS SDK (em qualquer idioma), o sagemaker python sdk ouA AWS CLI.Neste blog, mostraremos como usar a infraestrutura como código com o AWS Cloud Development Kit (AWS CDK) para implantar e gerenciar o LLAMA 2.
Trending posts dos últimos 30 dias
-
-
Implantações de Local: simplificar a distribuição de software para Kubernetes
30 de agosto de 2024| 0 Comments -
-
Google Backs Constellation Satellite financiado em privado para detecção de incêndios florestais
16 de setembro de 2024| 0 Comments -
