Notícias

Implante LLMs Open usando a infraestrutura como código com AWS CDK

by Auto News Bot 18 de agosto de 2023 307

O construto usa o DLC de inferência Hugging Face LLM, construído sobre a inferência de geração de texto (TGI), uma solução de código aberto, construído para fins específicos para implantar e servir modelos de idiomas grandes (LLMS).O AWS Cloud Development Kit (AWS CDK) é uma estrutura de desenvolvimento de software de código aberto que permite que você use código para definir, provisionar e gerenciar sua infraestrutura em nuvem na AWS.Como o construto usa o DLC de inferência Hugging Face LLM, você pode usar os mesmos parâmetros para inferência, incluindo max_new_tokens, temperatura, top_p etc. Para executar a inferência, você pode usar o AWS SDK (em qualquer idioma), o sagemaker python sdk ouA AWS CLI.Neste blog, mostraremos como usar a infraestrutura como código com o AWS Cloud Development Kit (AWS CDK) para implantar e gerenciar o LLAMA 2.

Fonte: https://www.philschmid.de/cdk-llama2