Notícias

LLAMA-2-7B-32K-INSTRUTURA-e ajuste fino para modelos LLAMA-2 com API juntos

by Auto News Bot 22 de agosto de 2023 221

Seguimos o paradigma de destilação usado por Alpaca, Vicuna, Wizardlm e Orca-produzindo instruções, consultando um poderoso LLM, que, no nosso caso, é llama-2-70b-batido.Digamos que os dados de instruções sejam armazenados em instruções.jsonl, com o seguinte comando:
Os dados são enviados para a nuvem juntos, disponibilizando-o para seus trabalhos de ajuste fino.* Para llama-2-7b-chat, truncamos as entradas quando não se encaixa no contexto 4K.As quatro etapas principais são descritas abaixo: destilar, treinar, testar e implantar.Conforme descrito nesta postagem, basta fazer upload de um arquivo, especificar seus hiperparâmetros e começar a treinar.

Fonte: https://together.ai/blog/llama-2-7b-32k-instruct