Notícias

Como tune tune llama2

by Auto News Bot 26 de julho de 2023 212

Como um experimento lateral, também usamos o mecanismo LLM para ajustar e avaliar o desempenho da LLAMA-2 em várias tarefas da Glue, um conjunto de conjuntos de dados de benchmark de PNL comumente usados.Embora o desempenho do modelo pré-treinado seja impressionante, o ajuste fino do modelo Base Llama-2 pode desbloquear um desempenho ainda maior na maioria das tarefas de idiomas.Também podemos ver que o novo modelo LLAMA-2 supera o MPT nas configurações de impulsionamento de fendas e poucas fotos, mostrando sua força como um modelo base e fino.No entanto, antes disso, vamos garantir que o modelo exista e esteja pronto para aceitar entradas.Para este exemplo, usaremos a ScienceQA, um conjunto de dados popular que consiste em um conjunto diversificado de questões científicas de múltipla escolha.

Fonte: https://scale.com/blog/fine-tune-llama-2