Este artigo explora o tópico da extrapolação de comprimento de contexto de grandes modelos de linguagem (LLMS), que foram muito bem -sucedidos em tarefas de modelagem de idiomas naturais nos últimos anos.
Seguindo o trabalho de nossa postagem anterior, estamos lançando hoje um artigo ARXIV intitulado “Girafa: aventuras na expansão do comprimento do contexto no LLMS”.Também lançamos nosso código de treinamento, conjuntos de dados de avaliação e scripts de avaliação para a comunidade de pesquisa.Incluímos uma girafa 4K e 16k giraffe finetuned de llama e uma girafa de 32k Finetuned do llama2 e lançamos seus pesos no Huggingface.A métrica mais usada na literatura é a perplexidade da próxima token, que mede o quão bom o modelo é na previsão do próximo token, dado o contexto anterior.
Fonte: https://blog.abacus.ai/blog/2023/08/22/giraffe-long-context-llms/
