O Mistral LLM Finetuned demonstrou desempenho superior em comparação com o estado da arte (SOTA) em três benchmarks, a saber, ARC e Hellaswag.Base Falcon-7b
Escrita de blogs, conclusão de código, redação de documentação
Desempenho semelhante ao Falcon ajustado, bom para tarefas de raciocínio.Na Monsterapi, usamos nosso sintonizador fino LLM sem código para aprimorar modelos de código aberto como Mistral-7b, Falcon-7b e Zephyr-7b.Notavelmente, ele supera o LLAMA2-ChAT-70B, um modelo baseado em RLHF de acesso aberto, particularmente em tarefas relacionadas ao bate-papo.Apesar de sua pontuação média mais baixa, o Falcon-7B Instruct demonstra desempenho competitivo em Verinfulqa com uma pontuação de 44,08, chegando perto do melhor desempenho nessa categoria.
Fonte: https://blog.monsterapi.ai/outperforming-sota-llms-finetuning-benchmark/
