No leme, o modelo básico supera modelos abertos como GPT-J e Pythia-6.9b por 0,5-2,2 pontos, e no LM-Avaluation-Harness da Eleutherai, supera esses modelos em 1-3 pontos em média.Recomendamos o uso desses modelos para aplicações a jusante com tarefas de poucas fotos, extração de entidades, classificação ou resumo.No entanto, esse ponto de verificação é bastante útil e interessante de se basear, e pode ajudar a comunidade a entender melhor nosso processo de treinamento.Para aplicações de poucas fotos (como as do comando), o modelo ajustado para instruções (Redpajama-Incite-Instruct-7B-V0.1) melhorou significativamente sobre o modelo básico.Também vemos que, em comparação com o LLAMA 7B, ainda há uma lacuna de qualidade – 4,3 pontos no comando neste momento.
