Gostaríamos de agradecer a Charlie Snell, Lianmin Zheng, Zhuohan Li, Hao Zhang, Wei-Lin Chiang, Zhanghao Wu, Avidal Kumar e Marwa Abdulhai para discussão e feedback.Em nossos experimentos, avaliamos dois modelos: Koala-Distill, que emprega apenas dados de destilação, e o Koala-All, que emprega todos os dados, incluindo dados de destilação e código aberto.Ao usar os conjuntos de dados de código aberto, alguns dos conjuntos de dados têm duas respostas, correspondendo às respostas classificadas como boas ou ruins (HH anthh, WebGPT, OpenAI Summarization).O modelo KOALA é implementado com Jax/linho em Easylm, nossa estrutura de código aberto que facilita o pré-treino, o ajuste fino, o atendimento e a avaliação de vários modelos de idiomas grandes.De fato, esforços como a alpaca de Stanford, que fine tunes de tunes nos dados do modelo GPT da OpenAI, sugerem que os dados certos podem melhorar significativamente os modelos menores de código aberto.
