Notícias

Modelos de idiomas grandes: escalar leis e propriedades emergentes

by Auto News Bot 20 de abril de 2023 178

Hoje, a tendência é treinar modelos cada vez mais maiores, alguns dos quais agora excedem 540 bilhões de parâmetros (PALM).Em outras palavras, o LLMS aprende rapidamente a executar novas tarefas, sem ter sido treinada especificamente para fazê -lo, e fazê -lo bastante imprevisivelmente.O sono e suas diferentes fases (lentas, profundas, REM) desempenham um papel fundamental no funcionamento de qualquer cérebro biológico.No entanto,
No entanto, um problema persiste: a quantidade de dados disponíveis.Além disso, o treinamento de um modelo ideal requer cerca de 20 vezes mais tokens do que parâmetros (excluindo a incorporação).

Fonte: https://cthiriet.com/articles/scaling-laws