Para testar essa hipótese, os pesquisadores usaram um modelo de rede neural chamado transformador, que possui a mesma arquitetura que o GPT-3, mas havia sido treinada especificamente para o aprendizado no contexto.Mas com o aprendizado no contexto, os parâmetros do modelo não são atualizados, por isso parece que o modelo aprende uma nova tarefa sem aprender nada.Portanto, o aprendizado no contexto é um fenômeno de aprendizado irracionalmente eficiente que precisa ser entendido “, diz Akyürek. Então, quando alguém mostra os exemplos de modelo de uma nova tarefa, provavelmente já viu algo muito semelhante porque seu conjunto de dados de treinamento incluía texto de texto do texto doBilhões de sites. Então, minha esperança é que isso mude as opiniões de algumas pessoas sobre o aprendizado no contexto ”, diz Akyürek.
Fonte: https://news.mit.edu/2023/large-language-models-in-context-learning-0207
