Entendendo como o modelo funciona, de uma forma muito simplificada, vamos discutir o impacto matemático da remoção de dados em um modelo de idioma grande.Quando os dados são removidos, a função de perda muda, o que afeta o processo de otimização (por exemplo, descida de gradiente).Para explicar o raciocínio matemático por trás disso, vamos primeiro entender como os grandes modelos de idiomas, como o GPT-4, funcionam.Quando os dados são removidos de um modelo de linguagem grande, a estrutura matemática e o processo de aprendizado do modelo são afetados.Isso pode levar a dois resultados em potencial:
Quando os dados são removidos, os gradientes calculados durante o processo de treinamento serão afetados, pois dependem dos exemplos de treinamento.
