Eles testaram três tipos de modelos: um modelo de mistura gaussiana (GMM), um autoencoder variacional (VAE) e um grande modelo de linguagem (LLM).O colapso do modelo também está relacionado ao envenenamento por dados, um processo no qual atores maliciosos tentam manipular o comportamento de um modelo modificando intencionalmente os dados usados para treiná -lo.No entanto, suas descobertas também mostram ao longo das gerações, os modelos geraram amostras que seriam produzidas com mais probabilidades pelo modelo original.No entanto, em vez de atores intencionais, é o modelo e o processo de treinamento que poluem os dados de treinamento.O colapso do modelo está relacionado ao esquecimento catastrófico, um problema que acontece com modelos que são treinados continuamente em novos dados.
Fonte: https://bdtechtalks.com/2023/06/19/chatgpt-model-collapse/
