Muitas vezes, prever a correção estatisticamente corrigida, embora isso leve a um texto razoável que seja gerado, produz saída repetitiva, simples e geralmente não útil.Isso significa apenas que, dada uma sequência de entrada inicial, sequencialmente i) geramos uma saída, ii) Adicione essa saída à nossa sequência de entrada e iii) repetir.Decodificador: Cada bloco realiza auto-atimento causal, atravessa a atenção (isto é, a auto-atendimento entre os tokens de codificador e decodificador) e uma transformação de avanço no ponto de alimentação, cada um separado por uma conexão residual e camada.Logo depois, a pesquisa sobre o alinhamento do modelo de idioma levou à criação de modelos ainda mais impressionantes como o InstructGPT [19] e, principalmente, seu modelo irmã Chatgpt.[22] Sid Black, Leo Gao, Phil Wang, Connor Leahy e Stella Biderman.
Fonte: https://cameronrwolfe.substack.com/p/the-history-of-open-source-llms-early
