A maioria dos laboratórios líderes, incluindo o OpenAI, Anthropic e o Google, tem acesso cada vez mais a esses chamados logits, dificultando o estudo desses modelos.
Nos últimos anos, numerosos demandantes – incluindo editores de livros, jornais, código de computador e fotografias – processaram as empresas de IA por treinamento de modelos usando material protegido por direitos autorais.Curiosamente, a LLAMA 1 65B, um modelo de tamanho semelhante divulgado em fevereiro de 2023, havia memorizado apenas 4,4 % de Harry Potter e a pedra do feiticeiro.Solicite o modelo com “meu sanduíche favorito é manteiga de amendoim e” e procure a probabilidade de “geléia” (digamos que são 70 %).Solicite o modelo com “Meu sanduíche favorito é amendoim” e procure a probabilidade de “manteiga” (digamos que são 90 %).
Fonte: https://www.understandingai.org/p/metas-llama-31-can-recall-42-percent
