Lora, proposta em um artigo por pesquisadores da Microsoft, sugere que, ao ajustar um LLM para uma tarefa a jusante, você não precisa da matriz de peso de ranks.No entanto, como os pesos a jusante ocupam apenas uma fração dos pesos originais (às vezes até um milésimo), você pode mantê -los separados.Durante o treinamento, são feitas modificações nos parâmetros da LORA, que agora são muito menos que os pesos originais.Em vez de criar uma versão separada do modelo para cada cliente, você pode usar o LORA para criar um conjunto de pesos a jusante para cada cliente ou aplicativo.
Os grandes modelos de idiomas (LLM) são conhecidos por serem caros para treinar, ajustar e correr.
