Se fizer sentido para seus dados, uma coisa \ nyou pode fazer é dividir seus exemplos em \ NEFENCIES menores ao fazer os arquivos {treinar, válido, test} .jsonl.Para ajuste fino (–train), o carregador de dados espera que um trem.jsonl e um \ nvalid.jsonl estejam no diretório de dados.Por exemplo, para uma máquina com 32 GB, o seguinte deve funcionar razoavelmente rápido:
O comando acima em um M1 Max com 32 GB é executado em cerca de 250 tokens por segundo.Para avaliação (–teste), os dados \ nloader espera um teste.jsonl no diretório de dados.Aqui estão algumas dicas para reduzir o uso da memória, caso você precise fazer isso:
Tente usar um tamanho de lote menor com-size-size.
Fonte: https://github.com/ml-explore/mlx-examples/tree/main/lora
