Notícias

LLM-AdApters: Uma família adaptadora para ajuste fino com eficiência de parâmetro de LLMS

by Auto News Bot 29 de abril de 2023 212

Exemplo de uso para várias GPUs:
O arquivo math_data.json contém dados de instrução pré -processados dos dados de addsub, singeq, multiarith, aqua, svamp e gsm8k.Este arquivo contém algum código relacionado à construção de construção e tokenização. Nesse arquivo, especifique diferentes adaptadores e diferentes conjuntos de dados, para que diferentes modelos possam ser treinados.Exemplo de uso para GPUs únicas:
Além disso, você pode usar –use_gradient_checkPoin para salvar mais memória da GPU, mas aumentará o tempo de treinamento.Além disso, agradecemos a Dong Shan e Dream.ai pelo design excepcional do logotipo, que agregou imenso valor ao nosso projeto.Este repo se beneficia de Peft, adaptador-transformador, Alpaca-Lora.

Fonte: https://github.com/AGI-Edgerunners/LLM-Adapters