Com esta tarefa, especificamos um prefixo, depois algum código, depois um token de “buraco” a ser preenchido e depois um sufixo.Primeiro, precisamos pegar o tokenizador Deepseek de
Huggingface:
Em seguida, precisamos de nossos “tokens especiais” para passar para nossa função de pré-processamento:
Agora, podemos realmente aplicar nosso pipeline.Usaremos Bumblebee para puxar um modelo de conclusão de código pré-treinado, Axon e Polaris para fazer nosso ajuste fino,
e exla para aceleração.Agora, para construir nosso conjunto de dados, precisamos implementar uma função de pré -processamento que converta nosso arquivo bruto
Conteúdo em um conjunto de dados FIM adequado.Primeiro, seu modelo teoricamente pode obter conhecimento de toda a sua base de código durante o processo de ajuste fino (embora isso
Nem sempre funciona como você espera).
Fonte: https://dockyard.com/blog/2023/12/12/code-models-in-elixir-how-to-create-a-code-copilot
