Use este comando no terminal:
Faça o executável binário: Depois de baixado, use o terminal para navegar até a pasta onde o arquivo foi baixado, por exemploAcesse a interface do usuário da web: para começar a usar o modelo, abra seu navegador da web e navegue para http://127.0.0.1:8080/ (ou clique no link para abrir diretamente).Downloads e tornam o executável binário:
Para o Windows, basta adicionar .exe no final do nome do arquivo.Basta pressionar Ctrl + C. Esta combinação de teclas envia um sinal de interrupção para o servidor em execução, interrompendo efetivamente.Para fazer isso, retorne ao terminal onde o servidor está em execução.
Fonte: https://ppaolo.substack.com/p/how-to-run-chatgpt-like-llms-locally