Notícias

MLC-LLM: GPT/LLAMA em GPUS e telefones de classe de consumo

by Auto News Bot 30 de abril de 2023 231

Construímos sobre os ombros de ecossistemas de código aberto, incluindo tokenizers do Huggingface e Google, bem como LLMs de código aberto como Llama, Vicuna, Dolly e muito mais.Além disso, a implantação do LLMS apresenta vários desafios, como sua inovação de modelo em constante evolução, restrições de memória e a necessidade de possíveis técnicas de otimização.É possível adicionar mais suporte, como OpenCL, SYCL, WebGPU-nativo, por meio de melhorias no compilador TVM e tempo de execução.Também gostaríamos de agradecer às comunidades Vulkan, Swift, C ++, Python Rust que permitem este projeto.Este projeto é iniciado por membros do CMU Catalyst, UW Sampl, SJTU, Octoml e da comunidade MLC.

Fonte: https://github.com/mlc-ai/mlc-llm