Construímos sobre os ombros de ecossistemas de código aberto, incluindo tokenizers do Huggingface e Google, bem como LLMs de código aberto como Llama, Vicuna, Dolly e muito mais.Além disso, a implantação do LLMS apresenta vários desafios, como sua inovação de modelo em constante evolução, restrições de memória e a necessidade de possíveis técnicas de otimização.É possível adicionar mais suporte, como OpenCL, SYCL, WebGPU-nativo, por meio de melhorias no compilador TVM e tempo de execução.Também gostaríamos de agradecer às comunidades Vulkan, Swift, C ++, Python Rust que permitem este projeto.Este projeto é iniciado por membros do CMU Catalyst, UW Sampl, SJTU, Octoml e da comunidade MLC.
