linux-BR.org

Notícias de software livre e tecnologias

Como uma alternativa leve, rápida, portátil e segura, a Wasmedge e a Wasi nn são capazes de construir aplicações de inferência em torno de modelos populares de IA Beyond LLMs.Chris Lattner, do LLVM, Tensorflow e Swift Language Fame, deu uma ótima entrevista no podcast esta semana no Startup.Antes de você ir:
Michael Yuan
em
Stackademic

47
Berkay Haberal
em
Stackademic

6
Josef Cruz
em
Stackademic

43
Michael Yuan

Wenqi Glantz
em
Melhor programação

3
João Koritar

Damian Gil
em
Em direção à ciência de dados

18
Ryan Nguyen
em
Em direção à AI

2
Mirza Leka
em
Itnext

4
Victor Timi
em
Codificação de nível para cima

31 Em seguida, confira o projeto de origem e execute o comando de carga para criar o arquivo WASM a partir do projeto de fonte de rust.Mas usar o Python para aplicações de inferência, que é cerca de 95% da computação na IA, seria um erro ruim.

Fonte: https://blog.stackademic.com/fast-and-portable-llama2-inference-on-the-heterogeneous-edge-a62508e82359?gi=9539971ba6b1