Notícias

LLM-J: Uma implementação pura de Java de um mecanismo de inferência LLM

by Auto News Bot 31 de julho de 2023 462

Isso deve ser útil para quem quer entender como os LLMs funcionam,
ou deseja usá -los em um projeto Java.Para modelos maiores, você precisará re-processá-los para usar um tamanho de pedaço max 2G (por enquanto).Atualmente, ele suporta os seguintes modelos e formatos:
Este projeto é um trabalho em andamento.LLM-J é construído com Java 20 e utiliza a nova API do vetor
Para inferência mais rápida.Há claramente um bug em algum lugar … mas ainda é divertido vê -lo.

Fonte: https://github.com/tjake/llm-j