Dada a forma n-dimensional (l₀, l₁, …, lₙ₋₁) e passos (𝚜₀, 𝚜₁, …, 𝚜ₙ₋₁):
𝚋 (𝚝₀, 𝚝₁, …, 𝚝ₙ₋₁) = ∑ᵢ 𝚜ᵢ⋅𝚝ᵢ
Esse mapeamento é definido pela forma e avanços do tensor de entrada.Para provar que essas operações são necessárias e suficientes, implementamos a multiplicação da matriz usando apenas operações RawEnsor:
Massageie o tensor esquerdo com forma (m, n) para moldar (m, 1, n), usando remodelamento.As redes neurais modernas, por exemplo, grandes modelos de idiomas (LLMS) como ChatGPT e GPT-4 do OpenAI, Bing da Microsoft, Bard do Google e Claude do Anthropic, são alimentados por tensores.As operações binárias tomam dois tensores como entrada e produzem um novo tensor da mesma forma, aplicando um elemento da função binária: add, sub, mul, div, PoW e Eq.As operações de movimento (remodelam, permuta, expandem, almofadas e colheitas) são diretas, pois não precisam tocar no buffer.
Fonte: https://getcode.substack.com/p/massively-parallel-fun-with-gpus
