Para empresas que usam nuvens privadas (CoreWeave, Lambda), de empresas com centenas ou milhares de H100s, são quase todos os LLMs e algum trabalho de modelo de difusão.Gostaria de escrever mais sobre coisas interessantes relacionadas às startups da GPUS, LLM, financiamento, ações públicas e privadas, colocação e assim por diante.Antrópico, Helsing, Mistral, Personagem, pode querer 10k cada.Grandes nuvens podem querer 30k cada (Azure, Google Cloud, AWS, Plus Oracle).(O GH200 e o DGX GH200 não contam, eles não são GPUs puros, todos usam H100s como sua GPU)
Talvez líquido resfriado 120 GB H100S.
Fonte: https://gpus.llm-utils.org/nvidia-h100-gpus-supply-and-demand/
