Notícias

Simdjson: Parsing Gigabytes de JSON por segundo

by Auto News Bot 30 de novembro de 2023 158

Pré-requisitos: G ++ (versão 7 ou melhor) ou Clang ++ (versão 6 ou melhor) e um 64 bits
Sistema com um shell de linha de comando (por exemplo, Linux, MacOS, FreeBSD).A biblioteca Simdjson oferece alta velocidade, se processa arquivos minúsculos (por exemplo, 300 bytes)
ou arquivos maiores (por exemplo, 3MB).No Windows, criamos algumas ferramentas usando o arquivo Windows/Dirent_portable.h (que está fora do nosso código da biblioteca): está sob a licença MIT Liberal (favorável aos negócios).A Biblioteca Simdjson aproveita as microarquiteturas modernas, paralelizante com o SIMD Vector
instruções, redução da prejudicial do ramo e reduzindo a dependência de dados para tirar proveito de cada
Os núcleos de execução múltiplos da CPU.A figura a seguir representa a velocidade de análise em GB/s para analisar vários arquivos
em um processador Intel Skylake (3,4 GHz) usando o compilador GNU GCC 10 (com o sinalizador -o3).

Fonte: https://github.com/simdjson/simdjson