E as taxas de erro que observamos mostram que há uma grande sala para melhorias:
OpenAI: 0,05%
Google Vertex AI: 0,002%
Coere: 0,06%
Jina AI: 1,45%
À primeira vista, 0,05% parece pequeno.Mas quando você começa a se preocupar com o desempenho, a latência e a confiabilidade do mundo real, é uma história diferente.Cada provedor parece ter sua própria janela em lote:
Openai e Jina: ~ 300ms
Coere: ~ 100ms
Google: ~ 50ms
Essa diferença no lote explica a maior parte da variação de latência entre os provedores.Como estamos construindo mais um mecanismo de pesquisa © com o NixieSearch, adicionamos recursos de inferência diretamente ao mecanismo de pesquisa.Por exemplo, se um usuário pesquisar “Nike Airmax”, provavelmente deseja documentos que incluam os dois termos exatos.
Fonte: https://nixiesearch.substack.com/p/benchmarking-api-latency-of-embedding
