E, consequentemente, meus pensamentos sobre as saases de rastreamento/observabilidade da IA, como Langsmith, Helicone, Langfuse, Arize, etc. As configurações de modelo foram o mínimo para> 99% de taxa de sucesso e latência abaixo do limite, para proteger em relação aos diferentes fornecedores, contas, contas, contas, relatos e modelos.A solução mais elegante, no entanto, seria usar o “banco de dados de dentro para fora” – ou “bancos de dados imutáveis” como o XTDB para o núcleo da lógica do fluxo de trabalho da AI.Modelo como Config “Seção do artigo de Chekryzhov:
Problema: os LLMs estão evoluindo rapidamente;Google, antropia, openai, etc. Além disso, se você desenvolver um aplicativo voltado para o usuário (como um bot de bate-papo ou um bot de suporte) para o qual a latência é importante, indo totalmente multimodelo, o multiprovidor é uma obrigação.
Fonte: https://engineeringideas.substack.com/p/trace-llm-workflows-at-your-apps
