linux-BR.org

Notícias de software livre e tecnologias

Além disso, você pode especificar um limite de token de entrada personalizado com o mesmo efeito para economizar custos: client.chat.Completions.generate_output (…, max_input_tokens = 2000).Devido ao sistema de tipo limitado do Python, o tipo de saída é do tipo BasellmResponse, em vez da subclasse explícita ExemploPrompt.Output.Você também pode definir mais restrições ou fornecer ao LLM mais informações para alguns elementos:
Por padrão, a biblioteca sempre espera apenas uma resposta de linha por elemento.Aqui, o analisador analisará a descrição se o LLM o retornar, mas não exigirá.Para alcançar a segurança do tipo completo em seu código, basta adicionar o parâmetro output_type = exemploprompt.output:
Este parâmetro não é apenas um decorador de tipo.

Fonte: https://github.com/alexeichhorn/typegpt