Ao prestar cuidados, os médicos interpretam rotineiramente dados de uma ampla gama de modalidades, incluindo imagens médicas, notas clínicas, testes de laboratório, registros eletrônicos de saúde, genômica e muito mais.Com o objetivo de entender as oportunidades de trazer novas modalidades aos sistemas médicos de IA, consideraremos três abordagens amplamente definidas: uso de ferramentas, enxerto de modelos e sistemas generalistas.Se amadurecido com êxito, o Multimodal Medical LLMS pode servir como base de novas tecnologias de assistência que abrangem medicina profissional, pesquisa médica e aplicações de consumidores.Responder a essas perguntas exigirá uma pesquisa empírica rigorosa contínua e a colaboração direta contínua com os profissionais de saúde, instituições médicas, entidades governamentais e parceiros da indústria de saúde.Vários métodos para a construção de LLMs multimodais foram propostos nos últimos meses [1, 2, 3], e sem dúvida novos métodos continuarão a surgir por algum tempo.
Fonte: https://ai.googleblog.com/2023/08/multimodal-medical-ai.html
