支付宝发布多模态医疗大模型_医疗健康

2024

07/06

13:50

医谷网医疗健康

7月5日，在2024世界人工智能大会“可信大模型论坛”上，支付宝公布了其AI技术在医疗领域布局的最新进展：发布多模态医疗大模型，同时，全新推出包括医疗可信一体机、可信云等多款数智化解决方案。现场，支付宝还与人民卫生出版社、北京大学医学部、浙江省卫生健康委等20家机构，联合发起AI医疗共建计划，共同探索AI数智技术底座与创新应用服务。

支付宝多模态医疗大模型亮相

经过半年多测试打磨，支付宝医疗大模型正式亮相，这也是国内首批多模态医疗大模型之一。

蚂蚁集团大模型应用部总经理顾进杰介绍了背后的技术研发。蚂蚁百灵大模型已具备能“看”会“听”、能“说”会“画”的原生多模态能力，可以直接理解并训练音频、视频、图、文等多模态数据。支付宝医疗大模型以此为基座模型，添加了包含报告、影像、药品等百亿级中英文图文、千亿级医疗文本语料及千万级高质量医疗知识图谱，中英文医疗考试、基准测试达到或超过GPT4水准，医疗专业能力在中文医疗LLM评测榜单promptCBLUE中，位列A榜第一，B榜第二。同时，全栈自研医疗多模态结构，使得模型识别报告、药品、毛发等图像准确率达90%以上，相关技术在行业顶尖技术期刊与会议 CVPR、KDD、ECCV等发表了多项成果。

为了让回答对话更加可靠，在研发阶段，支付宝还与数百个专业医学团队、专家进行合作标注数据，保障信息权威可信，同时联合上海仁济医院推出首个中文医疗专科问答推理数据集RJUA-QA。模型测试阶段，用户、患者、医生参与问答反馈，在专业同时，兼顾患者关怀。

去年11月，浙江卫健委应用支付宝开放的“AI就医助理”解决方案，依托大模型、数字人技术，打造了全国首个数字健康人“安诊儿”，给浙江居民提供云陪诊、健康咨询等服务，上线以来，服务了1000多家医疗机构。

在此次发布前一周，6月28日，上海市第一人民医院宣布通过支付宝“AI就医助理”解决方案，以大模型、数字人等技术为基础，为患者提供交互陪伴式就医服务，打造上海市首个基于大模型的语音交互的“AI陪诊师-公济小壹”。

“眼睛干涩挂什么科？” 65岁的李阿姨在上海市一就诊时，打开手机支付宝向“公济小壹”提问后，便会收到了相关就诊建议和挂号服务推送。在完成挂号后，李阿姨继续向“公济小壹”询问当前候诊信息，便会收到语音和文字提示：“当前您需要就诊，前面排队4人，当前叫号66号，地址位于7号楼1楼B区眼科检查一区……”李阿姨在点击“院内导航”的连接后，通过手机摄像头沿着实景AR的导航路线前往诊室。

上海市一医院“AI陪诊师-公济小壹”

市一医院信息处副处长范骏翔表示：“AI 就医助理“公济小壹”采用数字虚拟人作为交互载体，以语音输入输出和识别作为主要的交互方式，并以大语言模型作为其核心智能引擎。旨在为患者提供全天候的陪伴和指导，精准理解和快速响应患者的需求，从而改善他们的就医体验。”患者每完成一个就诊环节，系统会主动提示患者如何完成下一步操作。从诊前预约挂号、在线取号，到诊中院内导航、排队叫号、扫码支付，再到诊后的报告查询、用药注意等线上服务的“一站式”串联，为患者提供“虚拟陪诊、现实感知”的就医体验。

同时，市一医院还利用利用AI大模型能力辅助医生生成电子病历。“机械化的工作耗费了年轻医生大量的时间和精力，有何举措能够将他们从重压之下解脱出来，是需要我们思考的问题。” 上海市一副院长、眼科中心主任孙晓东表示。

为此，市一医院引入蚂蚁百灵大模型能力进行提高病史书写效率的创新应用，通过关键信息的给定、语音输入等多种形式结合自动生成病历，简化入院记录的填写过程，将原本需要5到10分钟的工作缩减到了15至20秒，显著节省了医生 “敲键盘”的时间。以白内障为例，目前医院抽取了1万份历史病历，将其输入到大语言模型中进行微调。在这一过程中，开发部门设计了相应的提示词，训练模型学习如何撰写病史。

顾进杰表示，AI的深度应用，不仅对数据、算法、算力提出了更高要求，也对可靠、安全、隐私提出更多挑战，医疗场景下，保障技术可靠与数据隐私安全，至关重要。为此，支付宝面向行业推出全新的“医疗可信一体机+可信云”的解决方案，通过密态计算与存储，让医疗数据可用不可见，机构保管更安全。

据介绍，百灵医疗可信一体机，核心解决医院面临的算力不足痛点，可实现开箱即用，训推一体，支持国产算力，软硬件协同优化加速。医疗大模型可信云方案，通过公有云与专有云部署密态推理，聚焦解决数据隐私安全和商业机密保护问题。

AI医疗创新应用“联盟”

医疗技术的创新，需要依托平台、产业、学界共同努力。大会现场，支付宝、人民卫生出版社、北京大学医学部、浙江省卫生健康委、厦门市卫生健康委员会、浙江省人民医院、上海交通大学医学院附属仁济医院、北京大学人民医院、复旦大学附属肿瘤医院、上海市第一人民医院、首都医科大学附属医院等20多家机构、企业，联合发起了AI医疗共建计划，共同探索大模型应用及各类专科模型创新研发。