支付宝发布多模态医疗大模型

医疗健康 来源:医谷网
2024
07/06
13:50
医谷网 医疗健康

7月5日,在2024世界人工智能大会“可信大模型论坛”上,支付宝公布了其AI技术在医疗领域布局的最新进展:发布多模态医疗大模型,同时,全新推出包括医疗可信一体机、可信云等多款数智化解决方案。现场,支付宝还与人民卫生出版社、北京大学医学部、浙江省卫生健康委等20家机构,联合发起AI医疗共建计划,共同探索AI数智技术底座与创新应用服务。

支付宝多模态医疗大模型亮相

经过半年多测试打磨,支付宝医疗大模型正式亮相,这也是国内首批多模态医疗大模型之一。

蚂蚁集团大模型应用部总经理顾进杰介绍了背后的技术研发。蚂蚁百灵大模型已具备能“看”会“听”、能“说”会“画”的原生多模态能力,可以直接理解并训练音频、视频、图、文等多模态数据。支付宝医疗大模型以此为基座模型,添加了包含报告、影像、药品等百亿级中英文图文、千亿级医疗文本语料及千万级高质量医疗知识图谱,中英文医疗考试、基准测试达到或超过GPT4水准,医疗专业能力在中文医疗LLM评测榜单promptCBLUE中,位列A榜第一,B榜第二。同时,全栈自研医疗多模态结构,使得模型识别报告、药品、毛发等图像准确率达90%以上,相关技术在行业顶尖技术期刊与会议 CVPR、KDD、ECCV等发表了多项成果。

为了让回答对话更加可靠,在研发阶段,支付宝还与数百个专业医学团队、专家进行合作标注数据,保障信息权威可信,同时联合上海仁济医院推出首个中文医疗专科问答推理数据集RJUA-QA。模型测试阶段,用户、患者、医生参与问答反馈,在专业同时,兼顾患者关怀。

去年11月,浙江卫健委应用支付宝开放的“AI就医助理”解决方案,依托大模型、数字人技术,打造了全国首个数字健康人“安诊儿”,给浙江居民提供云陪诊、健康咨询等服务,上线以来,服务了1000多家医疗机构。

在此次发布前一周,6月28日,上海市第一人民医院宣布通过支付宝“AI就医助理”解决方案,以大模型、数字人等技术为基础,为患者提供交互陪伴式就医服务,打造上海市首个基于大模型的语音交互的“AI陪诊师-公济小壹”。

“眼睛干涩挂什么科?” 65岁的李阿姨在上海市一就诊时,打开手机支付宝向“公济小壹”提问后,便会收到了相关就诊建议和挂号服务推送。在完成挂号后,李阿姨继续向“公济小壹”询问当前候诊信息,便会收到语音和文字提示:“当前您需要就诊,前面排队4人,当前叫号66号,地址位于7号楼1楼B区眼科检查一区……”李阿姨在点击“院内导航”的连接后,通过手机摄像头沿着实景AR的导航路线前往诊室。

上海市一医院“AI陪诊师-公济小壹”

市一医院信息处副处长范骏翔表示:“AI 就医助理“公济小壹”采用数字虚拟人作为交互载体,以语音输入输出和识别作为主要的交互方式,并以大语言模型作为其核心智能引擎。旨在为患者提供全天候的陪伴和指导,精准理解和快速响应患者的需求,从而改善他们的就医体验。”患者每完成一个就诊环节,系统会主动提示患者如何完成下一步操作。从诊前预约挂号、在线取号,到诊中院内导航、排队叫号、扫码支付,再到诊后的报告查询、用药注意等线上服务的“一站式”串联,为患者提供“虚拟陪诊、现实感知”的就医体验。

同时,市一医院还利用利用AI大模型能力辅助医生生成电子病历。“机械化的工作耗费了年轻医生大量的时间和精力,有何举措能够将他们从重压之下解脱出来,是需要我们思考的问题。” 上海市一副院长、眼科中心主任孙晓东表示。

为此,市一医院引入蚂蚁百灵大模型能力进行提高病史书写效率的创新应用,通过关键信息的给定、语音输入等多种形式结合自动生成病历,简化入院记录的填写过程,将原本需要5到10分钟的工作缩减到了15至20秒,显著节省了医生 “敲键盘”的时间。以白内障为例,目前医院抽取了1万份历史病历,将其输入到大语言模型中进行微调。在这一过程中,开发部门设计了相应的提示词,训练模型学习如何撰写病史。

顾进杰表示,AI的深度应用,不仅对数据、算法、算力提出了更高要求,也对可靠、安全、隐私提出更多挑战,医疗场景下,保障技术可靠与数据隐私安全,至关重要。为此,支付宝面向行业推出全新的“医疗可信一体机+可信云”的解决方案,通过密态计算与存储,让医疗数据可用不可见,机构保管更安全。

据介绍,百灵医疗可信一体机,核心解决医院面临的算力不足痛点,可实现开箱即用,训推一体,支持国产算力,软硬件协同优化加速。医疗大模型可信云方案,通过公有云与专有云部署密态推理,聚焦解决数据隐私安全和商业机密保护问题。

AI医疗创新应用“联盟”

医疗技术的创新,需要依托平台、产业、学界共同努力。大会现场,支付宝、人民卫生出版社、北京大学医学部、浙江省卫生健康委、厦门市卫生健康委员会、浙江省人民医院、上海交通大学医学院附属仁济医院、北京大学人民医院、复旦大学附属肿瘤医院、上海市第一人民医院、首都医科大学附属医院等20多家机构、企业,联合发起了AI医疗共建计划,共同探索大模型应用及各类专科模型创新研发。

支付宝副总裁、数字医疗健康事业部总经理张俊杰表示:“支付宝希望用最顶尖的技术做最普惠的服务,让AI像‘扫码支付’一样便利每个人的生活。支付宝也会持续开放AI技术与行业解决方案,携手合作伙伴一起,推动智能医疗走向普惠、普及。”

据了解,2014年支付宝支持全国第一笔远程挂号缴费,经过十年发展,平台已服务超6亿看病就医人群,是国内规模最大的医保第三方在线服务平台、一站式的医疗健康服务平台。目前,全国300多个城市、超3600家医院在支付宝上提供一站式数字医疗服务。

来源:医谷网

为你推荐

安诊儿率先融合DeepSeek-R1,升级大模型底座能力资讯

安诊儿率先融合DeepSeek-R1,升级大模型底座能力

2月16日,由浙江省卫健委和蚂蚁集团联合推出的 "安诊儿 "宣布融合DeepSeek-R1,升级大模型底座能力,成为国内首批支持专业推理模型的AI医疗健康应用之一。

2025-02-16 15:46

驯鹿生物CAR-T细胞产品伊基奥仑赛注射液申请香港上市资讯

驯鹿生物CAR-T细胞产品伊基奥仑赛注射液申请香港上市

2025年2月14日,驯鹿生物宣布,中国香港卫生署已正式受理其CAR-T细胞产品伊基奥仑赛注射液(FUCASO)的新药上市许可申请(NDA),用于治疗既往经过至少3线治疗后进展的复发 难治...

2025-02-15 20:59

Ultra 3D 人工耳蜗植入体中国上市,开启无忧MRI检查新时代资讯

Ultra 3D 人工耳蜗植入体中国上市,开启无忧MRI检查新时代

Ultra 3D人工耳蜗植入体可以支持高达200次的MRI检查,磁铁不会消磁,植入体功能不受影响

2025-02-15 20:03

辉瑞公布TALAPRO-2研究最新数据:泰泽纳®联合恩扎卢胺可显著改善转移性去势抵抗性前列腺癌患者生存结局资讯

辉瑞公布TALAPRO-2研究最新数据:泰泽纳®联合恩扎卢胺可显著改善转移性去势抵抗性前列腺癌患者生存结局

泰泽纳®(甲苯磺酸他拉唑帕利胶囊)联合恩扎卢胺是目前首个在转移性去势抵抗性前列腺癌(mCRPC)的治疗中,无论患者是否携带HRR 基因突变,均显示出统计学显著和临床意义上总...

2025-02-14 19:17

饶毅创建的华毅乐健治疗血友病A的首款AAV基因药物进入III期临床试验阶段资讯

饶毅创建的华毅乐健治疗血友病A的首款AAV基因药物进入III期临床试验阶段

治疗血友病A的首款AAV基因药物GS1191-0445注射液

2025-02-14 17:34

旋覆代赭汤、吴茱萸汤、猪苓汤、甘草泻心汤黄连汤等43首方剂古代经典名方关键信息表发布资讯

旋覆代赭汤、吴茱萸汤、猪苓汤、甘草泻心汤黄连汤等43首方剂古代经典名方关键信息表发布

国家中医药局、国家药监局积极组织推进古代经典名方关键信息考证研究工作,现将《古代经典名方关键信息表(“旋覆代赭汤”等43首方剂)》予以公布。

2025-02-14 16:42

第八十九批仿制药参比制剂目录资讯

第八十九批仿制药参比制剂目录

国家药品监督管理局发布仿制药参比制剂目录(第八十九批)。

2025-02-14 15:47

全球首创,新一代“破伤风针”在中国获批上市资讯

全球首创,新一代“破伤风针”在中国获批上市

新替妥®采用了先进的基因工程技术,是全球首款进入临床阶段的重组抗破伤风毒素全人源单克隆抗体

2025-02-14 15:11

华为医疗大模型即将发布,将提高病理诊断效率和准确率资讯

华为医疗大模型即将发布,将提高病理诊断效率和准确率

华为将发布基于其DCS AI解决方案打造的瑞金病理模型。

2025-02-14 10:25

艾捷博雅完成数亿人民币C轮融资,加速分离纯化技术研发与市场拓展资讯

艾捷博雅完成数亿人民币C轮融资,加速分离纯化技术研发与市场拓展

艾捷博雅成立于2020年8月28日,总部位于中国江苏省,是一家依托分离材料、流体自动化技术、在线检测技术的高科技企业。

2025-02-14 10:18

诺美新创完成超3亿元融资,专注耳鼻喉及颅脊外科器械研发与创新资讯

诺美新创完成超3亿元融资,专注耳鼻喉及颅脊外科器械研发与创新

此次融资将为诺美新创的市场拓展和产品研发提供强有力的资金支持,进一步巩固其在耳鼻喉及颅脊外科器械领域的领先地位。

2025-02-14 10:08

领挚科技完成数千万元A轮融资,加速TFT生命科学产品交付及全球拓展资讯

领挚科技完成数千万元A轮融资,加速TFT生命科学产品交付及全球拓展

本轮融资将用于加速领挚科技TFT生命科学产品的市场投放及全球市场的进一步拓展。

2025-02-14 10:01

NMN/NR一项权威研究数据公布资讯

NMN/NR一项权威研究数据公布

在科技的发展过程中,科学家从未停止对健康长寿的研究。2014年哈佛教授Sinclair发现,对老年小鼠补充NMN NR可提高体内辅酶I水平,延长小鼠的寿命[1]。这项研究使NMN NR成为世...

2025-02-13 19:24

司美格鲁肽注射液新适应症在中国申报上市资讯

司美格鲁肽注射液新适应症在中国申报上市

近日,据国家药监局药审中心信息显示,诺和诺德申报的司美格鲁肽注射液新适应证上市申请已获得受理,注册分类为进口3 1,虽尚无具体适应症信息披露,但根据以往诺和诺德披露公...

2025-02-13 12:27

首届“无限可能杯”HPV科普创意大赛开启在即,让HPV预防知识以创新科普形式融入校园生活资讯

首届“无限可能杯”HPV科普创意大赛开启在即,让HPV预防知识以创新科普形式融入校园生活

近日,由清华大学国际传播研究中心策划发起、中国教育电视台特别主办,默沙东支持的首届“无限可能杯”HPV(人乳头瘤病毒)科普创意大赛正式官宣将于今年春季学期启动。

2025-02-13 11:28

CDE:生物制品注册受理审查指南(试行)资讯

CDE:生物制品注册受理审查指南(试行)

为进一步规范生物制品注册受理的形式审查要求,更好地指导和服务申请人,在国家药品监督管理局的部署下,药审中心组织修订了《生物制品注册受理审查指南(试行)》(见附件),...

2025-02-12 17:45

华东医药首个国产乌司奴单抗新适应症上市申请获受理资讯

华东医药首个国产乌司奴单抗新适应症上市申请获受理

用于克罗恩病的上市许可申请和补充申请获得NMPA受理。

2025-02-12 17:39

CDE:化学药品注册受理审查指南(试行)资讯

CDE:化学药品注册受理审查指南(试行)

为进一步规范化学药品注册受理的形式审查要求,更好地指导和服务申请人,在国家药品监督管理局的部署下,药审中心组织修订了《化学药品注册受理审查指南(试行)》。

2025-02-11 18:32

又一款国产PD-1获批上市资讯

又一款国产PD-1获批上市

近日,据国家药监局官网显示,已批准神州细胞工程有限公司申报的菲诺利单抗注射液(商品名:安佑平)上市,适应症为本品与含铂化疗联合用于复发性和 或转移性头颈部鳞状细胞癌...

2025-02-11 15:00

强生宣布同类首创用于治疗复发或难治性多发性骨髓的双特异性抗体拓立珂(塔奎妥单抗注射液)在华获批资讯

强生宣布同类首创用于治疗复发或难治性多发性骨髓的双特异性抗体拓立珂(塔奎妥单抗注射液)在华获批

今日(2月11日),强生公司宣布,旗下首个靶向GPRC5D1的双特异性抗体药物拓立珂®(塔奎妥单抗注射液)正式获得国家药品监督管理局批准,单药适用于既往接受过至少三线治疗(包...

2025-02-11 14:33