支付宝发布多模态医疗大模型

医疗健康 来源:医谷网
2024
07/06
13:50
医谷网 医疗健康

7月5日,在2024世界人工智能大会“可信大模型论坛”上,支付宝公布了其AI技术在医疗领域布局的最新进展:发布多模态医疗大模型,同时,全新推出包括医疗可信一体机、可信云等多款数智化解决方案。现场,支付宝还与人民卫生出版社、北京大学医学部、浙江省卫生健康委等20家机构,联合发起AI医疗共建计划,共同探索AI数智技术底座与创新应用服务。

支付宝多模态医疗大模型亮相

经过半年多测试打磨,支付宝医疗大模型正式亮相,这也是国内首批多模态医疗大模型之一。

蚂蚁集团大模型应用部总经理顾进杰介绍了背后的技术研发。蚂蚁百灵大模型已具备能“看”会“听”、能“说”会“画”的原生多模态能力,可以直接理解并训练音频、视频、图、文等多模态数据。支付宝医疗大模型以此为基座模型,添加了包含报告、影像、药品等百亿级中英文图文、千亿级医疗文本语料及千万级高质量医疗知识图谱,中英文医疗考试、基准测试达到或超过GPT4水准,医疗专业能力在中文医疗LLM评测榜单promptCBLUE中,位列A榜第一,B榜第二。同时,全栈自研医疗多模态结构,使得模型识别报告、药品、毛发等图像准确率达90%以上,相关技术在行业顶尖技术期刊与会议 CVPR、KDD、ECCV等发表了多项成果。

为了让回答对话更加可靠,在研发阶段,支付宝还与数百个专业医学团队、专家进行合作标注数据,保障信息权威可信,同时联合上海仁济医院推出首个中文医疗专科问答推理数据集RJUA-QA。模型测试阶段,用户、患者、医生参与问答反馈,在专业同时,兼顾患者关怀。

去年11月,浙江卫健委应用支付宝开放的“AI就医助理”解决方案,依托大模型、数字人技术,打造了全国首个数字健康人“安诊儿”,给浙江居民提供云陪诊、健康咨询等服务,上线以来,服务了1000多家医疗机构。

在此次发布前一周,6月28日,上海市第一人民医院宣布通过支付宝“AI就医助理”解决方案,以大模型、数字人等技术为基础,为患者提供交互陪伴式就医服务,打造上海市首个基于大模型的语音交互的“AI陪诊师-公济小壹”。

“眼睛干涩挂什么科?” 65岁的李阿姨在上海市一就诊时,打开手机支付宝向“公济小壹”提问后,便会收到了相关就诊建议和挂号服务推送。在完成挂号后,李阿姨继续向“公济小壹”询问当前候诊信息,便会收到语音和文字提示:“当前您需要就诊,前面排队4人,当前叫号66号,地址位于7号楼1楼B区眼科检查一区……”李阿姨在点击“院内导航”的连接后,通过手机摄像头沿着实景AR的导航路线前往诊室。

上海市一医院“AI陪诊师-公济小壹”

市一医院信息处副处长范骏翔表示:“AI 就医助理“公济小壹”采用数字虚拟人作为交互载体,以语音输入输出和识别作为主要的交互方式,并以大语言模型作为其核心智能引擎。旨在为患者提供全天候的陪伴和指导,精准理解和快速响应患者的需求,从而改善他们的就医体验。”患者每完成一个就诊环节,系统会主动提示患者如何完成下一步操作。从诊前预约挂号、在线取号,到诊中院内导航、排队叫号、扫码支付,再到诊后的报告查询、用药注意等线上服务的“一站式”串联,为患者提供“虚拟陪诊、现实感知”的就医体验。

同时,市一医院还利用利用AI大模型能力辅助医生生成电子病历。“机械化的工作耗费了年轻医生大量的时间和精力,有何举措能够将他们从重压之下解脱出来,是需要我们思考的问题。” 上海市一副院长、眼科中心主任孙晓东表示。

为此,市一医院引入蚂蚁百灵大模型能力进行提高病史书写效率的创新应用,通过关键信息的给定、语音输入等多种形式结合自动生成病历,简化入院记录的填写过程,将原本需要5到10分钟的工作缩减到了15至20秒,显著节省了医生 “敲键盘”的时间。以白内障为例,目前医院抽取了1万份历史病历,将其输入到大语言模型中进行微调。在这一过程中,开发部门设计了相应的提示词,训练模型学习如何撰写病史。

顾进杰表示,AI的深度应用,不仅对数据、算法、算力提出了更高要求,也对可靠、安全、隐私提出更多挑战,医疗场景下,保障技术可靠与数据隐私安全,至关重要。为此,支付宝面向行业推出全新的“医疗可信一体机+可信云”的解决方案,通过密态计算与存储,让医疗数据可用不可见,机构保管更安全。

据介绍,百灵医疗可信一体机,核心解决医院面临的算力不足痛点,可实现开箱即用,训推一体,支持国产算力,软硬件协同优化加速。医疗大模型可信云方案,通过公有云与专有云部署密态推理,聚焦解决数据隐私安全和商业机密保护问题。

AI医疗创新应用“联盟”

医疗技术的创新,需要依托平台、产业、学界共同努力。大会现场,支付宝、人民卫生出版社、北京大学医学部、浙江省卫生健康委、厦门市卫生健康委员会、浙江省人民医院、上海交通大学医学院附属仁济医院、北京大学人民医院、复旦大学附属肿瘤医院、上海市第一人民医院、首都医科大学附属医院等20多家机构、企业,联合发起了AI医疗共建计划,共同探索大模型应用及各类专科模型创新研发。

支付宝副总裁、数字医疗健康事业部总经理张俊杰表示:“支付宝希望用最顶尖的技术做最普惠的服务,让AI像‘扫码支付’一样便利每个人的生活。支付宝也会持续开放AI技术与行业解决方案,携手合作伙伴一起,推动智能医疗走向普惠、普及。”

据了解,2014年支付宝支持全国第一笔远程挂号缴费,经过十年发展,平台已服务超6亿看病就医人群,是国内规模最大的医保第三方在线服务平台、一站式的医疗健康服务平台。目前,全国300多个城市、超3600家医院在支付宝上提供一站式数字医疗服务。

来源:医谷网

为你推荐

精准医疗迎来“关键年”,专家称人工智能将助力重塑人类生命健康格局资讯

精准医疗迎来“关键年”,专家称人工智能将助力重塑人类生命健康格局

2025年被业界普遍认为是精准医疗发展的关键节点。生物药和先进疗法曾掀起了两次药物开发的技术创新浪潮,人工智能相关技术的快速发展,有望重塑人类生命健康的格局。7月4日在上...

2025-07-05 15:57

药物Ⅰ期临床试验管理指导原则资讯

药物Ⅰ期临床试验管理指导原则

为进一步提高药物Ⅰ期临床试验和生物等效性试验质量和管理水平,国家药监局核查中心组织修订了《药物Ⅰ期临床试验管理指导原则》。经国家药品监督管理局同意,现予发布,自发布...

2025-07-04 23:07

众安保险与阿里健康达成战略合作,助力超重人群科学管理体重资讯

众安保险与阿里健康达成战略合作,助力超重人群科学管理体重

7月4日,阿里健康举办科学减重标准发布会,发布“科学减重标准”,希望通过规范的营养管理、运动干预、药物治疗,帮助超重与肥胖人群开启科学减重之旅。

2025-07-04 18:30

爱尔眼科唐仕波教授团队牵头制定《X连锁视网膜劈裂症临床诊疗的中国专家共识(2025)》资讯

爱尔眼科唐仕波教授团队牵头制定《X连锁视网膜劈裂症临床诊疗的中国专家共识(2025)》

X 连锁视网膜劈裂症是一种多发于20岁以下男性的难治性视网膜疾病

文/李林 2025-07-04 16:56

麦科奥特 Micot 完成超亿元 D 轮融资,加速多肽创新药研发资讯

麦科奥特 Micot 完成超亿元 D 轮融资,加速多肽创新药研发

由浙商创投旗下临海启泽基金领投

2025-07-04 10:28

科创板第五套上市标准重启,这家药企打响 “第一枪”资讯

科创板第五套上市标准重启,这家药企打响 “第一枪”

科创板第五套标准重启后,首家采用该标准过会的企业出现了。

2025-07-04 09:48

穆峰达第三项适应症中国获批,填补睡眠呼吸暂停药物治疗领域空白资讯

穆峰达第三项适应症中国获批,填补睡眠呼吸暂停药物治疗领域空白

首个且唯一用于治疗成人肥胖患者的中度至重度阻塞性睡眠呼吸暂停适应症的处方药

2025-07-03 15:36

又一款国产肺癌创新药获得美国FDA批准上市资讯

又一款国产肺癌创新药获得美国FDA批准上市

今日(7月3日),迪哲医药宣布,公司核心产品舒沃哲(ZEGFROVY,通用名:舒沃替尼片)的新药上市申请正式获得美国FDA加速批准,用于既往经含铂化疗治疗时或治疗后出现疾病进展,...

2025-07-03 14:51

近20年来首个全新类别抗菌药物醋酸来法莫林在华获批,开启社区获得性肺炎治疗新时代资讯

近20年来首个全新类别抗菌药物醋酸来法莫林在华获批,开启社区获得性肺炎治疗新时代

该产品中文商标:信乐妥®,英文商标:Xenleta®

2025-07-03 13:23

白癜风诊疗迈向资讯

白癜风诊疗迈向"精细化诊疗"新阶段,薇诺娜净衡系列上市

由中华医学会、中华医学会皮肤性病学分会主办湖南省医学会、中南大学湘雅医院 、中南大学湘雅医学院皮肤病学系承办的中华医学会第三十次皮肤性病学术年会于2025年6月25日-29日...

2025-07-03 11:51

2025年,国家医保局医保药品目录及商保药品目录调整征求意见稿发布资讯

2025年,国家医保局医保药品目录及商保药品目录调整征求意见稿发布

7月1日,国家医保局正式对外发布《2025年国家基本医疗保险、生育保险和工伤保险药品目录及商业健康保险创新药品目录调整工作方案(征求意见稿)》及相关文件,向社会公开征求意见。

2025-07-02 18:50

碳云智肽获翰宇药业战略投资,以 “多肽芯片 + AI” 技术赋能创新药研发资讯

碳云智肽获翰宇药业战略投资,以 “多肽芯片 + AI” 技术赋能创新药研发

7 月 1 日,深圳碳云智肽药物科技有限公司(简称 “碳云智肽”)与翰宇药业(300199)正式签署《创新药 CRDMO 服务战略合作协议》和《战略投资协议》。

2025-07-02 17:44

一上市药企与6名高管共计被罚1600万元资讯

一上市药企与6名高管共计被罚1600万元

近日,维康药业发布公告披露,其收到《关于公司及相关当事人收到中国证券监督管理委员会浙江证监局的公告》,公告显示,维康药业及其实控人刘忠良等被处罚,处罚金额累计达 160...

2025-07-02 15:41

国家医保局 国家卫生健康委联合印发《支持创新药高质量发展的若干措施》,谈及商保资讯

国家医保局 国家卫生健康委联合印发《支持创新药高质量发展的若干措施》,谈及商保

与医保目录调整的不同点在于,商保创新药目录将充分尊重商业保险公司的市场主体地位,在方案制定、专家评审、价格协商等环节,保险公司行业专家将充分参与。商保专家对于一个药...

2025-07-01 14:58

中析生物完成近亿元A轮融资,加速智慧实验室布局与全球化拓展资讯

中析生物完成近亿元A轮融资,加速智慧实验室布局与全球化拓展

近日,实验室自动化领域企业苏州中析生物信息有限公司(以下简称“中析生物”)宣布完成近亿元A轮融资,由中信建投资本领投,启明创投持续

2025-07-01 13:15

全球首个IL-17A/F双靶新药填补中轴型脊柱关节炎治疗空白,“捷乐同行患者关爱项目”加速药物惠及患者资讯

全球首个IL-17A/F双靶新药填补中轴型脊柱关节炎治疗空白,“捷乐同行患者关爱项目”加速药物惠及患者

为了提高中轴型脊柱关节炎患者的治疗获益、减轻经济负担,“捷乐同行患者关爱项目”于今日正式启动。

2025-07-01 10:21

一桩药企的重大资产重组,告吹资讯

一桩药企的重大资产重组,告吹

筹划近3个月后,成都先导重大资产重组事项宣告终止。

2025-07-01 09:28

稳健医疗李建全谈绿色手术室发展:绿色理念的前提一定是以人为本资讯

稳健医疗李建全谈绿色手术室发展:绿色理念的前提一定是以人为本

相关数据显示,全球医疗行业正面临着一个严峻的问题:医疗行业碳排放占全球4 4%-5 2%,手术室贡献了医院20%-30%的废弃物。

2025-07-01 09:26

1款全球首个+1款全球前四!华东医药MUC-17与FGFR2b 两款ADC获批临床资讯

1款全球首个+1款全球前四!华东医药MUC-17与FGFR2b 两款ADC获批临床

HDM2020与HDM2012均为抗体药物偶联物(Antibody-drug conjugate,ADC),分别靶向成纤维细胞生长因子受体2b(FGFR2b)、靶向人粘蛋白-17(Mucin 17,MUC-17)

2025-06-30 21:28

睿视科技完成数千万元A2轮融资,金科君创独家投资资讯

睿视科技完成数千万元A2轮融资,金科君创独家投资

此次融资将重点用于公司核心产品的研发迭代,三类医疗器械注册申报加速,以及市场渠道拓展。凯乘资本担任公司本轮融资独家财务顾问。

2025-06-30 10:36