支付宝发布多模态医疗大模型

医疗健康 来源:医谷网
2024
07/06
13:50
医谷网 医疗健康

7月5日,在2024世界人工智能大会“可信大模型论坛”上,支付宝公布了其AI技术在医疗领域布局的最新进展:发布多模态医疗大模型,同时,全新推出包括医疗可信一体机、可信云等多款数智化解决方案。现场,支付宝还与人民卫生出版社、北京大学医学部、浙江省卫生健康委等20家机构,联合发起AI医疗共建计划,共同探索AI数智技术底座与创新应用服务。

支付宝多模态医疗大模型亮相

经过半年多测试打磨,支付宝医疗大模型正式亮相,这也是国内首批多模态医疗大模型之一。

蚂蚁集团大模型应用部总经理顾进杰介绍了背后的技术研发。蚂蚁百灵大模型已具备能“看”会“听”、能“说”会“画”的原生多模态能力,可以直接理解并训练音频、视频、图、文等多模态数据。支付宝医疗大模型以此为基座模型,添加了包含报告、影像、药品等百亿级中英文图文、千亿级医疗文本语料及千万级高质量医疗知识图谱,中英文医疗考试、基准测试达到或超过GPT4水准,医疗专业能力在中文医疗LLM评测榜单promptCBLUE中,位列A榜第一,B榜第二。同时,全栈自研医疗多模态结构,使得模型识别报告、药品、毛发等图像准确率达90%以上,相关技术在行业顶尖技术期刊与会议 CVPR、KDD、ECCV等发表了多项成果。

为了让回答对话更加可靠,在研发阶段,支付宝还与数百个专业医学团队、专家进行合作标注数据,保障信息权威可信,同时联合上海仁济医院推出首个中文医疗专科问答推理数据集RJUA-QA。模型测试阶段,用户、患者、医生参与问答反馈,在专业同时,兼顾患者关怀。

去年11月,浙江卫健委应用支付宝开放的“AI就医助理”解决方案,依托大模型、数字人技术,打造了全国首个数字健康人“安诊儿”,给浙江居民提供云陪诊、健康咨询等服务,上线以来,服务了1000多家医疗机构。

在此次发布前一周,6月28日,上海市第一人民医院宣布通过支付宝“AI就医助理”解决方案,以大模型、数字人等技术为基础,为患者提供交互陪伴式就医服务,打造上海市首个基于大模型的语音交互的“AI陪诊师-公济小壹”。

“眼睛干涩挂什么科?” 65岁的李阿姨在上海市一就诊时,打开手机支付宝向“公济小壹”提问后,便会收到了相关就诊建议和挂号服务推送。在完成挂号后,李阿姨继续向“公济小壹”询问当前候诊信息,便会收到语音和文字提示:“当前您需要就诊,前面排队4人,当前叫号66号,地址位于7号楼1楼B区眼科检查一区……”李阿姨在点击“院内导航”的连接后,通过手机摄像头沿着实景AR的导航路线前往诊室。

上海市一医院“AI陪诊师-公济小壹”

市一医院信息处副处长范骏翔表示:“AI 就医助理“公济小壹”采用数字虚拟人作为交互载体,以语音输入输出和识别作为主要的交互方式,并以大语言模型作为其核心智能引擎。旨在为患者提供全天候的陪伴和指导,精准理解和快速响应患者的需求,从而改善他们的就医体验。”患者每完成一个就诊环节,系统会主动提示患者如何完成下一步操作。从诊前预约挂号、在线取号,到诊中院内导航、排队叫号、扫码支付,再到诊后的报告查询、用药注意等线上服务的“一站式”串联,为患者提供“虚拟陪诊、现实感知”的就医体验。

同时,市一医院还利用利用AI大模型能力辅助医生生成电子病历。“机械化的工作耗费了年轻医生大量的时间和精力,有何举措能够将他们从重压之下解脱出来,是需要我们思考的问题。” 上海市一副院长、眼科中心主任孙晓东表示。

为此,市一医院引入蚂蚁百灵大模型能力进行提高病史书写效率的创新应用,通过关键信息的给定、语音输入等多种形式结合自动生成病历,简化入院记录的填写过程,将原本需要5到10分钟的工作缩减到了15至20秒,显著节省了医生 “敲键盘”的时间。以白内障为例,目前医院抽取了1万份历史病历,将其输入到大语言模型中进行微调。在这一过程中,开发部门设计了相应的提示词,训练模型学习如何撰写病史。

顾进杰表示,AI的深度应用,不仅对数据、算法、算力提出了更高要求,也对可靠、安全、隐私提出更多挑战,医疗场景下,保障技术可靠与数据隐私安全,至关重要。为此,支付宝面向行业推出全新的“医疗可信一体机+可信云”的解决方案,通过密态计算与存储,让医疗数据可用不可见,机构保管更安全。

据介绍,百灵医疗可信一体机,核心解决医院面临的算力不足痛点,可实现开箱即用,训推一体,支持国产算力,软硬件协同优化加速。医疗大模型可信云方案,通过公有云与专有云部署密态推理,聚焦解决数据隐私安全和商业机密保护问题。

AI医疗创新应用“联盟”

医疗技术的创新,需要依托平台、产业、学界共同努力。大会现场,支付宝、人民卫生出版社、北京大学医学部、浙江省卫生健康委、厦门市卫生健康委员会、浙江省人民医院、上海交通大学医学院附属仁济医院、北京大学人民医院、复旦大学附属肿瘤医院、上海市第一人民医院、首都医科大学附属医院等20多家机构、企业,联合发起了AI医疗共建计划,共同探索大模型应用及各类专科模型创新研发。

支付宝副总裁、数字医疗健康事业部总经理张俊杰表示:“支付宝希望用最顶尖的技术做最普惠的服务,让AI像‘扫码支付’一样便利每个人的生活。支付宝也会持续开放AI技术与行业解决方案,携手合作伙伴一起,推动智能医疗走向普惠、普及。”

据了解,2014年支付宝支持全国第一笔远程挂号缴费,经过十年发展,平台已服务超6亿看病就医人群,是国内规模最大的医保第三方在线服务平台、一站式的医疗健康服务平台。目前,全国300多个城市、超3600家医院在支付宝上提供一站式数字医疗服务。

来源:医谷网

为你推荐

蚂蚁阿福医生版发布PC工作台(电脑端)版本,接入UpToDate资讯

蚂蚁阿福医生版发布PC工作台(电脑端)版本,接入UpToDate

11月22日,蚂蚁阿福医生版发布PC工作台(电脑端)版本,同时接入威科集团循证医学临床决策支持解决方案UpToDate,即日起,全国医生、护士及药师等卫生专业技术人员都可通过阿福...

2026-11-22 19:04

重磅,生物药单抗国家集采正式启动资讯

重磅,生物药单抗国家集采正式启动

11月21日,全国单抗类制剂联盟采购办公室在安徽省医药集中采购平台发布了全国药品联盟集中带量采购(单克隆抗体类)公告(第1号),正式启动单抗类生物类似药全国集采,推进节奏...

2026-11-21 20:25

PCSK9/ANGPTL3双靶点降脂siRNA获国内临床默示许可资讯

PCSK9/ANGPTL3双靶点降脂siRNA获国内临床默示许可

近日,乐普医疗发布公告,公司控股子公司上海民为生物技术有限公司收到国家药品监督管理局核准签发的《药物临床试验批准通知书》,由上海民为生物申报的MWX205注射液临床试验申...

2026-11-20 17:19

镁伽科技完成新一轮近2亿美元融资资讯

镁伽科技完成新一轮近2亿美元融资

近日,镁伽科技宣布完成新一轮近2亿美元融资,阿曼苏丹国主权财富基金阿曼投资局(OIA)参与本轮投资,亚投资本、Granite Asia、创新工场等老股东持续加注,招银国际、苏创投、三...

2026-11-20 15:14

和铂医药靶向ACVR2A/2B LET003用于治疗超重或肥胖症的新药临床试验申请已获国家药监局受理资讯

和铂医药靶向ACVR2A/2B LET003用于治疗超重或肥胖症的新药临床试验申请已获国家药监局受理

11月19日,和铂医药公告,公司首款利用Hu-mAtrIx™ AI平台开发的新一代靶向ACVR2A 2B单克隆抗体LET003用于治疗超重或肥胖症的新药临床试验申请已获国家药监局受理。

2026-11-20 13:39

因美纳夺得2026年虚拟细胞挑战赛冠军资讯

因美纳夺得2026年虚拟细胞挑战赛冠军

凭借“十亿细胞图谱”这一独特的生物学数据集和全新CellularAI算法,因美纳在Arc Institute主办的2026年虚拟细胞挑战赛(Virtual Cell Challenge)中夺得第一名

2026-11-20 13:06

AI虚拟细胞公司元示科技完成近3亿元人民币Pre-A轮融资资讯

AI虚拟细胞公司元示科技完成近3亿元人民币Pre-A轮融资

11月19日消息,元示科技宣布已完成近3亿元人民币Pre-A轮融资。此前,公司已连续完成近亿元天使轮及天使+轮融资。

2026-11-20 11:17

百图生科发布AI药物安全性评价系统,从虚拟细胞走向虚拟猴资讯

百图生科发布AI药物安全性评价系统,从虚拟细胞走向虚拟猴

11月19日,百图生科正式发布AI药物安全性评价系统,将虚拟细胞模型、毒性预测能力与非临床安全性评价服务相结合,依托“虚拟猴”等安全性预测模型,将AI预测从细胞层面延伸至动...

2026-11-20 10:42

银诺医药GLP-1药物出海资讯

银诺医药GLP-1药物出海

11月19日,银诺医药发布公告,本公司间接全资附属公司香港银诺医药控股有限公司(香港银诺)(作为许可人)与全球医药集团Arcera Life Sciences的成员公司Arcera Life Sciences...

2026-11-20 10:06

AI制药企业Isomorphic Labs再次完成50亿美元C轮融资资讯

AI制药企业Isomorphic Labs再次完成50亿美元C轮融资

据外媒消息,由谷歌DeepMind孵化、诺贝尔奖得主德米斯·哈萨比斯(Demis Hassabis)创办的英国AI药物研发公司Isomorphic Labs宣布完成50亿美元C轮融资,而在此之前,2026年5月...

2026-11-19 16:26

强生为何33亿美元收购Ollin资讯

强生为何33亿美元收购Ollin

近日,强生宣布与Ollin Biosciences达成最终协议,将以22亿美元首付款收购后者,后续可能支付额外监管和商业化里程碑付款共最高约11 25亿美元,交易总对价最高可达约33 25亿美元。

2026-11-19 15:31

石药集团授权收入大增,带动前三季度利润翻倍资讯

石药集团授权收入大增,带动前三季度利润翻倍

11月18日,石药集团披露2026年前三季度未经审核业绩显示,公司实现营业收入252 60亿元,同比增长27 0%;股东应占溢利70 76亿元,同比增长101 5%。

2026-11-19 13:59

器官芯片公司耀速科技完成数千万元战略融资资讯

器官芯片公司耀速科技完成数千万元战略融资

近日,深圳耀速科技有限公司完成数千万元战略融资,投资方为上海国投先导、石药国方基金。

2026-11-19 13:40

最高26.4亿美元,辉瑞与星锐医药达成体内CAR-T授权资讯

最高26.4亿美元,辉瑞与星锐医药达成体内CAR-T授权

11月18日,辉瑞宣布其已与星锐医药(Starna Therapeutics) 达成一项独家许可协议。根据协议,辉瑞获得三款处于IND申报前阶段、旨在治疗自身免疫性疾病的体内嵌合抗原受体T细胞...

2026-11-19 11:14

科伦药业交棒,其子接任董事长资讯

科伦药业交棒,其子接任董事长

11月18日晚间,科伦药业发布公告称,公司创始人刘革新申请辞去董事长职务。辞任之后,刘革新将继续作为公司董事、董事会战略委员会主任委员履职,并继续担任公司部分子公司董事...

2026-11-19 10:54

贝达药业恩沙替尼在欧盟获批资讯

贝达药业恩沙替尼在欧盟获批

11月18日晚间,贝达药业发布公告,公司控股子公司Xcovery申报的盐酸恩沙替尼胶囊上市许可申请获得欧盟委员会批准,上市许可编号EU 1 26 2078,用于间变性淋巴瘤激酶(ALK)阳...

2026-11-19 09:29

济元生物完成近亿元人民币B轮融资资讯

济元生物完成近亿元人民币B轮融资

无锡济元生物科技有限公司宣布完成近亿元人民币 B 轮融资,由锡创投管理的无锡锡创兴吴股权投资基金与维梧人民币基金共同投资。资金将主要用于推进 CG101 的国际多中心临床...

2026-11-18 18:13

国家医保局拟组织开展第三批参照药预沟通专家论证工作,资料接收时间截至2026年11月30日资讯

国家医保局拟组织开展第三批参照药预沟通专家论证工作,资料接收时间截至2026年11月30日

国家医疗保障局医药价格和招标采购指导中心拟组织开展第三批参照药预沟通专家论证工作,请符合条件的企业按照《参照药预沟通办法(试行)》,以邮件形式提交必要的申请资料。资...

2026-11-18 17:53

又一款肿瘤疫苗III期临床数据惊艳,股价当日最高涨幅超200%资讯

又一款肿瘤疫苗III期临床数据惊艳,股价当日最高涨幅超200%

美国生物技术公司SELLAS Life Sciences(NASDAQ: SLS)公布了其研发的治疗性癌症疫苗Galinpepimut-S(简称 GPS)关键性Ⅲ期REGAL临床试验的数据。公司称,该试验已达到主要...

2026-11-18 17:13

斯坦福、哈佛、北京协和医学院等29家机构共建医疗健康 AI 独立评测与分析平台InclusionMed资讯

斯坦福、哈佛、北京协和医学院等29家机构共建医疗健康 AI 独立评测与分析平台InclusionMed

近日,斯坦福大学、哈佛大学、北京协和医学院、蚂蚁集团、InclusionMed AI等29家机构的研究人员共同建设推出医疗健康 AI 独立评测与分析平台InclusionMed。

2026-11-18 15:53