支付宝发布多模态医疗大模型

医疗健康 来源:医谷网
2024
07/06
13:50
医谷网 医疗健康

7月5日,在2024世界人工智能大会“可信大模型论坛”上,支付宝公布了其AI技术在医疗领域布局的最新进展:发布多模态医疗大模型,同时,全新推出包括医疗可信一体机、可信云等多款数智化解决方案。现场,支付宝还与人民卫生出版社、北京大学医学部、浙江省卫生健康委等20家机构,联合发起AI医疗共建计划,共同探索AI数智技术底座与创新应用服务。

支付宝多模态医疗大模型亮相

经过半年多测试打磨,支付宝医疗大模型正式亮相,这也是国内首批多模态医疗大模型之一。

蚂蚁集团大模型应用部总经理顾进杰介绍了背后的技术研发。蚂蚁百灵大模型已具备能“看”会“听”、能“说”会“画”的原生多模态能力,可以直接理解并训练音频、视频、图、文等多模态数据。支付宝医疗大模型以此为基座模型,添加了包含报告、影像、药品等百亿级中英文图文、千亿级医疗文本语料及千万级高质量医疗知识图谱,中英文医疗考试、基准测试达到或超过GPT4水准,医疗专业能力在中文医疗LLM评测榜单promptCBLUE中,位列A榜第一,B榜第二。同时,全栈自研医疗多模态结构,使得模型识别报告、药品、毛发等图像准确率达90%以上,相关技术在行业顶尖技术期刊与会议 CVPR、KDD、ECCV等发表了多项成果。

为了让回答对话更加可靠,在研发阶段,支付宝还与数百个专业医学团队、专家进行合作标注数据,保障信息权威可信,同时联合上海仁济医院推出首个中文医疗专科问答推理数据集RJUA-QA。模型测试阶段,用户、患者、医生参与问答反馈,在专业同时,兼顾患者关怀。

去年11月,浙江卫健委应用支付宝开放的“AI就医助理”解决方案,依托大模型、数字人技术,打造了全国首个数字健康人“安诊儿”,给浙江居民提供云陪诊、健康咨询等服务,上线以来,服务了1000多家医疗机构。

在此次发布前一周,6月28日,上海市第一人民医院宣布通过支付宝“AI就医助理”解决方案,以大模型、数字人等技术为基础,为患者提供交互陪伴式就医服务,打造上海市首个基于大模型的语音交互的“AI陪诊师-公济小壹”。

“眼睛干涩挂什么科?” 65岁的李阿姨在上海市一就诊时,打开手机支付宝向“公济小壹”提问后,便会收到了相关就诊建议和挂号服务推送。在完成挂号后,李阿姨继续向“公济小壹”询问当前候诊信息,便会收到语音和文字提示:“当前您需要就诊,前面排队4人,当前叫号66号,地址位于7号楼1楼B区眼科检查一区……”李阿姨在点击“院内导航”的连接后,通过手机摄像头沿着实景AR的导航路线前往诊室。

上海市一医院“AI陪诊师-公济小壹”

市一医院信息处副处长范骏翔表示:“AI 就医助理“公济小壹”采用数字虚拟人作为交互载体,以语音输入输出和识别作为主要的交互方式,并以大语言模型作为其核心智能引擎。旨在为患者提供全天候的陪伴和指导,精准理解和快速响应患者的需求,从而改善他们的就医体验。”患者每完成一个就诊环节,系统会主动提示患者如何完成下一步操作。从诊前预约挂号、在线取号,到诊中院内导航、排队叫号、扫码支付,再到诊后的报告查询、用药注意等线上服务的“一站式”串联,为患者提供“虚拟陪诊、现实感知”的就医体验。

同时,市一医院还利用利用AI大模型能力辅助医生生成电子病历。“机械化的工作耗费了年轻医生大量的时间和精力,有何举措能够将他们从重压之下解脱出来,是需要我们思考的问题。” 上海市一副院长、眼科中心主任孙晓东表示。

为此,市一医院引入蚂蚁百灵大模型能力进行提高病史书写效率的创新应用,通过关键信息的给定、语音输入等多种形式结合自动生成病历,简化入院记录的填写过程,将原本需要5到10分钟的工作缩减到了15至20秒,显著节省了医生 “敲键盘”的时间。以白内障为例,目前医院抽取了1万份历史病历,将其输入到大语言模型中进行微调。在这一过程中,开发部门设计了相应的提示词,训练模型学习如何撰写病史。

顾进杰表示,AI的深度应用,不仅对数据、算法、算力提出了更高要求,也对可靠、安全、隐私提出更多挑战,医疗场景下,保障技术可靠与数据隐私安全,至关重要。为此,支付宝面向行业推出全新的“医疗可信一体机+可信云”的解决方案,通过密态计算与存储,让医疗数据可用不可见,机构保管更安全。

据介绍,百灵医疗可信一体机,核心解决医院面临的算力不足痛点,可实现开箱即用,训推一体,支持国产算力,软硬件协同优化加速。医疗大模型可信云方案,通过公有云与专有云部署密态推理,聚焦解决数据隐私安全和商业机密保护问题。

AI医疗创新应用“联盟”

医疗技术的创新,需要依托平台、产业、学界共同努力。大会现场,支付宝、人民卫生出版社、北京大学医学部、浙江省卫生健康委、厦门市卫生健康委员会、浙江省人民医院、上海交通大学医学院附属仁济医院、北京大学人民医院、复旦大学附属肿瘤医院、上海市第一人民医院、首都医科大学附属医院等20多家机构、企业,联合发起了AI医疗共建计划,共同探索大模型应用及各类专科模型创新研发。

支付宝副总裁、数字医疗健康事业部总经理张俊杰表示:“支付宝希望用最顶尖的技术做最普惠的服务,让AI像‘扫码支付’一样便利每个人的生活。支付宝也会持续开放AI技术与行业解决方案,携手合作伙伴一起,推动智能医疗走向普惠、普及。”

据了解,2014年支付宝支持全国第一笔远程挂号缴费,经过十年发展,平台已服务超6亿看病就医人群,是国内规模最大的医保第三方在线服务平台、一站式的医疗健康服务平台。目前,全国300多个城市、超3600家医院在支付宝上提供一站式数字医疗服务。

来源:医谷网

为你推荐

2024百度健康产业生态大会举办,探讨AI如何打破“医疗不可能三角”资讯

2024百度健康产业生态大会举办,探讨AI如何打破“医疗不可能三角”

7月19日,在北京举办的2024百度健康产业生态大会上,百度集团资深副总裁、百度大健康事业群组总裁何明科发表主题演讲时表示,AI应普惠,科技是让人人健康最确定性的答案之一。

2024-07-19 18:27

全球首个且唯一获批白介素17A/F双靶点抑制剂优时比倍捷乐®强直性脊柱炎适应证获批资讯

全球首个且唯一获批白介素17A/F双靶点抑制剂优时比倍捷乐®强直性脊柱炎适应证获批

适用于常规治疗疗效不佳或不耐受的活动性强直性脊柱炎(AS,放射学阳性中轴型脊柱关节炎)成人患者

2024-07-19 15:43

重组A型肉毒毒素YY001全球首个医疗适应症临床获批,华东医药拥有优先选择权资讯

重组A型肉毒毒素YY001全球首个医疗适应症临床获批,华东医药拥有优先选择权

誉颜制药自主创新研发的注射用重组A型肉毒毒素YY001-002用于“治疗成人上肢肌肉痉挛”的新适应症临床试验申请已获得国家药监局药品审评中心CDE批准。此次获批是全球首次将重组A...

2024-07-18 22:18

拜耳达罗他胺达到转移性激素敏感性前列腺癌患者III期ARANOTE试验的主要终点资讯

拜耳达罗他胺达到转移性激素敏感性前列腺癌患者III期ARANOTE试验的主要终点

ARANOTE试验达到主要终点,与安慰剂加雄激素剥夺疗法(ADT)相比,达罗他胺+ ADT显著提高了影像学无进展生存期(rPFS)

2024-07-18 18:28

传奇生物CAR-T疗法2024H1销售额3.43亿美元,同比增长81.5%资讯

传奇生物CAR-T疗法2024H1销售额3.43亿美元,同比增长81.5%

7月17日,强生公司公布了其第二季度的财务报告,报告显示其销售额为224 47亿美元,同比增长4 3%;调整后的净利润为68 40亿美元,同比增长1

2024-07-18 14:21

远大医药收购天津田边及百济制药100%股份落地,夯实心脑血管急救与呼吸及危重症两大产业布局资讯

远大医药收购天津田边及百济制药100%股份落地,夯实心脑血管急救与呼吸及危重症两大产业布局

对天津田边制药有限公司(天津田边),以及南昌百济制药有限公司和江西百安百煜医药科技有限公司(两者合称:百济制药)100%股权的变更登记已顺利完成,为其呼吸及危重症、心脑...

2024-07-17 18:43

创新药物研发竞争激烈,人工智能帮助提升研发效率与速度     资讯

创新药物研发竞争激烈,人工智能帮助提升研发效率与速度

在创新药“出海”潮中,我们依旧面临着不同国家的标准治疗不同,对于不同国家研究中心表现不了解,选择研究中心决策等等困难。

文/燕晓明 2024-07-17 15:02

艾加莫德皮下注射国内获批上市,用于治疗全身型重症肌无力资讯

艾加莫德皮下注射国内获批上市,用于治疗全身型重症肌无力

7月16日,再鼎医药与argenx联合宣布,国家药品监督管理局已经批准了卫力迦(艾加莫德皮下注射,1000mg(5 6ml) 瓶)的生物制品上市许可申

2024-07-17 10:34

超40亿元,一款国产核药“出海”资讯

超40亿元,一款国产核药“出海”

今日(7月17日),放射性药物治疗公司辐联科技宣布,其与生物科技公司SK Biopharmaceuticals(下称“SK”)签署了一项对外授权许可协议。

2024-07-17 10:27

遭遇电信诈骗风波后,海普瑞上半年却扭亏了资讯

遭遇电信诈骗风波后,海普瑞上半年却扭亏了

近日,肝素龙头企业之一海普瑞发布2024年上半年业绩预告,预计今年上半年录得归母净利润为6 42亿元-7 35亿元,同比增长420 70%-495 72%;预计录得扣非净利润为3 08亿元-4 ...

2024-07-16 17:22

全局化思考 提升出海商业成功机率 ——2024上海(北虹桥)医疗器械产品出海商业化拓展资源对接会圆满落幕资讯

全局化思考 提升出海商业成功机率 ——2024上海(北虹桥)医疗器械产品出海商业化拓展资源对接会圆满落幕

本次活动汇聚了政府部门、金融投资机构、第三方医疗器械服务机构以及行业专家学者,共同探讨医疗器械产品出海的机遇与挑战。

2024-07-16 17:13

医药企业和医疗卫生机构需要密切关注的8种涉嫌商业贿赂的行为资讯

医药企业和医疗卫生机构需要密切关注的8种涉嫌商业贿赂的行为

医药、医疗卫生领域涉嫌商业贿赂的行为。

2024-07-16 09:49

原启生物CAR-T疗法获FDA快速通道资格资讯

原启生物CAR-T疗法获FDA快速通道资格

今日(7月15日),原启生物宣布FDA已授予公司CAR-T细胞注射液 (OriCAR-017) 快速通道资格 ,用于治疗复发 难治性多发性骨髓瘤 (RRMM)。

2024-07-15 15:00

市值约99亿美元,传奇生物收到并购邀约资讯

市值约99亿美元,传奇生物收到并购邀约

近日,据Seekingalpha网站报道,Street Insider的一份报告指出,传奇生物近日收到并购邀约,并聘请投资银行Centerview Partners帮助其董

2024-07-15 14:57

全球首个!华东医药壳聚糖医美填充剂KIO015已申请欧盟CE认证,预计明年获批资讯

全球首个!华东医药壳聚糖医美填充剂KIO015已申请欧盟CE认证,预计明年获批

近日,华东医药宣布英国全资子公司Sinclair旗下注射用皮肤填充产品KIO015已提交了欧盟CE认证申请。本次递交申请是基于该产品成功完成了PLUM临床研究,研究结果显示,与对照组相...

2024-07-15 13:50

云顶新耀伊曲莫德治疗中重度活动性溃疡性结肠炎的亚洲多中心III期临床研究维持期取得积极顶线结果 资讯

云顶新耀伊曲莫德治疗中重度活动性溃疡性结肠炎的亚洲多中心III期临床研究维持期取得积极顶线结果

7月15日,云顶新耀宣布伊曲莫德(VELSIPITY®, etrasimod)在治疗中重度活动性溃疡性结肠炎(UC)的亚洲多中心Ⅲ期临床研究的维持期治疗取

2024-07-15 09:30

华东医药引进澳宗生物依达拉奉片,预计年内提交急性缺血性脑卒中适应症上市申请资讯

华东医药引进澳宗生物依达拉奉片,预计年内提交急性缺血性脑卒中适应症上市申请

目前依达拉奉片针对急性缺血性脑卒中(AIS)适应症已完成国内临床Ⅲ期研究,预计2024年Q4申报NDA

2024-07-14 19:36

射频治疗仪、射频皮肤治疗仪类产品,未取得医疗器械注册证,不得生产、进口和销售资讯

射频治疗仪、射频皮肤治疗仪类产品,未取得医疗器械注册证,不得生产、进口和销售

国家药监局关于进一步明确射频治疗仪类产品有关要求的公告。

2024-07-13 10:27

2024年4月两款短缺药全国平均价资讯

2024年4月两款短缺药全国平均价

近日,上海市医药集中招标采购事务管理所发布《关于公示2024年4月部分短缺药全国平均价的公告》,共涉及盐酸精氨酸注射液和硝酸甘油片两款药品。

2024-07-13 10:14

国家医保局发文:心血管内科、骨科、血液净化科、康复科、医学影像科、临床检验科飞检中,严查这些行为资讯

国家医保局发文:心血管内科、骨科、血液净化科、康复科、医学影像科、临床检验科飞检中,严查这些行为

国家医保局梳理了心血管内科、骨科、血液净化、康复、医学影像、临床检验六个领域常见违法违规典型问题,下发《定点医疗机构违法违规使用医疗保障基金典型问题清单》,要求各省...

2024-07-12 22:24