生成式人工智能近年来受到广泛关注,作为人工智能的一个分支,其能够模拟人类思维创造出新的内容,而不仅仅是分析或处理现有数据。近日,商汤科技联合行业合作伙伴,结合生成式人工智能和医疗图像数据的多中心联邦学习发表的最新研究成果《通过分布式合成学习挖掘多中心异构医疗数据》(Mining Multi-Center Heterogeneous Medical Data with Distributed Synthetic Learning),登上国际顶级学术期刊《自然》(Nature)子刊《自然-通讯》(Nature Communications)。《自然-通讯》是一本完全开放获取的综合性期刊,发表自然科学各个领域的高质量研究成果,影响因子为16.6。
论文收录结果公布
论文提出一个基于分布式合成对抗网络的联邦学习框架DSL(Distributed Synthetic Learning),可利用多中心的多样性医疗图像数据来联合学习图像数据的生成。该分布式框架通过学习得到一个图像数据生成器,它可以更灵活地生成数据,这些生成数据可以替代多中心的真实数据,用于下游具体机器学习任务的训练,并具备较强的可扩展性。
伴随大模型的快速发展,Model as a Service(MaaS,模型即服务)概念也日渐兴起。MaaS的大模型需要从海量的、多类型的数据中学习通用特征和规则,从而具备较强的泛化能力。DSL框架能够在保护数据隐私的同时巧妙解决医疗大模型训练中常见的数据量不足的瓶颈,可有效赋能MaaS的大模型训练,为医疗大模型的开发迭代带来重大突破。在这一技术的支撑下,商汤的“医疗大模型工厂”能够帮助医疗机构更高效、高质量地训练针对不同临床问题的医疗大模型,使大模型在医疗领域的应用半径得到进一步延伸。
兼顾隐私保护和数据共享
创新联邦学习模式打造“数据生产工厂”
深度学习模型需要大量且多样性的数据“喂养”,但医疗领域对用户个人隐私保护有着极高的要求,这使得用于模型训练的医疗数据,在多样性和标注质量上都受到限制,也使多中心的医疗数据收集和医疗AI模型的开发迭代面临较大的挑战。
如何调和隐私保护和数据共享协作的矛盾?近几年兴起的“联邦学习”提供了全新的解题思路。联邦学习是一种分布式的机器学习方法,可以在不共享数据的情况下对多中心的数据进行联合建模,在保证数据安全的同时联合学习某一特定应用模型。
与主流的联邦学习模式不同的是,DSL框架的学习目标是数据生成器,而非具体应用的任务模型。该分布式架构由一个位于中央服务器的数据生成器和多个位于不同数据中心的数据鉴别器组成。在学习过程中,中央生成器负责生成“假”的图像数据,并发送给各个数据中心,各个数据中心用本地的真实数据和收到的“假”数据进行对比后将结果回传给中央服务器,并基于反馈结果训练中央生成器生成更仿真的图像数据。分布式的合成学习结束之后,中央生成器可以作为“数据生产工厂”,根据给定的约束条件(标注)生成高质量仿真图像数据,从而得到一个由生成数据组成的数据库。
该数据库可以替代真实数据,用于下游具体任务的学习,使下游模型的更新迭代不再受到真实数据可访问性的制约。同时,该方法通过分布式架构和联邦学习方式保证中央服务器无需接触数据中心的真实数据,也不需要同步各中心的鉴别器模型,有效保障了数据安全和隐私保护。
DSL框架包含一个中央生成器和多个分布式鉴别器,每个鉴别器位于一个医疗实体中
经过训练的生成器可以作为“数据生产工厂”,为下游具体任务的学习构建数据库
赋能MaaS新生态发展
为医疗大模型开发迭代按下加速键
DSL框架已通过多个具体应用的验证,包括大脑多序列MRI图像生成及下游的大脑肿瘤分割任务,心脏CTA图像生成及下游的全心脏结构分割任务,多种器官的病理图像生成及细胞核实例分割任务等。在可扩展性方面,该方法还可支持多模态数据中缺失模态数据的生成、持续学习等不同场景。
在瑞金医院的展区,SenseCare®肝脏手术智能规划系统凭借高效精准的病灶检出、三维重建、手术规划等功能,吸引不少观众驻足。从二维的肝脏CT影像,变为一目了然的三维立体模型,只需短短几分钟。轻轻拖动鼠标,就可在模型上自定义切面、角度、血管离断位置等,帮助医生几分钟内完成精准的肝脏手术规划。
不同应用中生成数据示例:(a)心脏CTA,(b)大脑多模态MRI,(c)病理图像
生成的数据构成大数据库可用于下游具体任务模型的学习,例如:(d)全心分割,(e)脑肿瘤分割,(f)细胞核分割
DSL框架的构建,也有利于推动MaaS服务模式的发展。MaaS的医疗大模型在数据学习过程中,同样会遇到医疗数据隐私安全保护的问题,而基于DSL框架,可以有效地从多中心多样性数据中建立数据集仓库,通过生成数据,在保障数据安全和隐私的同时为大模型的开发迭代提供创新思路。
细化到具体应用场景,DSL框架可助力医疗机构高效开展跨中心、跨地域模型训练工作。不同区域医疗机构在疾病数据多样性方面存在明显的地域性差异,过去受限于数据安全和隐私保护的要求,使用跨中心医疗数据联合训练医疗模型难度较大。而借助DSL框架,有望帮助医疗机构更加高效便捷地开展跨中心医疗模型训练。
在此前的世界人工智能大会(WAIC)上,商汤科技与行业伙伴合作,推出了医疗大语言模型、医疗影像大模型、生信大模型等多种垂类基础模型群,覆盖CT、MRI、超声、内镜、病理、医学文本、生信数据等不同医疗数据模态。并展示了融入医疗大模型的升级版“SenseCare®智慧医院”综合解决方案,以及多个医疗大模型落地案例。借助商汤大装置的超大算力和医疗基础模型群的坚实基础,商汤科技得以化身“医疗大模型工厂”,帮助医疗机构针对不同临床问题高效训练模型,甚至辅助机构实现模型自主训练。
WAIC期间商汤科技展示了大模型在医疗领域的多个落地应用案例
随着DSL框架的推出,医疗大模型的训练将有望突破“数据孤岛”的桎梏,一定程度上降低了医疗大模型的训练门槛,有助于加速模型开发迭代,使医疗大模型的应用范围得以进一步延伸,覆盖更多临床医疗问题。未来,商汤科技将持续聚焦医疗机构的多样化需求,推动医疗大模型在更多医疗场景的落地,更好地助力医院智慧化转型及高质量发展,助力普惠医疗的实现。
来源:医谷网
为你推荐

傲鲨智能完成两轮融资,加速布局消费级外骨骼机器人赛道
本轮融资将重点用于消费级外骨骼机器人产品线拓展、核心技术升级及全球化产业落地,进一步巩固其在工业与消费级市场的双轨竞争力。
2025-05-08 16:05

赛诺菲亮相第二十七届科博会,深耕中国市场,共振科创脉搏
本次参展,赛诺菲围绕“追寻科学奇迹,共创健康未来”主题,着重展示了公司在引领免疫学创新、共筑本土科创生态,以及服务中国患者三大领域取得的关键成果,直观展现赛诺菲在中...
2025-05-08 14:25

高罗华新适应症在华获批,丰富复发/难治弥漫大B细胞淋巴瘤二线治疗选择
今日(5月7日),罗氏制药中国宣布,创新双特异性抗体高罗华®(英文商品名:Columvi®,中英文通用名:格菲妥单抗 Glofitamab)新适应症已获得中国国家药品监督管理局的上市批...
2025-05-07 17:31

司美格鲁肽第一季度大卖超80亿美元
5月7日,诺和诺德公布了其2025年第一季度业绩。财报显示,该季度,诺和诺德总营收为780 87亿丹麦克朗,同比增长19%,经营利润为387 91亿丹麦克朗,同比增长22%,净利润为290 ...
2025-05-07 16:19

全球脓毒症治疗重大里程碑,远大医药全球创新药STC3141国内II期临床公布
试验结果证实了STC3141在脓毒症治疗中的有效性和安全性,该临床研究进度处于全球脓毒症研究领域前列
2025-05-06 19:56

智新浩正完成近2亿元融资,加速推进异体再生胰岛临床转化与亚洲布局
资金将主要用于推进国内首个异体通用型再生胰岛管线临床I II期试验,加速拓展亚洲市场,并布局糖尿病、肝病治疗领域的新管线。
2025-05-06 16:20

赛诺菲与CD&R完成欧彼乐交易, 打造全球消费者健康领域领导者
赛诺菲宣布,已完成将其消费者健康业务欧彼乐50 0%的控股权出售予Clayton, Dubilier & Rice(以下简称CD&R)的交易。
2025-05-06 12:25

被罚1.95亿元,A股上市药企仙琚制药涉嫌价格垄断
在五一节假日临近尾声之际,仙琚制药发布一则公告,宣布其收到了一张金额接近2亿元的巨额罚单。值得注意的是,该罚款金额几乎占到了仙琚制药2024年净利润的一半。
2025-05-06 12:07

阿斯利康最新披露:在中国或面临800万美元新罚款
据相关报道,英国当地时间4月29日,阿斯利康在最新季度的财报会议上透露,就在华涉嫌非法进口药品一事,公司可能可能会在中国面临一项新的罚款。
2025-04-30 15:53

君合盟生物重组A型肉毒毒素临床试验双线突破,覆盖严肃医疗与消费医疗两大领域
用于成人中、重度眉间纹适应症的III期临床试验在组长单位北京大学第一医院正式启动并完成首例入组。针对成人脑卒中后上肢痉挛治疗的II期临床试验由复旦大学附属华山医院牵头并顺...
2025-04-30 12:39

科塞尔医疗完成近亿元B+轮融资,加速血管介入器械全领域平台化布局
本轮融资由国内知名投资机构铁投巨石领投,苏高新金控持续追加投资,园雍投资跟投,资金将用于核心产品研发、全球市场推广及产能扩建。
2025-04-28 16:54

凯西集团2024财年实现双位数营收增长,不断投资研发,聚焦可持续发展
凯西集团(Chiesi Group)是一家以研发为基石的意大利国际制药集团,总部位于意大利帕尔马,业务覆盖全球31个国家和地区。在2024财年,凯西集团圆满收官,取得了强劲的财务业绩...
2025-04-28 11:29