“肺炎AI影像辅助诊断产品评测”结果公布，安德医智等7家企业上榜

7月11日，在2020年世界人工智能大会期间，由工信部科技司指导，中国信通院、中国人工智能产业发展联盟、医学人工智能研究与验证工信部重点实验室联合举行的“肺炎AI影像辅助诊断产品评测”结果公布。最终，以北京安德医智科技有限公司、杭州健培科技有限公司、平安科技（深圳）有限公司等7家医疗AI企业的肺炎AI影像辅助诊断产品从参评的17家医疗AI公司中脱颖而出。

这次评测，可谓是打破了之前医疗AI行业自说自话、各自为战的局面，不仅是首次由官方举办的医疗AI影像辅助诊断产品的同台竞技，更是特殊历史时刻的“人工智能抗疫产品”测评，意义非同小可。

旨在树立肺炎AI影像辅诊标杆

自新冠肺炎疫情发生以来，人工智能作为重要的赋能技术，在医疗影像辅助诊断、智能测温等多种抗疫场景发挥了举足轻重的作用。同时，疫情期间医疗AI企业纷纷发力，涌现了多种“肺炎CT影像辅助诊断AI产品”。

早在今年2月，工信部发布了《充分发挥人工智能赋能效用 协力抗击新型冠状病毒感染的肺炎疫情倡议书》，今年4月中国信通院发布了《关于开展肺炎人工智能影像辅助诊断产品评测的通知》。《通知》显示，此次 “肺炎AI影像辅助诊断产品评测”旨在通过评测树立肺炎人工智能影像辅助诊断标杆企业。

作为首次由官方举办的医疗AI影像辅助诊断产品的同台竞技，此次测评由工信部科技司组织和指导，中国信通院医疗健康大数据和网络中心负责测评。通过现场测试和材料审查两种方式对参评产品的各项指标进行综合评价，严格参考国家标准、行业标准和国家药监局相关技术审评原则。同时，专门组建评测专家委员会，建立权威评测标准。

不难看出，此次评测从指导单位、评测组织到评测方案设计等整个环节，都是“高开高打”。同时，在疫情防控转入常态化的现阶段进行测评结果公布，更是对“肺炎AI影像辅助诊断产品”的抗疫贡献复盘。所以，此次评测结果的公布堪称肺炎AI影像辅助诊断的“国考”成绩单公布。

工业和信息化部科技司朱秀梅副司长在评测结果发布的致辞环节中表示，人工智能算法模型通过对海量肺炎患者影像的主动学习，具备了对肺炎的诊断能力，实现新冠肺炎的早期检测、随访评估、诊断分型等智能辅助诊断功能，已经在多家一线医疗机构进行试用，并取得积极效果，缓解了医疗诊断资源紧张的局面。

史无前例的权威评测

那么，具有如此特殊意义的测评，如何保证其权威性呢？除了指导单位、评测组织的用心，此次评测的方案设计可以说是保证了“公平、公开、公正、科学、系统”。

此次评测分为功能审查、性能评测、专家评审三部分，其中，功能审查主要评测肺炎AI产品的功能完备性、系统安全性、可靠性、易用性和兼容性；性能测评主要采用已标注测试数据进行客观测试，对肺炎AI产品临床诊断性能进行指标评价（准确率、灵敏度、特异度和Kappa系数）；专家评审则是邀请国内权威临床专家从产品体验性、实用性、产品创新性，以及合理性对产品进行评价，同时综合考虑创新性的特殊功能评价。

据中国信通院相关人士介绍，测试数据是此次测评的另一大亮点。简单理解就是，此次测评使用了1000例肺炎（包括新冠肺炎和其它各种肺炎），参评的各家医疗AI企业用各自的模型（产品）测试。首先，数据全部来源于上海市公卫临床中心等7家新冠肺炎定点医疗机构，在采集过程中充分考虑了采集设备和配置、数据多样化和病例分布三个维度指标。

同时，考虑到鲁棒性和抗干扰因素，加入了在实际临床中经常出现的70例非标准影像数据。此外，在数据标注规范方面，由组织方制定数据标注起草流程，各数据提供医院组织标注，汇总后由专委会统一确认，这就有效地避免了因标注不统一而可能产生的不合理性。

“为了保证测评结果是令人信服的，必须方方面面都考虑到，才能充分保证此次评测的科学性和合理性。”中国信通院相关人士表示。

功能和性能是胜出关键

“性能测试是拉开差距的主要原因”，中国信通院相关负责人介绍，性能测试包含“是否肺炎”、“是否新冠”、“病灶位置”，根据测评结果显示，大部分企业产品都能较好地筛查出“是否肺炎”，但在“新冠肺炎鉴别诊断”方面，仅有3家的准确率、灵敏度、特异性在80%以上，其中部分指标在90%以上。

6月19日，工业和信息化部科技司就公布了在科技支撑抗击新冠肺炎疫情中表现突出的人工智能企业名单。而在此次世界AI大会上，朱秀梅副司长表示，此次对肺炎AI产品的评测和颁奖，是对人工智能医疗企业在疫情期间工作成果的肯定。

中国人工智能产业发展联盟常务副秘书长王爱华在评测结果发布仪式上说，此次测评中脱颖而出的国内医疗AI企业的肺炎AI产品已达到较高水平，产品功能已相对成熟和完善。

但是，也需要注意地是，只有个别产品能够识别的肺炎种类多达十余种，对于病灶的定位精确度尚待进一步提升，性能功能需要通过更多标注数据进行训练。

有临床辅助意义的创新需加强

从此次测评的重点（ “是否肺炎”、“是否新冠”、“病灶位置”）来看，可以看出“辅助临床”是自始至终的出发点和落脚点。据中国信通院透露，此次测评创新性打分普遍较低，目前产品尚需增加对临床使用有重要辅助意义的其他特色创新功能。

这说明，“临床辅助价值”和“创新性”是下一步医疗AI发展的着力点。朱秀梅副司长强调，“医疗AI要充分考虑临床需要，新冠疫情既是机遇也是挑战，医疗AI相关产品的研发要紧紧依托临床经验和需求，才能真正为疾病的早发现、早诊断提供切实有效的帮助。”

而中国信通院院长刘多在世界人工智能大会期间表示， “能否满足医疗复杂、多元场景应用的需求，是决定医疗AI企业能否可持续性发展的关键。”

具体到肺炎诊断方面，医生要能够在AI的辅助下判别各种肺炎的分类诊断，才能及时进行重大传染性肺炎的风险预警与评估，才能全面提升医生尤其是基层医生的诊断水平，从而真正具有临床辅助价值。

6月2日，习近平总书记在专家学组座谈会上的讲话中强调““要把增强早期监测预警能力作为健全公共卫生体系当务之急，完善传染病疫情和突发公共卫生事件监测系统”。

这就启发着各家医疗AI企业，下一步“肺炎AI影像辅助诊断产品”要逐步开发如传染性肺炎AI预警等特色创新功能，增强面对各种重大传染病的快速识别和风险预警的能力，为我国实现重大突发公共卫生事件的“早发现、早报告、早隔离、早诊断、早治疗”作出贡献。

加快落地上市值得期待

值得注意地是，此次评测的规范严格参考国家药监局《深度学习辅助决策医疗器械软件审评要点》、《医疗器械软件注册技术审查指导原则》、《医疗器械网络安全注册技术审查指导原则》等技术规范。

此次测评紧紧围绕着国家药监局针对医疗AI产品市场准入实施细则，是否意味着这实则是一次医疗AI产品市场准入的场外选拔赛？

“针对肺炎AI注册检验存在的问题，将相关经验应用分享到肺炎AI产品的注册检验，在疫情防控常态化的防控形势下，加快肺炎AI产品的上市进程。”据中国信通院相关人士介绍，要针对本次测试总结的问题，进一步组织专家论证和技术研讨，推动产品的快速应用落地。

这无疑透露着一个重要信号：此次测评，将成为接下来肺炎AI产品获批上市的重要参考。今年6月，随着国内首张AI“影像辅助诊断”软件NMPAIII类证由安德医智获批，医疗AI行业正式拿到市场化落地应用的门票。

朱秀梅副司长表示，科技创新的目标是创造价值，接下来要加快医疗AI产品的相关标准制定、认证体系建设、知识产权保护、临床应用等方面的工作，把人工智能医疗融合发展落到实处。

目前，疫情防控已进入常态化，如何推动人工智能的落地应用，避免重大传染病的大规模暴发流行。以及从人类命运共同体的长远角度来看，如何借助AI缩小人类医疗差距，改善全球健康状况，十分值得进一步的探索与期待。

来源：医谷网