ChatGPT医学问答力压人类医生?JAMA发布研究报告

医疗健康 来源:医谷网
2023
05/10
15:32
医谷网 医疗健康

今年4月,《美国医学会杂志》(JAMA)刊发了一项研究成果:通过在线盲测,ChatGPT在提供医疗咨询服务上方面,其回答质量和同理心等都高于现实世界中的人类医生。

篇幅、回答质量、同理心等,ChatGPT均高于人类医生

美国加州大学圣地亚哥分校的研究人员从社交媒体问答网站Reddit有关医学问答的“AskDocs”子论坛上随机抽取了2022年10月期间195个由执业医生做出回答的医学问题,并在2022年12月22日和23日提交给ChatGPT生成回答。之后,3名在儿科、老年医学、内科、肿瘤学、传染病和预防医学等领域持有执业证的专家团队对问题、医生的回答和ChatGPT的回答进行阅读,并对2种回答中哪个回答更好、回复质量如何、是否具备同理心等3个方面基于李克特量表进行审查、评分。值得一提的是,审查人员是在无法知晓答案来自医生还是ChatGPT的基础上进行的盲评。

结果表明:

(1)在回复的篇幅上,医生的回复平均文字长度为52个字节,而ChatGPT为211个字节。

ChatGPT显得更“详细”。

(2)在回复质量上,ChatGPT的回答质量被评为好或非常好的比例高达78.5%,而医生这一比例为22.1%;相当于ChatGPT对医生形成了3.6倍的优势。同时,ChatGPT的回答总体上优于“好”,平均评分高达4.13;医生的回答被整体评估为略优于“可接受”,平均评分为3.26;医生的回答中有高达27.2%被评估为低于可接受的质量(得分< 3);ChatGPT这一比例为2.6%。

(3)在同理心方面,ChatGPT平均评分为3.65,医生为2.15。整体上医生的得分比ChatGPT低了41%。同时,ChatGPT的回答被评为具有同理心或非常具有同理心的比例为45.1%,高于医生的4.6%,相当于ChatGPT在同理心方面相对于医生取得了9.8倍的优势。

同时,这项研究还提供了几个例子供参考。

一名患者在论坛上提问题:漂白剂溅到眼睛后是否有失明的风险。医生的回应为“听上去没有大碍”,然后给出了中毒中心的电话号码;ChatGPT先是给予了关切,然后对“不太可能失明”的结果提出了七个建议和鼓励。

一名患者表示,打喷嚏时手臂疼痛,这是否为需要警惕的征兆?ChatGPT首先回答基本上不用担心,接着给出了详细的解释,最后表示当疼痛严重或持续时间较长时,建议咨询专业医疗人员。

还没完全准备好

虽然这项实验中,ChatGPT似乎表现的比人类医生更好,但其回答的准确度还需要验证。宾夕法尼亚大学医学教授Davidididididid Asch博士强调,ChatGPT应被视为医生的补充,人工智能还没有完全准备好,“我担心错误的信息会被放大。”

在今年2月同样发表于JAMA的一份报告显示,使用ChatGPT获取医疗咨询答复,还存在着一定的风险。

在这项研究中,研究人员根据现行指南对脑血管疾病三级预防保健建议和临床医生的治疗经验,向ChatGPT设立了25个问题,涉及到疾病预防概念、风险因素咨询、检查结果和用药咨询等。每个问题均提问3次,ChatGPT若3次回答内容基本一致,且与医疗专业评审人员给出的答案大体相似,则评为“合理”,若与评审员答案不一致则评为“不合理”,若ChatGPT自身3次回答内容不一致,则为“不靠谱”。

结果显示,ChatGPT的合理概率为84%(21/25),虽然这一概率看起来不低,但放在实际个体中,错误的建议对患者而言是极有风险的。例如,对于“我应该做什么运动来维持健康?”这一问题,ChatGPT推荐了有氧、举重等运动,但这并不准确,因为对某些患者而言这两项运动对身体是有害的、不安全的。

因此,如果作为辅助临床工作、加强患者教育、减少医患沟通壁垒等的辅助类工具,ChatGPT是很有帮助的,但药取代医生,目前还是不现实的。

标签

为你推荐

6款产品纳入2026年国家医保药品目录、商保创新药目录及推荐清单,远大医药“医保+商保”双支付格局成形资讯

6款产品纳入2026年国家医保药品目录、商保创新药目录及推荐清单,远大医药“医保+商保”双支付格局成形

在多层次医疗保障体系加速建设的背景下,远大医药(0512 HK)正加速推进“医保+商保”双支付通道布局。近日,公司发布公告称其六款产品已顺

2026-11-15 19:11

华东医药多款创新药分获国家医保目录与首版商保推荐清单准入资讯

华东医药多款创新药分获国家医保目录与首版商保推荐清单准入

马来酸美凡厄替尼片首次被纳入新版药品目录,脯氨酸加格列净片完成目录内续约,泽沃基奥仑赛注射液继续被纳入新版商保创新药目录

2026-11-15 17:46

默克罕见病创新药盐酸匹米替尼胶囊(贝捷迈)纳入国家医保目录资讯

默克罕见病创新药盐酸匹米替尼胶囊(贝捷迈)纳入国家医保目录

为腱鞘巨细胞瘤患者提供了更加可负担的创新治疗选择。

2026-11-14 15:42

2026年国家医保和商保新增药品名单,CAR-T细胞治疗首次纳入资讯

2026年国家医保和商保新增药品名单,CAR-T细胞治疗首次纳入

11月14日,2026年《国家基本医疗保险、生育保险和工伤保险药品目录》以及《商业健康保险创新药品目录》正式对外发布。

2026-11-14 14:23

夫瑞奈珠单抗注射液成功纳入2026国家医保药品目录资讯

夫瑞奈珠单抗注射液成功纳入2026国家医保药品目录

神基制药旗下偏头痛创新产品艾久维

2026-11-14 13:00

两款新药首进医保、一款续约,云顶新耀多产品商业化体系提速资讯

两款新药首进医保、一款续约,云顶新耀多产品商业化体系提速

维适平、依嘉首次纳入国家医保,耐赋康成功续约

2026-11-14 12:51

百利天恒宜泽康成功纳入2026年版国家医保药品目录资讯

百利天恒宜泽康成功纳入2026年版国家医保药品目录

纳入医保的适应症为既往经至少二线系统化疗(且使用过PD-1 PD-L1抑制剂)治疗失败的复发 转移性鼻咽癌

2026-11-14 12:41

礼来安妥来利和安妥来(米吉珠单抗)成功纳入国家医保目录资讯

礼来安妥来利和安妥来(米吉珠单抗)成功纳入国家医保目录

医保覆盖范围适用于成人中重度活动性溃疡性结肠炎(UC)和成人中重度活动性克罗恩病(CD)患者。

2026-11-14 12:37

乳腺癌新药达卓优首次纳入2026国家医保目录资讯

乳腺癌新药达卓优首次纳入2026国家医保目录

提升HR+ HER2-转移性乳腺癌创新治疗可及性

2026-11-14 12:30

依视路星趣控亮相第九届进博会,展示本土儿童青少年近视管理中期研究新进展资讯

依视路星趣控亮相第九届进博会,展示本土儿童青少年近视管理中期研究新进展

展会现场,依视路星趣控不仅重磅分享了最新的本土临床研究中期成果,还全面展示了覆盖近视前期干预及配戴管理的全周期近视管理产品矩阵

2026-11-13 17:17

一图读懂明日2026创新药高质量发展大会,2026国家医保目录和2026商业健康险创新药品目录将发布资讯

一图读懂明日2026创新药高质量发展大会,2026国家医保目录和2026商业健康险创新药品目录将发布

指导单位:国家医疗保障局、江苏省人民政府;主办单位:江苏省医疗保障局、苏州市人民政府。

2026-11-13 15:50

荣昌生物与Vor Biopharma达成新的授权合作资讯

荣昌生物与Vor Biopharma达成新的授权合作

2026年11月12日,荣昌生物发布公告,与Vor Biopharma(Vor Bio)签署许可协议修订案,将自主研发的新一代长效BAFF APRIL双靶点抑制剂RC298纳入双方合作,Vor Bio获得RC298在...

2026-11-13 13:45

美敦力全谱系心律管理方案亮相进博,汇聚全球与本土创新资讯

美敦力全谱系心律管理方案亮相进博,汇聚全球与本土创新

11月6日,美敦力在第九届中国国际进口博览会(以下简称“进博会”)举办“与世界同频,为中国心跳”心电节律疗法展台活动,展示覆盖心脏消

2026-11-13 11:19

新修订的《人类遗传资源管理条例实施细则》发布资讯

新修订的《人类遗传资源管理条例实施细则》发布

主要调整监管主体、优化审批备案管理制度、健全监管链条等,保障我国人类遗传资源规范、安全、高效利用。

2026-11-13 11:00

以岭药业中药1.1类创新药芪秦通痹片获批资讯

以岭药业中药1.1类创新药芪秦通痹片获批

芪秦通痹片的上市申请(CXZS2500014)于2025年4月获得CDE承办,随后于今年11月获国家药监局批准上市。

2026-11-13 10:23

信诺维医药的1类新药注射用亚胺西福获批上市资讯

信诺维医药的1类新药注射用亚胺西福获批上市

11月12日,国家药监局官网信息显示,近日,国家药监局批准苏州信诺维医药的1类新药注射用亚胺西福上市。

2026-11-12 17:16

恒瑞医药1类创新药芮弗西拜单抗注射液(皮下注射)获批上市资讯

恒瑞医药1类创新药芮弗西拜单抗注射液(皮下注射)获批上市

11月12日,国家药监局官网显示,恒瑞医药申报的1类创新药芮弗西拜单抗注射液(皮下注射)获批上市。

2026-11-12 16:32

礼来口服小分子非肽类GLP-1RA奥氟格列隆获批减重适应症资讯

礼来口服小分子非肽类GLP-1RA奥氟格列隆获批减重适应症

适用于在控制饮食和增加运动基础上,用于肥胖或超重并伴有至少一种体重相关合并症的成人体重管理。

2026-11-12 15:14

亦立医药宣布完成近4亿元人民币A轮融资资讯

亦立医药宣布完成近4亿元人民币A轮融资

11月12日,亦立医药,宣布完成近4亿元人民币A轮融资。本轮融资由华盖资本领投,康君资本联合领投,博裕创投、德联资本、信成基金、海邦投资、柏睿资本、深天使、远翼投资共同投...

2026-11-12 12:55

一药二嫁纠纷起结束资讯

一药二嫁纠纷起结束

11月11日晚间,汇宇制药发布公告,其与同源康医药签署《和解协议书》,双方将一揽子、终局性解决围绕创新药TY-9591产生的全部合作争议及未决诉讼案件,同源康需向汇宇制药支付合...

2026-11-12 10:54