ChatGPT医学问答力压人类医生?JAMA发布研究报告

医疗健康 来源:医谷网
2023
05/10
15:32
医谷网 医疗健康

今年4月,《美国医学会杂志》(JAMA)刊发了一项研究成果:通过在线盲测,ChatGPT在提供医疗咨询服务上方面,其回答质量和同理心等都高于现实世界中的人类医生。

篇幅、回答质量、同理心等,ChatGPT均高于人类医生

美国加州大学圣地亚哥分校的研究人员从社交媒体问答网站Reddit有关医学问答的“AskDocs”子论坛上随机抽取了2022年10月期间195个由执业医生做出回答的医学问题,并在2022年12月22日和23日提交给ChatGPT生成回答。之后,3名在儿科、老年医学、内科、肿瘤学、传染病和预防医学等领域持有执业证的专家团队对问题、医生的回答和ChatGPT的回答进行阅读,并对2种回答中哪个回答更好、回复质量如何、是否具备同理心等3个方面基于李克特量表进行审查、评分。值得一提的是,审查人员是在无法知晓答案来自医生还是ChatGPT的基础上进行的盲评。

结果表明:

(1)在回复的篇幅上,医生的回复平均文字长度为52个字节,而ChatGPT为211个字节。

ChatGPT显得更“详细”。

(2)在回复质量上,ChatGPT的回答质量被评为好或非常好的比例高达78.5%,而医生这一比例为22.1%;相当于ChatGPT对医生形成了3.6倍的优势。同时,ChatGPT的回答总体上优于“好”,平均评分高达4.13;医生的回答被整体评估为略优于“可接受”,平均评分为3.26;医生的回答中有高达27.2%被评估为低于可接受的质量(得分< 3);ChatGPT这一比例为2.6%。

(3)在同理心方面,ChatGPT平均评分为3.65,医生为2.15。整体上医生的得分比ChatGPT低了41%。同时,ChatGPT的回答被评为具有同理心或非常具有同理心的比例为45.1%,高于医生的4.6%,相当于ChatGPT在同理心方面相对于医生取得了9.8倍的优势。

同时,这项研究还提供了几个例子供参考。

一名患者在论坛上提问题:漂白剂溅到眼睛后是否有失明的风险。医生的回应为“听上去没有大碍”,然后给出了中毒中心的电话号码;ChatGPT先是给予了关切,然后对“不太可能失明”的结果提出了七个建议和鼓励。

一名患者表示,打喷嚏时手臂疼痛,这是否为需要警惕的征兆?ChatGPT首先回答基本上不用担心,接着给出了详细的解释,最后表示当疼痛严重或持续时间较长时,建议咨询专业医疗人员。

还没完全准备好

虽然这项实验中,ChatGPT似乎表现的比人类医生更好,但其回答的准确度还需要验证。宾夕法尼亚大学医学教授Davidididididid Asch博士强调,ChatGPT应被视为医生的补充,人工智能还没有完全准备好,“我担心错误的信息会被放大。”

在今年2月同样发表于JAMA的一份报告显示,使用ChatGPT获取医疗咨询答复,还存在着一定的风险。

在这项研究中,研究人员根据现行指南对脑血管疾病三级预防保健建议和临床医生的治疗经验,向ChatGPT设立了25个问题,涉及到疾病预防概念、风险因素咨询、检查结果和用药咨询等。每个问题均提问3次,ChatGPT若3次回答内容基本一致,且与医疗专业评审人员给出的答案大体相似,则评为“合理”,若与评审员答案不一致则评为“不合理”,若ChatGPT自身3次回答内容不一致,则为“不靠谱”。

结果显示,ChatGPT的合理概率为84%(21/25),虽然这一概率看起来不低,但放在实际个体中,错误的建议对患者而言是极有风险的。例如,对于“我应该做什么运动来维持健康?”这一问题,ChatGPT推荐了有氧、举重等运动,但这并不准确,因为对某些患者而言这两项运动对身体是有害的、不安全的。

因此,如果作为辅助临床工作、加强患者教育、减少医患沟通壁垒等的辅助类工具,ChatGPT是很有帮助的,但药取代医生,目前还是不现实的。

标签

为你推荐

穆峰达第三项适应症中国获批,填补睡眠呼吸暂停药物治疗领域空白资讯

穆峰达第三项适应症中国获批,填补睡眠呼吸暂停药物治疗领域空白

首个且唯一用于治疗成人肥胖患者的中度至重度阻塞性睡眠呼吸暂停适应症的处方药

2025-07-03 15:36

又一款国产肺癌创新药获得美国FDA批准上市资讯

又一款国产肺癌创新药获得美国FDA批准上市

今日(7月3日),迪哲医药宣布,公司核心产品舒沃哲(ZEGFROVY,通用名:舒沃替尼片)的新药上市申请正式获得美国FDA加速批准,用于既往经含铂化疗治疗时或治疗后出现疾病进展,...

2025-07-03 14:51

近20年来首个全新类别抗菌药物醋酸来法莫林在华获批,开启社区获得性肺炎治疗新时代资讯

近20年来首个全新类别抗菌药物醋酸来法莫林在华获批,开启社区获得性肺炎治疗新时代

该产品中文商标:信乐妥®,英文商标:Xenleta®

2025-07-03 13:23

白癜风诊疗迈向资讯

白癜风诊疗迈向"精细化诊疗"新阶段,薇诺娜净衡系列上市

由中华医学会、中华医学会皮肤性病学分会主办湖南省医学会、中南大学湘雅医院 、中南大学湘雅医学院皮肤病学系承办的中华医学会第三十次皮肤性病学术年会于2025年6月25日-29日...

2025-07-03 11:51

2025年,国家医保局医保药品目录及商保药品目录调整征求意见稿发布资讯

2025年,国家医保局医保药品目录及商保药品目录调整征求意见稿发布

7月1日,国家医保局正式对外发布《2025年国家基本医疗保险、生育保险和工伤保险药品目录及商业健康保险创新药品目录调整工作方案(征求意见稿)》及相关文件,向社会公开征求意见。

2025-07-02 18:50

碳云智肽获翰宇药业战略投资,以 “多肽芯片 + AI” 技术赋能创新药研发资讯

碳云智肽获翰宇药业战略投资,以 “多肽芯片 + AI” 技术赋能创新药研发

7 月 1 日,深圳碳云智肽药物科技有限公司(简称 “碳云智肽”)与翰宇药业(300199)正式签署《创新药 CRDMO 服务战略合作协议》和《战略投资协议》。

2025-07-02 17:44

一上市药企与6名高管共计被罚1600万元资讯

一上市药企与6名高管共计被罚1600万元

近日,维康药业发布公告披露,其收到《关于公司及相关当事人收到中国证券监督管理委员会浙江证监局的公告》,公告显示,维康药业及其实控人刘忠良等被处罚,处罚金额累计达 160...

2025-07-02 15:41

国家医保局 国家卫生健康委联合印发《支持创新药高质量发展的若干措施》,谈及商保资讯

国家医保局 国家卫生健康委联合印发《支持创新药高质量发展的若干措施》,谈及商保

与医保目录调整的不同点在于,商保创新药目录将充分尊重商业保险公司的市场主体地位,在方案制定、专家评审、价格协商等环节,保险公司行业专家将充分参与。商保专家对于一个药...

2025-07-01 14:58

中析生物完成近亿元A轮融资,加速智慧实验室布局与全球化拓展资讯

中析生物完成近亿元A轮融资,加速智慧实验室布局与全球化拓展

近日,实验室自动化领域企业苏州中析生物信息有限公司(以下简称“中析生物”)宣布完成近亿元A轮融资,由中信建投资本领投,启明创投持续

2025-07-01 13:15

全球首个IL-17A/F双靶新药填补中轴型脊柱关节炎治疗空白,“捷乐同行患者关爱项目”加速药物惠及患者资讯

全球首个IL-17A/F双靶新药填补中轴型脊柱关节炎治疗空白,“捷乐同行患者关爱项目”加速药物惠及患者

为了提高中轴型脊柱关节炎患者的治疗获益、减轻经济负担,“捷乐同行患者关爱项目”于今日正式启动。

2025-07-01 10:21

一桩药企的重大资产重组,告吹资讯

一桩药企的重大资产重组,告吹

筹划近3个月后,成都先导重大资产重组事项宣告终止。

2025-07-01 09:28

稳健医疗李建全谈绿色手术室发展:绿色理念的前提一定是以人为本资讯

稳健医疗李建全谈绿色手术室发展:绿色理念的前提一定是以人为本

相关数据显示,全球医疗行业正面临着一个严峻的问题:医疗行业碳排放占全球4 4%-5 2%,手术室贡献了医院20%-30%的废弃物。

2025-07-01 09:26

1款全球首个+1款全球前四!华东医药MUC-17与FGFR2b 两款ADC获批临床资讯

1款全球首个+1款全球前四!华东医药MUC-17与FGFR2b 两款ADC获批临床

HDM2020与HDM2012均为抗体药物偶联物(Antibody-drug conjugate,ADC),分别靶向成纤维细胞生长因子受体2b(FGFR2b)、靶向人粘蛋白-17(Mucin 17,MUC-17)

2025-06-30 21:28

睿视科技完成数千万元A2轮融资,金科君创独家投资资讯

睿视科技完成数千万元A2轮融资,金科君创独家投资

此次融资将重点用于公司核心产品的研发迭代,三类医疗器械注册申报加速,以及市场渠道拓展。凯乘资本担任公司本轮融资独家财务顾问。

2025-06-30 10:36

中华人民共和国医疗保障法(草案)资讯

中华人民共和国医疗保障法(草案)

在中华人民共和国境内从事医疗保障相关的筹资运行、待遇支付、公共服务、基金使用、监督管理等活动,适用本法。

2025-06-28 13:45

26省联盟药品集采拟中选结果公布资讯

26省联盟药品集采拟中选结果公布

26省为北京、天津、山西、内蒙古、辽宁、吉林、黑龙江、安徽、福建、江西、河南、湖北、湖南、广西、海南、重庆、四川、贵州、云南、西藏、陕西、甘肃、青海、宁夏、新疆和新疆...

2025-06-28 13:20

CDE:对于境内外尚未有按照药品批准上市,但已有按医疗器械批准上市的产品,如在我国按照药品管理,能否按创新药申报?资讯

CDE:对于境内外尚未有按照药品批准上市,但已有按医疗器械批准上市的产品,如在我国按照药品管理,能否按创新药申报?

对于境内外尚未有按照药品批准上市、但已有按医疗器械批准上市的产品,如申报时在我国按照药品管理的,因器械已上市,将影响该产品在我国按创新药申报。

2025-06-28 13:01

河北医大二院发布“冀脑方舟”脑出血专病大模型,助力精准诊疗资讯

河北医大二院发布“冀脑方舟”脑出血专病大模型,助力精准诊疗

6月21日,河北医大二院联合讯飞医疗共同研发的医疗垂直领域多模态大模型—— “冀脑方舟”脑出血专病大模型在石家庄正式发布。

2025-06-27 16:02

最新数据:Vyepti(艾普奈珠单抗)在难治的重度偏头痛患者中疗效确切资讯

最新数据:Vyepti(艾普奈珠单抗)在难治的重度偏头痛患者中疗效确切

2025年第11届欧洲神经病学学会大会(EAN Congress 2025)公布了RESOLUTION IV期临床研究的完整结果。数据显示,在同时接受标准化患者教育的慢性偏头痛合并药物过度使用性头痛...

2025-06-27 15:58

Vyepti(艾普奈珠单抗)最新III期临床研究数据出炉,治疗亚洲慢性偏头痛人群疗效获证资讯

Vyepti(艾普奈珠单抗)最新III期临床研究数据出炉,治疗亚洲慢性偏头痛人群疗效获证

该研究是一项随机、安慰剂对照研究,旨在评估艾普奈珠单抗对比安慰剂在亚洲为主的慢性偏头痛人群中的疗效与安全性。

2025-06-27 15:47