ChatGPT医学问答力压人类医生?JAMA发布研究报告

医疗健康 来源:医谷网
2023
05/10
15:32
医谷网 医疗健康

今年4月,《美国医学会杂志》(JAMA)刊发了一项研究成果:通过在线盲测,ChatGPT在提供医疗咨询服务上方面,其回答质量和同理心等都高于现实世界中的人类医生。

篇幅、回答质量、同理心等,ChatGPT均高于人类医生

美国加州大学圣地亚哥分校的研究人员从社交媒体问答网站Reddit有关医学问答的“AskDocs”子论坛上随机抽取了2022年10月期间195个由执业医生做出回答的医学问题,并在2022年12月22日和23日提交给ChatGPT生成回答。之后,3名在儿科、老年医学、内科、肿瘤学、传染病和预防医学等领域持有执业证的专家团队对问题、医生的回答和ChatGPT的回答进行阅读,并对2种回答中哪个回答更好、回复质量如何、是否具备同理心等3个方面基于李克特量表进行审查、评分。值得一提的是,审查人员是在无法知晓答案来自医生还是ChatGPT的基础上进行的盲评。

结果表明:

(1)在回复的篇幅上,医生的回复平均文字长度为52个字节,而ChatGPT为211个字节。

ChatGPT显得更“详细”。

(2)在回复质量上,ChatGPT的回答质量被评为好或非常好的比例高达78.5%,而医生这一比例为22.1%;相当于ChatGPT对医生形成了3.6倍的优势。同时,ChatGPT的回答总体上优于“好”,平均评分高达4.13;医生的回答被整体评估为略优于“可接受”,平均评分为3.26;医生的回答中有高达27.2%被评估为低于可接受的质量(得分< 3);ChatGPT这一比例为2.6%。

(3)在同理心方面,ChatGPT平均评分为3.65,医生为2.15。整体上医生的得分比ChatGPT低了41%。同时,ChatGPT的回答被评为具有同理心或非常具有同理心的比例为45.1%,高于医生的4.6%,相当于ChatGPT在同理心方面相对于医生取得了9.8倍的优势。

同时,这项研究还提供了几个例子供参考。

一名患者在论坛上提问题:漂白剂溅到眼睛后是否有失明的风险。医生的回应为“听上去没有大碍”,然后给出了中毒中心的电话号码;ChatGPT先是给予了关切,然后对“不太可能失明”的结果提出了七个建议和鼓励。

一名患者表示,打喷嚏时手臂疼痛,这是否为需要警惕的征兆?ChatGPT首先回答基本上不用担心,接着给出了详细的解释,最后表示当疼痛严重或持续时间较长时,建议咨询专业医疗人员。

还没完全准备好

虽然这项实验中,ChatGPT似乎表现的比人类医生更好,但其回答的准确度还需要验证。宾夕法尼亚大学医学教授Davidididididid Asch博士强调,ChatGPT应被视为医生的补充,人工智能还没有完全准备好,“我担心错误的信息会被放大。”

在今年2月同样发表于JAMA的一份报告显示,使用ChatGPT获取医疗咨询答复,还存在着一定的风险。

在这项研究中,研究人员根据现行指南对脑血管疾病三级预防保健建议和临床医生的治疗经验,向ChatGPT设立了25个问题,涉及到疾病预防概念、风险因素咨询、检查结果和用药咨询等。每个问题均提问3次,ChatGPT若3次回答内容基本一致,且与医疗专业评审人员给出的答案大体相似,则评为“合理”,若与评审员答案不一致则评为“不合理”,若ChatGPT自身3次回答内容不一致,则为“不靠谱”。

结果显示,ChatGPT的合理概率为84%(21/25),虽然这一概率看起来不低,但放在实际个体中,错误的建议对患者而言是极有风险的。例如,对于“我应该做什么运动来维持健康?”这一问题,ChatGPT推荐了有氧、举重等运动,但这并不准确,因为对某些患者而言这两项运动对身体是有害的、不安全的。

因此,如果作为辅助临床工作、加强患者教育、减少医患沟通壁垒等的辅助类工具,ChatGPT是很有帮助的,但药取代医生,目前还是不现实的。

标签

为你推荐

CDE:抗体偶联药物首次申报临床试验药学资料撰写指导原则资讯

CDE:抗体偶联药物首次申报临床试验药学资料撰写指导原则

本指导原则基于 ICH M4Q( R1)总体框架, 格式体例与之保持一致, 在其框架下结合抗体偶联药物的药学研究特点,细化了 IND 申报药学资料的撰写要求,旨在为该类药物 IN...

2026-04-25 21:39

蚂蚁健康向医院开放“智慧医疗AI一体化方案” 支持智能体、云陪诊、本地化模型部署资讯

蚂蚁健康向医院开放“智慧医疗AI一体化方案” 支持智能体、云陪诊、本地化模型部署

4月25日,在2026中国医院信息网络大会(CHIMA 2026)上,蚂蚁健康面向全国医院及医疗机构推出“智慧医疗AI一体化方案”。

2026-04-25 20:09

美敦力 5.5 亿美元收购 Scientia Vascular,加码神经血管赛道布局资讯

美敦力 5.5 亿美元收购 Scientia Vascular,加码神经血管赛道布局

Scientia Vascular 是专注于神经血管创新器械研发的新兴企业,核心产品管线聚焦颅内血管病变介入治疗领域

2026-04-25 15:50

聚焦预防接种全龄升级,多方合力开展“成人全周期免疫促进暨带状疱疹公益科普”资讯

聚焦预防接种全龄升级,多方合力开展“成人全周期免疫促进暨带状疱疹公益科普”

4月25日,国家疾病预防控制局在上海举办主题宣传活动,呼吁“预防接种,苗助健康,全民行动”。

2026-04-25 15:41

超亿元 A 轮融资!奥明星程以 AI4S 定义下一代生物智能基础设施资讯

超亿元 A 轮融资!奥明星程以 AI4S 定义下一代生物智能基础设施

由深创投与复星医药(复健资本)联合领投,太平股权、广东中医药大健康基金、杭实集团等多家头部投资机构、产业链龙头企业及多地国资跟投。

2026-04-24 18:28

Cytiva ÄKTA与Biacore系列产品实现本地生产, 以“桐庐样本”赋能生物医药“加速度”资讯

Cytiva ÄKTA与Biacore系列产品实现本地生产, 以“桐庐样本”赋能生物医药“加速度”

依托桐庐生产基地,Cytiva持续提升本土供应能力,以更短的交付周期与定制化支持,精准匹配中国研发节奏,深度践行“在中国,为中国”承诺

2026-04-24 18:13

全球首个治疗遗传性耳聋基因疗法获批资讯

全球首个治疗遗传性耳聋基因疗法获批

4 月 23 日,再生元宣布,美国 FDA 已经加速批准其在研基因疗法Otarmeni(lunsotogene parvec-cwha)上市,该药品成为首个也是目前唯一获批用于治疗遗传性听力损失的基因疗法。

2026-04-24 18:01

CDE:治疗用重组蛋白药物首次申报临床试验药学资料撰写指导原则资讯

CDE:治疗用重组蛋白药物首次申报临床试验药学资料撰写指导原则

本指导原则基于 ICH M4Q( R1)总体框架, 格式体例与之保持一致, 在其框架下结合治疗用重组蛋白药物的药学研究特点,细化了 IND 申报药学资料的撰写要求,旨在为该类药...

2026-04-24 12:44

甘李药业GLP-1R博凡格鲁肽Ⅲ期临床试验完成首例受试者给药资讯

甘李药业GLP-1R博凡格鲁肽Ⅲ期临床试验完成首例受试者给药

4月23日,甘李药业发布公告,博凡格鲁肽(研发代号:GZR18)注射液正在中国开展的适应症成人肥胖患者的中度至重度阻塞性睡眠呼吸暂停(OSA)的Ⅲ期临床试验,于近日成功完成首例...

2026-04-24 10:25

天鹜科技发布MatwingsVenus™,给AI一个共享实验室资讯

天鹜科技发布MatwingsVenus™,给AI一个共享实验室

天鹜科技是一家 AI 驱动的全栈式蛋白质研发平台公司

2026-04-24 09:12

应世生物再冲港交所 IPO:手握国内唯一 III 期 FAK 抑制剂,专攻肿瘤耐药后市场资讯

应世生物再冲港交所 IPO:手握国内唯一 III 期 FAK 抑制剂,专攻肿瘤耐药后市场

公司战略性聚焦黏着斑激酶(FAK)及整合素通路,这些靶点对肿瘤细胞的顽强生存能力至关重要。

2026-04-23 22:00

华东医药2025年创新收入大增64.2%,2026Q1扣非净利创单季历史新高资讯

华东医药2025年创新收入大增64.2%,2026Q1扣非净利创单季历史新高

2026年4月23日晚间,华东医药(000963 SZ)发布2025年年度报告及2026年第一季度业绩。

2026-04-23 21:45

默克与谷歌云达成一项10亿美元的AI合作资讯

默克与谷歌云达成一项10亿美元的AI合作

此次合作,默克期望将自身在药物研发、科学管理、市场运营等方面能力与人工智能、云平台相结合,帮助默克全球约7 5万名员工提升生产力。

2026-04-23 13:00

神经介入与神经外科植入材料等7类医用耗材分类与代码及医保通用名资讯

神经介入与神经外科植入材料等7类医用耗材分类与代码及医保通用名

近日,国家医保局发布《神经介入与神经外科植入材料等7类医用耗材分类与代码及医保通用名》公开征求意见的公告。

2026-04-23 11:29

真实生物阿兹夫定与哆希替尼联合疗法最新消息资讯

真实生物阿兹夫定与哆希替尼联合疗法最新消息

近日,真实生物在美国癌症研究协会(AACR 2026)年会以壁报形式展示了阿兹夫定与哆希替尼联合疗法的临床前研究成果,标题为标题:Azvudine Combined with Doxitinib,a Potential Therapy for EGFRm+ NSCLC。

2026-04-23 11:07

老百姓大药房、养天和等部分药店被曝涉嫌违规使用医保资金资讯

老百姓大药房、养天和等部分药店被曝涉嫌违规使用医保资金

近日,老百姓大药房、养天和等部分药店被曝涉嫌违规使用医保资金。

2026-04-22 21:19

华东医药独家商业化产品CXG87上市申请获受理,呼吸治疗赛道布局深化资讯

华东医药独家商业化产品CXG87上市申请获受理,呼吸治疗赛道布局深化

华东医药股份有限公司(以下简称“华东医药”或“公司”)全资子公司华东医药(杭州)有限公司独家商业化产品CXG87(布地奈德福莫特罗吸入粉雾剂(IV)胶囊型)用于治疗哮喘的药...

2026-04-22 17:53

瞳沐医疗完成数千万元 Pre-A 轮融资,加速眼科智能手术系统临床落地资讯

瞳沐医疗完成数千万元 Pre-A 轮融资,加速眼科智能手术系统临床落地

本轮融资由爱博弘盛、启航创投联合领投,明恒美康跟投,丰和资本担任独家财务顾问。

2026-04-22 10:32

指南更新,巨星发声:医疗创新与公众教育双轮驱动OSA诊疗革新资讯

指南更新,巨星发声:医疗创新与公众教育双轮驱动OSA诊疗革新

日前,中国《成人阻塞性睡眠呼吸暂停诊治指南(2025)》发布,首次系统性引入药物治疗——GIP GLP-1双受体激动剂替尔泊肽获最高级别推荐,用于合并肥胖症的中至重度阻塞性睡眠...

2026-04-22 10:04

第104批仿制药参比制剂目录资讯

第104批仿制药参比制剂目录

经国家药品监督管理局仿制药质量和疗效一致性评价专家委员会审核确定,现发布仿制药参比制剂目录(第一百零四批)。

2026-04-22 09:26