ChatGPT医学问答力压人类医生?JAMA发布研究报告

医疗健康 来源:医谷网
2023
05/10
15:32
医谷网 医疗健康

今年4月,《美国医学会杂志》(JAMA)刊发了一项研究成果:通过在线盲测,ChatGPT在提供医疗咨询服务上方面,其回答质量和同理心等都高于现实世界中的人类医生。

篇幅、回答质量、同理心等,ChatGPT均高于人类医生

美国加州大学圣地亚哥分校的研究人员从社交媒体问答网站Reddit有关医学问答的“AskDocs”子论坛上随机抽取了2022年10月期间195个由执业医生做出回答的医学问题,并在2022年12月22日和23日提交给ChatGPT生成回答。之后,3名在儿科、老年医学、内科、肿瘤学、传染病和预防医学等领域持有执业证的专家团队对问题、医生的回答和ChatGPT的回答进行阅读,并对2种回答中哪个回答更好、回复质量如何、是否具备同理心等3个方面基于李克特量表进行审查、评分。值得一提的是,审查人员是在无法知晓答案来自医生还是ChatGPT的基础上进行的盲评。

结果表明:

(1)在回复的篇幅上,医生的回复平均文字长度为52个字节,而ChatGPT为211个字节。

ChatGPT显得更“详细”。

(2)在回复质量上,ChatGPT的回答质量被评为好或非常好的比例高达78.5%,而医生这一比例为22.1%;相当于ChatGPT对医生形成了3.6倍的优势。同时,ChatGPT的回答总体上优于“好”,平均评分高达4.13;医生的回答被整体评估为略优于“可接受”,平均评分为3.26;医生的回答中有高达27.2%被评估为低于可接受的质量(得分< 3);ChatGPT这一比例为2.6%。

(3)在同理心方面,ChatGPT平均评分为3.65,医生为2.15。整体上医生的得分比ChatGPT低了41%。同时,ChatGPT的回答被评为具有同理心或非常具有同理心的比例为45.1%,高于医生的4.6%,相当于ChatGPT在同理心方面相对于医生取得了9.8倍的优势。

同时,这项研究还提供了几个例子供参考。

一名患者在论坛上提问题:漂白剂溅到眼睛后是否有失明的风险。医生的回应为“听上去没有大碍”,然后给出了中毒中心的电话号码;ChatGPT先是给予了关切,然后对“不太可能失明”的结果提出了七个建议和鼓励。

一名患者表示,打喷嚏时手臂疼痛,这是否为需要警惕的征兆?ChatGPT首先回答基本上不用担心,接着给出了详细的解释,最后表示当疼痛严重或持续时间较长时,建议咨询专业医疗人员。

还没完全准备好

虽然这项实验中,ChatGPT似乎表现的比人类医生更好,但其回答的准确度还需要验证。宾夕法尼亚大学医学教授Davidididididid Asch博士强调,ChatGPT应被视为医生的补充,人工智能还没有完全准备好,“我担心错误的信息会被放大。”

在今年2月同样发表于JAMA的一份报告显示,使用ChatGPT获取医疗咨询答复,还存在着一定的风险。

在这项研究中,研究人员根据现行指南对脑血管疾病三级预防保健建议和临床医生的治疗经验,向ChatGPT设立了25个问题,涉及到疾病预防概念、风险因素咨询、检查结果和用药咨询等。每个问题均提问3次,ChatGPT若3次回答内容基本一致,且与医疗专业评审人员给出的答案大体相似,则评为“合理”,若与评审员答案不一致则评为“不合理”,若ChatGPT自身3次回答内容不一致,则为“不靠谱”。

结果显示,ChatGPT的合理概率为84%(21/25),虽然这一概率看起来不低,但放在实际个体中,错误的建议对患者而言是极有风险的。例如,对于“我应该做什么运动来维持健康?”这一问题,ChatGPT推荐了有氧、举重等运动,但这并不准确,因为对某些患者而言这两项运动对身体是有害的、不安全的。

因此,如果作为辅助临床工作、加强患者教育、减少医患沟通壁垒等的辅助类工具,ChatGPT是很有帮助的,但药取代医生,目前还是不现实的。

标签

为你推荐

西安上线定点零售药店药品比价系统资讯

西安上线定点零售药店药品比价系统

据西安日报消息,西安市近日已上线定点零售药店药品比价系统,实现医保药品价格在参保人手机上实时比对,推动药品价格更加公开透明。

2024-06-13 00:11

METex14跳突晚期非小细胞癌患者新希望,诺华创新药妥瑞达中国获批资讯

METex14跳突晚期非小细胞癌患者新希望,诺华创新药妥瑞达中国获批

用于未经系统治疗的携带间质上皮转化因子(MET)外显子14跳跃突变的局部晚期或转移性非小细胞肺癌(NSCLC)成人患者。

2024-06-12 16:16

30秒完成,礼来高血糖素鼻用粉雾剂在华获批上市资讯

30秒完成,礼来高血糖素鼻用粉雾剂在华获批上市

今日(6月12日),中国国家药监局(NMPA)官网最新公示信息显示,礼来的高血糖素鼻用粉雾剂(商品名为Baqsimi)上市申请已获得批准,用于4

2024-06-12 15:05

“携手十年,再谱新篇”:中国初保基金会新生会周年庆在京举办资讯

“携手十年,再谱新篇”:中国初保基金会新生会周年庆在京举办

会上,由新生会发起,安斯泰来支持的移植患者自我管理助手正式上线。

2024-06-11 19:17

远大医药GPN00884国内I期临床完成首例患者入组给药,剑指过亿近视防治市场资讯

远大医药GPN00884国内I期临床完成首例患者入组给药,剑指过亿近视防治市场

GPN00884滴眼液是一款用于延缓儿童近视进展的全新作用机制的创新药

2024-06-11 19:08

贵州省卫生健康委党组书记杨慧正接受纪律审查和监察调查资讯

贵州省卫生健康委党组书记杨慧正接受纪律审查和监察调查

今日,贵州省纪委监委网站通报称,贵州省卫生健康委员会党组书记杨慧涉嫌严重违纪违法,目前正接受贵州省纪委监委纪律审查和监察调查。

2024-06-11 19:00

葛兰素史克RSV疫苗获批扩大适用人群至50-59岁资讯

葛兰素史克RSV疫苗获批扩大适用人群至50-59岁

近日,葛兰素史克(GSK)宣布,FDA批准重组呼吸道合胞病毒(RSV)疫苗Arexvy的适用范围扩大到50-59岁的RSV高危成人,Arexvy在美国的首次获批是在2023年5月,被批准用于60岁及以...

2024-06-11 11:05

研究证明,伟哥有助于预防痴呆症资讯

研究证明,伟哥有助于预防痴呆症

近日,国际心血管领域顶级杂志《Circulation Research》上的一项研究显示,来自牛津大学约翰·拉德克利夫医院的研究人员首次在临床试验中

2024-06-11 10:04

北京1252种乙类药品在社区定点医疗机构按甲类药品报销,无需自付资讯

北京1252种乙类药品在社区定点医疗机构按甲类药品报销,无需自付

近日,北京市医疗保障局印发《关于本市部分乙类药品在社区定点医疗机构按甲类药品报销的通知》,这意味着在社区定点医疗机构开具上述药品将可以全额报销,患者个人无需先行自付1...

2024-06-10 13:22

北京协和医学院党委书记调任通用技术集团任副总经理资讯

北京协和医学院党委书记调任通用技术集团任副总经理

6月6日下午,通用技术集团召开党组专题会,宣布中共中央组织部对于通用技术集团领导班子调整的决定:姚建红同志任中国通用技术(集团)控股有限责任公司副总经理、党组成员。

2024-06-09 22:31

山西提高门诊统筹年度支付限额、基金支付比例资讯

山西提高门诊统筹年度支付限额、基金支付比例

近日,山西省医保局会同省财政厅、省卫健委、省药监局联合印发《关于完善职工基本医疗保险普通门诊统筹政策的通知》,最高支付限额、基金支付比例等都进行了提高。整体而言,新...

2024-06-08 13:37

重磅|EASL 最新突破性数据:星汉德生物TCR-T细胞治疗晚期肝癌患者总生存期显著延长并伴随乙肝表面抗原清除,获选最佳精选报告资讯

重磅|EASL 最新突破性数据:星汉德生物TCR-T细胞治疗晚期肝癌患者总生存期显著延长并伴随乙肝表面抗原清除,获选最佳精选报告

研究结果显示,SCG101在治疗晚期HBV相关肝细胞癌(HCC)患者中展现出显著的抗病毒和抗肿瘤双重活性,显著延长了患者的生存期。

2024-06-07 19:57

深化医药卫生体制改革  2024年重点工作任务资讯

深化医药卫生体制改革 2024年重点工作任务

《深化医药卫生体制改革2024年重点工作任务》已经国务院同意。

2024-06-07 19:53

贾振强:智能化健康检测开启大健康新时代资讯

贾振强:智能化健康检测开启大健康新时代

近几十年来,生物标志物研究的重点集中在血液标志物上。然而,仅靠血液生物标志物无法捕获全部临床相关指标。因此,尿液成为一种有价值的补充信息来源,越来越多的证据表明(与...

2024-06-07 16:39

“链”上发力!东阿阿胶打造央地合作新模式资讯

“链”上发力!东阿阿胶打造央地合作新模式

跨越1200公里,我第三次踏上山东这片热土,来参加中药产业链共链行动!”6月5日,辽宁省铁岭市西丰县委副书记、县长荣大煜走进东阿阿胶会议中心,娓娓道来他与山东的不解之缘。

2024-06-07 15:11

锦江电子终止IPO资讯

锦江电子终止IPO

近日,上交所官网信息显示,四川锦江电子医疗器械科技股份有限公司(以下简称“锦江电子”)科创板IPO已终止,原因系锦江电子及其保荐人撤

2024-06-07 13:54

支付宝推出AI毛发自测黑科技资讯

支付宝推出AI毛发自测黑科技

6月6日,在亚洲毛发大会上,支付宝发布了AI毛发自测工具,用户只需上传几张头皮照片,即可通过AI大模型能力识别脱发类型、级别并给出健康建议。

2024-06-07 13:06

“全球最大医院”2023年预算收入,超219亿元资讯

“全球最大医院”2023年预算收入,超219亿元

有着“全球最大医院”之称的郑州大学第一附属医院(以下简称郑大一附院)曾在官网公布了其2021年度决算财务数据而引发社会热议,而人民日报客户端此前也根据全国各级政府部门发...

2024-06-07 10:16

“爱眼日”公益活动在数百家医院开展,助力公众眼底筛查意识提升资讯

“爱眼日”公益活动在数百家医院开展,助力公众眼底筛查意识提升

随着老龄化社会的到来及用眼方式的改变,我国糖尿病黄斑水肿(DME)、新生血管性年龄相关性黄斑变性(nAMD)和视网膜静脉阻塞(RVO)等常见眼底疾病患者人数不断增加,由此导致...

2024-06-06 20:06

华兰生物加入四价流感疫苗“降价潮”资讯

华兰生物加入四价流感疫苗“降价潮”

又一国产流感疫苗官宣降价。

2024-06-06 15:33