ChatGPT医学问答力压人类医生?JAMA发布研究报告

医疗健康 来源:医谷网
2023
05/10
15:32
医谷网 医疗健康

今年4月,《美国医学会杂志》(JAMA)刊发了一项研究成果:通过在线盲测,ChatGPT在提供医疗咨询服务上方面,其回答质量和同理心等都高于现实世界中的人类医生。

篇幅、回答质量、同理心等,ChatGPT均高于人类医生

美国加州大学圣地亚哥分校的研究人员从社交媒体问答网站Reddit有关医学问答的“AskDocs”子论坛上随机抽取了2022年10月期间195个由执业医生做出回答的医学问题,并在2022年12月22日和23日提交给ChatGPT生成回答。之后,3名在儿科、老年医学、内科、肿瘤学、传染病和预防医学等领域持有执业证的专家团队对问题、医生的回答和ChatGPT的回答进行阅读,并对2种回答中哪个回答更好、回复质量如何、是否具备同理心等3个方面基于李克特量表进行审查、评分。值得一提的是,审查人员是在无法知晓答案来自医生还是ChatGPT的基础上进行的盲评。

结果表明:

(1)在回复的篇幅上,医生的回复平均文字长度为52个字节,而ChatGPT为211个字节。

ChatGPT显得更“详细”。

(2)在回复质量上,ChatGPT的回答质量被评为好或非常好的比例高达78.5%,而医生这一比例为22.1%;相当于ChatGPT对医生形成了3.6倍的优势。同时,ChatGPT的回答总体上优于“好”,平均评分高达4.13;医生的回答被整体评估为略优于“可接受”,平均评分为3.26;医生的回答中有高达27.2%被评估为低于可接受的质量(得分< 3);ChatGPT这一比例为2.6%。

(3)在同理心方面,ChatGPT平均评分为3.65,医生为2.15。整体上医生的得分比ChatGPT低了41%。同时,ChatGPT的回答被评为具有同理心或非常具有同理心的比例为45.1%,高于医生的4.6%,相当于ChatGPT在同理心方面相对于医生取得了9.8倍的优势。

同时,这项研究还提供了几个例子供参考。

一名患者在论坛上提问题:漂白剂溅到眼睛后是否有失明的风险。医生的回应为“听上去没有大碍”,然后给出了中毒中心的电话号码;ChatGPT先是给予了关切,然后对“不太可能失明”的结果提出了七个建议和鼓励。

一名患者表示,打喷嚏时手臂疼痛,这是否为需要警惕的征兆?ChatGPT首先回答基本上不用担心,接着给出了详细的解释,最后表示当疼痛严重或持续时间较长时,建议咨询专业医疗人员。

还没完全准备好

虽然这项实验中,ChatGPT似乎表现的比人类医生更好,但其回答的准确度还需要验证。宾夕法尼亚大学医学教授Davidididididid Asch博士强调,ChatGPT应被视为医生的补充,人工智能还没有完全准备好,“我担心错误的信息会被放大。”

在今年2月同样发表于JAMA的一份报告显示,使用ChatGPT获取医疗咨询答复,还存在着一定的风险。

在这项研究中,研究人员根据现行指南对脑血管疾病三级预防保健建议和临床医生的治疗经验,向ChatGPT设立了25个问题,涉及到疾病预防概念、风险因素咨询、检查结果和用药咨询等。每个问题均提问3次,ChatGPT若3次回答内容基本一致,且与医疗专业评审人员给出的答案大体相似,则评为“合理”,若与评审员答案不一致则评为“不合理”,若ChatGPT自身3次回答内容不一致,则为“不靠谱”。

结果显示,ChatGPT的合理概率为84%(21/25),虽然这一概率看起来不低,但放在实际个体中,错误的建议对患者而言是极有风险的。例如,对于“我应该做什么运动来维持健康?”这一问题,ChatGPT推荐了有氧、举重等运动,但这并不准确,因为对某些患者而言这两项运动对身体是有害的、不安全的。

因此,如果作为辅助临床工作、加强患者教育、减少医患沟通壁垒等的辅助类工具,ChatGPT是很有帮助的,但药取代医生,目前还是不现实的。

标签

为你推荐

iPSC 生物制造平台瑞臻再生医学完成近亿元Pre-A轮融资资讯

iPSC 生物制造平台瑞臻再生医学完成近亿元Pre-A轮融资

本轮融资将重点支持公司核心管线 iDA-001(iPSC 来源细胞治疗帕金森症)的研发进程

2025-05-08 16:40

傲鲨智能完成两轮融资,加速布局消费级外骨骼机器人赛道资讯

傲鲨智能完成两轮融资,加速布局消费级外骨骼机器人赛道

本轮融资将重点用于消费级外骨骼机器人产品线拓展、核心技术升级及全球化产业落地,进一步巩固其在工业与消费级市场的双轨竞争力。

2025-05-08 16:05

赛诺菲亮相第二十七届科博会,深耕中国市场,共振科创脉搏资讯

赛诺菲亮相第二十七届科博会,深耕中国市场,共振科创脉搏

本次参展,赛诺菲围绕“追寻科学奇迹,共创健康未来”主题,着重展示了公司在引领免疫学创新、共筑本土科创生态,以及服务中国患者三大领域取得的关键成果,直观展现赛诺菲在中...

2025-05-08 14:25

远大医药全球创新核药TLX591国际多中心III期临床国内IND获受理资讯

远大医药全球创新核药TLX591国际多中心III期临床国内IND获受理

核药创新引领全球前列腺癌治疗新篇章

2025-05-07 21:06

百济神州Q1:BTK泽布替尼全球销售额超50亿元,同比增长64%资讯

百济神州Q1:BTK泽布替尼全球销售额超50亿元,同比增长64%

业绩快报显示,百济神州实现营收80 48亿元,同比增长50 2%。

2025-05-07 20:15

高罗华新适应症在华获批,丰富复发/难治弥漫大B细胞淋巴瘤二线治疗选择资讯

高罗华新适应症在华获批,丰富复发/难治弥漫大B细胞淋巴瘤二线治疗选择

今日(5月7日),罗氏制药中国宣布,创新双特异性抗体高罗华®(英文商品名:Columvi®,中英文通用名:格菲妥单抗 Glofitamab)新适应症已获得中国国家药品监督管理局的上市批...

2025-05-07 17:31

司美格鲁肽第一季度大卖超80亿美元资讯

司美格鲁肽第一季度大卖超80亿美元

5月7日,诺和诺德公布了其2025年第一季度业绩。财报显示,该季度,诺和诺德总营收为780 87亿丹麦克朗,同比增长19%,经营利润为387 91亿丹麦克朗,同比增长22%,净利润为290 ...

2025-05-07 16:19

全球脓毒症治疗重大里程碑,远大医药全球创新药STC3141国内II期临床公布资讯

全球脓毒症治疗重大里程碑,远大医药全球创新药STC3141国内II期临床公布

试验结果证实了STC3141在脓毒症治疗中的有效性和安全性,该临床研究进度处于全球脓毒症研究领域前列

2025-05-06 19:56

智新浩正完成近2亿元融资,加速推进异体再生胰岛临床转化与亚洲布局资讯

智新浩正完成近2亿元融资,加速推进异体再生胰岛临床转化与亚洲布局

资金将主要用于推进国内首个异体通用型再生胰岛管线临床I II期试验,加速拓展亚洲市场,并布局糖尿病、肝病治疗领域的新管线。

2025-05-06 16:20

赛诺菲与CD&R完成欧彼乐交易, 打造全球消费者健康领域领导者资讯

赛诺菲与CD&R完成欧彼乐交易, 打造全球消费者健康领域领导者

赛诺菲宣布,已完成将其消费者健康业务欧彼乐50 0%的控股权出售予Clayton, Dubilier & Rice(以下简称CD&R)的交易。

2025-05-06 12:25

被罚1.95亿元,A股上市药企仙琚制药涉嫌价格垄断资讯

被罚1.95亿元,A股上市药企仙琚制药涉嫌价格垄断

在五一节假日临近尾声之际,仙琚制药发布一则公告,宣布其收到了一张金额接近2亿元的巨额罚单。值得注意的是,该罚款金额几乎占到了仙琚制药2024年净利润的一半。

2025-05-06 12:07

阿斯利康最新披露:在中国或面临800万美元新罚款资讯

阿斯利康最新披露:在中国或面临800万美元新罚款

据相关报道,英国当地时间4月29日,阿斯利康在最新季度的财报会议上透露,就在华涉嫌非法进口药品一事,公司可能可能会在中国面临一项新的罚款。

2025-04-30 15:53

君合盟生物重组A型肉毒毒素临床试验双线突破,覆盖严肃医疗与消费医疗两大领域资讯

君合盟生物重组A型肉毒毒素临床试验双线突破,覆盖严肃医疗与消费医疗两大领域

用于成人中、重度眉间纹适应症的III期临床试验在组长单位北京大学第一医院正式启动并完成首例入组。针对成人脑卒中后上肢痉挛治疗的II期临床试验由复旦大学附属华山医院牵头并顺...

2025-04-30 12:39

海关总署关于进口阿根廷牛黄的检疫和卫生要求资讯

海关总署关于进口阿根廷牛黄的检疫和卫生要求

本公告中的牛黄是指来自于阿根廷共和国国内养殖牛的胆囊或胆管的干燥胆结石。

2025-04-28 22:10

股价只剩2毛,这家上市15年的A股药企要退市了资讯

股价只剩2毛,这家上市15年的A股药企要退市了

上市15年后,吉药控股最终还是走向了退市的结局。

2025-04-28 17:50

科塞尔医疗完成近亿元B+轮融资,加速血管介入器械全领域平台化布局资讯

科塞尔医疗完成近亿元B+轮融资,加速血管介入器械全领域平台化布局

本轮融资由国内知名投资机构铁投巨石领投,苏高新金控持续追加投资,园雍投资跟投,资金将用于核心产品研发、全球市场推广及产能扩建。

2025-04-28 16:54

一款印度企业的原料药被暂停进口资讯

一款印度企业的原料药被暂停进口

昨日(4月27日),国家药监局发布公告称,暂停进口印度企业VITAL LABORATORIES PVT LTD 地高辛原料药。

2025-04-28 12:52

凯西集团2024财年实现双位数营收增长,不断投资研发,聚焦可持续发展资讯

凯西集团2024财年实现双位数营收增长,不断投资研发,聚焦可持续发展

凯西集团(Chiesi Group)是一家以研发为基石的意大利国际制药集团,总部位于意大利帕尔马,业务覆盖全球31个国家和地区。在2024财年,凯西集团圆满收官,取得了强劲的财务业绩...

2025-04-28 11:29