ChatGPT医学问答力压人类医生?JAMA发布研究报告

医疗健康 来源:医谷网
2023
05/10
15:32
医谷网 医疗健康

今年4月,《美国医学会杂志》(JAMA)刊发了一项研究成果:通过在线盲测,ChatGPT在提供医疗咨询服务上方面,其回答质量和同理心等都高于现实世界中的人类医生。

篇幅、回答质量、同理心等,ChatGPT均高于人类医生

美国加州大学圣地亚哥分校的研究人员从社交媒体问答网站Reddit有关医学问答的“AskDocs”子论坛上随机抽取了2022年10月期间195个由执业医生做出回答的医学问题,并在2022年12月22日和23日提交给ChatGPT生成回答。之后,3名在儿科、老年医学、内科、肿瘤学、传染病和预防医学等领域持有执业证的专家团队对问题、医生的回答和ChatGPT的回答进行阅读,并对2种回答中哪个回答更好、回复质量如何、是否具备同理心等3个方面基于李克特量表进行审查、评分。值得一提的是,审查人员是在无法知晓答案来自医生还是ChatGPT的基础上进行的盲评。

结果表明:

(1)在回复的篇幅上,医生的回复平均文字长度为52个字节,而ChatGPT为211个字节。

ChatGPT显得更“详细”。

(2)在回复质量上,ChatGPT的回答质量被评为好或非常好的比例高达78.5%,而医生这一比例为22.1%;相当于ChatGPT对医生形成了3.6倍的优势。同时,ChatGPT的回答总体上优于“好”,平均评分高达4.13;医生的回答被整体评估为略优于“可接受”,平均评分为3.26;医生的回答中有高达27.2%被评估为低于可接受的质量(得分< 3);ChatGPT这一比例为2.6%。

(3)在同理心方面,ChatGPT平均评分为3.65,医生为2.15。整体上医生的得分比ChatGPT低了41%。同时,ChatGPT的回答被评为具有同理心或非常具有同理心的比例为45.1%,高于医生的4.6%,相当于ChatGPT在同理心方面相对于医生取得了9.8倍的优势。

同时,这项研究还提供了几个例子供参考。

一名患者在论坛上提问题:漂白剂溅到眼睛后是否有失明的风险。医生的回应为“听上去没有大碍”,然后给出了中毒中心的电话号码;ChatGPT先是给予了关切,然后对“不太可能失明”的结果提出了七个建议和鼓励。

一名患者表示,打喷嚏时手臂疼痛,这是否为需要警惕的征兆?ChatGPT首先回答基本上不用担心,接着给出了详细的解释,最后表示当疼痛严重或持续时间较长时,建议咨询专业医疗人员。

还没完全准备好

虽然这项实验中,ChatGPT似乎表现的比人类医生更好,但其回答的准确度还需要验证。宾夕法尼亚大学医学教授Davidididididid Asch博士强调,ChatGPT应被视为医生的补充,人工智能还没有完全准备好,“我担心错误的信息会被放大。”

在今年2月同样发表于JAMA的一份报告显示,使用ChatGPT获取医疗咨询答复,还存在着一定的风险。

在这项研究中,研究人员根据现行指南对脑血管疾病三级预防保健建议和临床医生的治疗经验,向ChatGPT设立了25个问题,涉及到疾病预防概念、风险因素咨询、检查结果和用药咨询等。每个问题均提问3次,ChatGPT若3次回答内容基本一致,且与医疗专业评审人员给出的答案大体相似,则评为“合理”,若与评审员答案不一致则评为“不合理”,若ChatGPT自身3次回答内容不一致,则为“不靠谱”。

结果显示,ChatGPT的合理概率为84%(21/25),虽然这一概率看起来不低,但放在实际个体中,错误的建议对患者而言是极有风险的。例如,对于“我应该做什么运动来维持健康?”这一问题,ChatGPT推荐了有氧、举重等运动,但这并不准确,因为对某些患者而言这两项运动对身体是有害的、不安全的。

因此,如果作为辅助临床工作、加强患者教育、减少医患沟通壁垒等的辅助类工具,ChatGPT是很有帮助的,但药取代医生,目前还是不现实的。

标签

为你推荐

万泰生物HPV疫苗竞标价降至86元资讯

万泰生物HPV疫苗竞标价降至86元

近日,江苏政府采购网显示,在双价人乳头瘤病毒疫苗集中采购中,万泰生物中标,采购货物为双价人乳头瘤病毒疫苗(大肠杆菌),即二价HPV疫

2024-03-28 14:42

安斯泰来和辉瑞的EV联合帕博利珠单抗用于一线治疗膀胱癌sBLA获国家药监局受理资讯

安斯泰来和辉瑞的EV联合帕博利珠单抗用于一线治疗膀胱癌sBLA获国家药监局受理

3月28日,安斯泰来制药集团宣布,中国国家药品监督管理局(NMPA)药品审评中心(CDE)已于2024年3月27日受理enfortumab vedotin与pembrolizumab(帕博利珠单抗)联合用药用于一...

2024-03-28 12:31

国家卫生健康委国际交流与合作中心·因美纳公共卫生教育奖学金 2023年度评审会暨颁奖大会在京举行资讯

国家卫生健康委国际交流与合作中心·因美纳公共卫生教育奖学金 2023年度评审会暨颁奖大会在京举行

2024年3月26日,国家卫生健康委国际交流与合作中心·因美纳公共卫生教育奖学金(下称“公共卫生教育奖学金”)2023年度评审会暨颁奖大会在北京大学医学部正式召开。来自国家卫生...

2024-03-28 11:53

基石药业2023年财报出炉:聚焦研发,ROR1ADC取得突破性临床进展资讯

基石药业2023年财报出炉:聚焦研发,ROR1ADC取得突破性临床进展

2023年基石药业总收入为4 638亿元人民币,其中商业化收入3 681亿元人民币;公司财务状况稳健,截至2023年12月31日现金储备为10 3亿元人民币。

2024-03-27 23:03

远大医药布局全球创新眼科药物TP-03,或将填补国内蠕形螨睑缘炎治疗市场空白资讯

远大医药布局全球创新眼科药物TP-03,或将填补国内蠕形螨睑缘炎治疗市场空白

TP-03已于2023年7月获得美国FDA批准上市,是目前FDA批准的首款也是唯一一款针对蠕形螨睑缘炎的药物。

2024-03-27 18:23

国家药监局调整麻醉药品和精神药品进出口准许证管理事宜资讯

国家药监局调整麻醉药品和精神药品进出口准许证管理事宜

自本公告发布之日起,国家药监局仅发放电子准许证,不再发放纸质证件。

2024-03-27 17:39

安斯泰来VYLOY在日本获批用于治疗胃癌,成为全球目前首个且唯一获批的CLDN18.2靶向疗法资讯

安斯泰来VYLOY在日本获批用于治疗胃癌,成为全球目前首个且唯一获批的CLDN18.2靶向疗法

3月26日,安斯泰来制药集团宣布,日本厚生劳动省于2024年3月26日批准了VYLOY(zolbetuximab)的新药上市申请,作为首创靶向Claudin 18 2(CLDN18 2)的单克隆抗体,zolbetuximab...

2024-03-27 15:24

石药集团司美格鲁肽减重适应症获批临床资讯

石药集团司美格鲁肽减重适应症获批临床

近日,石药集团公告,其开发的司美格鲁肽注射液已获中华人民共和国国家药品监督管理局批准,可在中国开展用于减少热量饮食和增加体力活动的

2024-03-27 10:46

特应性皮炎研究探索不止,徐金华教授展望未来治疗方向资讯

特应性皮炎研究探索不止,徐金华教授展望未来治疗方向

近日,医谷有幸采访到复旦大学附属华山医院皮肤科主任医师徐金华教授,就特应性皮炎的发病现状、治疗难点以及新型治疗药物TYK2抑制剂ICP-332的研究进展进行了深入探讨。

文/张蓉蓉 2024-03-27 10:44

神曦生物AAV-NeuroD1基因治疗产品实现全球首例患者给药资讯

神曦生物AAV-NeuroD1基因治疗产品实现全球首例患者给药

近日,注册成立于张江的神曦生物宣布,其自主研发的AAV-NeuroD1基因治疗产品NXL-004在苏州大学附属第四医院(苏州市独墅湖医院)完成首例患

2024-03-26 17:17

一家中国明星biotech被收购资讯

一家中国明星biotech被收购

继阿斯利康收购亘喜生物,诺华收购信瑞诺医药后,又一家中国明星biotech被收购。3月25日,美国上市生物制药企业Nuvation Bio宣布将以全股

2024-03-26 15:57

金斯瑞生物科技荣获 EcoVadis铜牌评级 践行可持续发展承诺展现卓越成果资讯

金斯瑞生物科技荣获 EcoVadis铜牌评级 践行可持续发展承诺展现卓越成果

这一成果标志着公司在推动节能减排、确立业务可持续发展模式以及提升供应链可持续性等方面所作努力赢得了全球高标准的认可。

2024-03-26 10:51

专家观点 | 精准引领,开启精神疾病诊疗新篇章资讯

专家观点 | 精准引领,开启精神疾病诊疗新篇章

2019年中国首次全国性精神障碍流行病学调查结果显示,我国成人精神障碍(不含老年期痴呆)终生患病率为16 57%,意味着在中国近五分之一成年人患有不同精神障碍。

文/王璐 2024-03-26 10:32

以“数”赋能,以“智”提质——联仁健康亮相中国(苏州)创新药物医学大会暨2024CMAC年会资讯

以“数”赋能,以“智”提质——联仁健康亮相中国(苏州)创新药物医学大会暨2024CMAC年会

2024年3月21-24日,中国(苏州)创新药物医学大会暨2024CMAC年会(以下简称“CMAC”)在苏州举办,汇聚120余场学术论坛,6500多位医药界大咖和行业同仁莅临现场。作为医药领域规...

2024-03-26 09:31

卡尔史托斯八度折桂,斩获卓越金人奖等多项荣誉资讯

卡尔史托斯八度折桂,斩获卓越金人奖等多项荣誉

2024年3月15日-17日由《中国医疗设备》杂志社主办的“第十四届中国医疗设备行业数据发布大会暨中国医疗产业发展论坛于北京圆满召开。

2024-03-25 18:16

支气管导航操作控制系统等4款创新产品获批上市资讯

支气管导航操作控制系统等4款创新产品获批上市

近日,国家药品监督管理局批准了直观医疗公司Intuitive Surgical,Inc “支气管导航操作控制系统”(以下简称Ion系统)等4款创新产品的注册申请。

2024-03-25 09:42

这款国产“首个”疫苗,8个月卖了8.8亿资讯

这款国产“首个”疫苗,8个月卖了8.8亿

近日,百克生物发布2023年年报,公司去年实现营业收入18 25亿元,同比增长70 30%;实现归母净利润5 01亿元,同比增长175 98%。其中,百克生

2024-03-25 09:28

远大医药创新核药再传捷报,ITM-11国内III期临床获批资讯

远大医药创新核药再传捷报,ITM-11国内III期临床获批

3月24日晚,公司公布其用于治疗胃肠胰腺神经内分泌瘤的全球创新放射性核素偶联药物(RDC) ITM-11近日已获得国家药监局批准开展III期临床研究(COMPOSE研究)。

2024-03-24 19:09

商务部部长王文涛主持召开医药行业外资企业圆桌会资讯

商务部部长王文涛主持召开医药行业外资企业圆桌会

3月23日,商务部部长王文涛主持召开医药行业外资企业圆桌会议。百时美施贵宝、葛兰素史克、丹纳赫、辉瑞、艾伯维、赛诺菲、武田制药、吉利德科学、默克等跨国公司全球高管和美国...

2024-03-23 21:29

阜阳市肿瘤医院原党委书记、院长陈志军正接受调查资讯

阜阳市肿瘤医院原党委书记、院长陈志军正接受调查

据安徽省纪委监委消息:阜阳市肿瘤医院原党委书记、院长陈志军涉嫌严重违纪违法,目前正接受阜阳市纪委监委纪律审查和监察调查。

2024-03-23 16:35