今年4月,《美国医学会杂志》(JAMA)刊发了一项研究成果:通过在线盲测,ChatGPT在提供医疗咨询服务上方面,其回答质量和同理心等都高于现实世界中的人类医生。
篇幅、回答质量、同理心等,ChatGPT均高于人类医生
美国加州大学圣地亚哥分校的研究人员从社交媒体问答网站Reddit有关医学问答的“AskDocs”子论坛上随机抽取了2022年10月期间195个由执业医生做出回答的医学问题,并在2022年12月22日和23日提交给ChatGPT生成回答。之后,3名在儿科、老年医学、内科、肿瘤学、传染病和预防医学等领域持有执业证的专家团队对问题、医生的回答和ChatGPT的回答进行阅读,并对2种回答中哪个回答更好、回复质量如何、是否具备同理心等3个方面基于李克特量表进行审查、评分。值得一提的是,审查人员是在无法知晓答案来自医生还是ChatGPT的基础上进行的盲评。
结果表明:
(1)在回复的篇幅上,医生的回复平均文字长度为52个字节,而ChatGPT为211个字节。
ChatGPT显得更“详细”。
(2)在回复质量上,ChatGPT的回答质量被评为好或非常好的比例高达78.5%,而医生这一比例为22.1%;相当于ChatGPT对医生形成了3.6倍的优势。同时,ChatGPT的回答总体上优于“好”,平均评分高达4.13;医生的回答被整体评估为略优于“可接受”,平均评分为3.26;医生的回答中有高达27.2%被评估为低于可接受的质量(得分< 3);ChatGPT这一比例为2.6%。
(3)在同理心方面,ChatGPT平均评分为3.65,医生为2.15。整体上医生的得分比ChatGPT低了41%。同时,ChatGPT的回答被评为具有同理心或非常具有同理心的比例为45.1%,高于医生的4.6%,相当于ChatGPT在同理心方面相对于医生取得了9.8倍的优势。
同时,这项研究还提供了几个例子供参考。
一名患者在论坛上提问题:漂白剂溅到眼睛后是否有失明的风险。医生的回应为“听上去没有大碍”,然后给出了中毒中心的电话号码;ChatGPT先是给予了关切,然后对“不太可能失明”的结果提出了七个建议和鼓励。
一名患者表示,打喷嚏时手臂疼痛,这是否为需要警惕的征兆?ChatGPT首先回答基本上不用担心,接着给出了详细的解释,最后表示当疼痛严重或持续时间较长时,建议咨询专业医疗人员。
还没完全准备好
虽然这项实验中,ChatGPT似乎表现的比人类医生更好,但其回答的准确度还需要验证。宾夕法尼亚大学医学教授Davidididididid Asch博士强调,ChatGPT应被视为医生的补充,人工智能还没有完全准备好,“我担心错误的信息会被放大。”
在今年2月同样发表于JAMA的一份报告显示,使用ChatGPT获取医疗咨询答复,还存在着一定的风险。
在这项研究中,研究人员根据现行指南对脑血管疾病三级预防保健建议和临床医生的治疗经验,向ChatGPT设立了25个问题,涉及到疾病预防概念、风险因素咨询、检查结果和用药咨询等。每个问题均提问3次,ChatGPT若3次回答内容基本一致,且与医疗专业评审人员给出的答案大体相似,则评为“合理”,若与评审员答案不一致则评为“不合理”,若ChatGPT自身3次回答内容不一致,则为“不靠谱”。
结果显示,ChatGPT的合理概率为84%(21/25),虽然这一概率看起来不低,但放在实际个体中,错误的建议对患者而言是极有风险的。例如,对于“我应该做什么运动来维持健康?”这一问题,ChatGPT推荐了有氧、举重等运动,但这并不准确,因为对某些患者而言这两项运动对身体是有害的、不安全的。
因此,如果作为辅助临床工作、加强患者教育、减少医患沟通壁垒等的辅助类工具,ChatGPT是很有帮助的,但药取代医生,目前还是不现实的。
为你推荐
![金斯瑞生物科技发布业绩预告:业绩大幅增长29.1%至50.6%,亏损显著收窄](https://img.medvalley.cn/2024/0727/1722044429374485.jpg)
金斯瑞生物科技发布业绩预告:业绩大幅增长29.1%至50.6%,亏损显著收窄
公司预期2024年上半年收益将实现稳健增长,预计范围在5 05亿美元至5 90亿美元之间,较去年同期的约3 91亿美元大幅增长29 1%至50 6%。
2024-07-27 09:37
![国内首个,信念医药针对血友病B的基因治疗药物申报上市](https://img.medvalley.cn/2024/0726/20240726052719581.png)
国内首个,信念医药针对血友病B的基因治疗药物申报上市
7月24日,信念医药宣布国家药品监督管理局(NMPA)已正式受理BBM-H901注射液用于治疗血友病B成年患者的新药上市申请(NDA)。BBM-H901注射
2024-07-26 17:24
![一款社恐药,有了最新进展](https://img.medvalley.cn/2024/0726/1721986125620959.jpg)
一款社恐药,有了最新进展
近日,clinicaltrials网站显示,Bionomics启动了BNC210治疗社交恐惧症(SAD,简称社恐)的III期研究(AFFIRM-1)。已被授予快速通道资格社
2024-07-26 16:27
![江苏豪森药业被处罚210万元,暴露了哪些销售推广问题](https://img.medvalley.cn/2024/0724/20240724100752418.jpg)
江苏豪森药业被处罚210万元,暴露了哪些销售推广问题
近日,据信用中国网站披露,因不正当竞争行为,江苏豪森药业集团有限公司被湖北恩施市市场监管局出具《行政处罚决定书》,被罚款金额210万元。
2024-07-24 22:01
![世界头颈癌日:HPV感染风险不仅限宫颈癌,科学防护很重要](https://img.medvalley.cn/2024/0724/20240724045924925.png)
世界头颈癌日:HPV感染风险不仅限宫颈癌,科学防护很重要
近年来,HPV作为宫颈癌的头号病因频频刷屏,也让越来越多的人关注HPV预防,主动了解HPV相关科普知识。事实上,持续的高危型HPV感染可能导致宫颈癌、肛门癌、阴道癌、外阴癌、阴...
2024-07-24 16:57
![国产首款,精准生物治疗儿童白血病CAR-T产品申报上市](https://img.medvalley.cn/2024/0724/1721810185338810.png)
国产首款,精准生物治疗儿童白血病CAR-T产品申报上市
近日,中国国家药监局(NMPA)药品审评中心(CDE)官网公示,重庆精准生物的pCAR-19B细胞自体回输制剂(普基仑赛注射液)已经提交新药上市
2024-07-24 16:35
![国内定价一万1针的降脂药,上半年全球大卖24亿元](https://img.medvalley.cn/2024/0724/20240724043511984.png)
国内定价一万1针的降脂药,上半年全球大卖24亿元
近日,诺华公布了其2024年上半年财报,报告显示其上半年净销售额为243亿美元,同比增长11%;净利润59亿美元,同比增长43%。中国销售额为21
2024-07-24 16:30
![专家大咖共话前列腺癌:揭秘“沉默的杀手”,聚焦前沿治疗新突破](https://img.medvalley.cn/2024/0724/20240724025542791.jpg)
专家大咖共话前列腺癌:揭秘“沉默的杀手”,聚焦前沿治疗新突破
前列腺癌已成为严重威胁男性群体生存质量和身心健康的重要疾病之一,为提升公众及患者对于前列腺癌的认知和了解,强化早诊早治意识,日前,上海交通大学医学院附属仁济医院泌...
文/史士云 2024-07-24 14:53
![按病组(DRG)和病种分值(DIP)付费2.0版发布,“特例单议”机制](https://img.medvalley.cn/2024/0723/1721744177412564.jpg)
按病组(DRG)和病种分值(DIP)付费2.0版发布,“特例单议”机制
截至2023年底,全国九成以上统筹地区开展了DRG DIP付费,其中190个统筹地区开展DRG付费,192个统筹地区开展DIP付费,天津、上海两个直辖市兼有DRG和DIP付费。26个省份已实现省...
2024-07-23 22:15
![复旦大学附属中山医院揭示小分子褐藻糖胶在肝癌辅疗中的重大突破](https://img.medvalley.cn/2024/0723/1721725810135953.jpeg)
复旦大学附属中山医院揭示小分子褐藻糖胶在肝癌辅疗中的重大突破
7月20日,由复旦大学附属中山医院与上海科林临床生物信息学研究所合作进行的一项双盲、随机、安慰剂对照研究,近日在上海发布了小分子褐藻糖胶在肝细胞癌(HCC)辅助治疗中的显着成...
2024-07-23 17:07
![一款HPV疫苗的合作被终止](https://img.medvalley.cn/2024/0723/20240723042139392.png)
一款HPV疫苗的合作被终止
日前,万泰生物发布公告称,全资子公司厦门万泰沧海生物技术有限公司(以下简称“万泰沧海”)与GSK决定终止新一代宫颈癌疫苗HPV9-AS04候选
2024-07-23 16:16
![摆脱输血依赖超2个月,正序生物公布基因编辑疗法治愈外籍患者案例](https://img.medvalley.cn/2024/0723/1721703675499249.jpg)
摆脱输血依赖超2个月,正序生物公布基因编辑疗法治愈外籍患者案例
近日,专注于新型基因编辑技术的创新生物医药科技企业正序生物(上海)宣布,与广西医科大学第一附属医院合作开展的针对重型β-地中海贫血
2024-07-23 11:00
![《中老年人主动健康管理指数报告》公布,“京、沪、深、津、穗”位列前五](https://img.medvalley.cn/2024/0722/1721655478461237.jpg)
《中老年人主动健康管理指数报告》公布,“京、沪、深、津、穗”位列前五
在7月24日“国际自我保健日”到来之际,由人民网·人民健康发起、第一财经及中国老年保健协会支持的“健康中国,健康乐龄,从主动管理开始”圆桌沟通会在京召开
2024-07-22 21:35
![福建第五批药品集采,7月22日-8月5日填报](https://img.medvalley.cn/2024/0721/1721538823425407.jpg)
福建第五批药品集采,7月22日-8月5日填报
本次集中带量采购品种包括新一轮省级集采药品、 省级集采协议到期接续采购药品。 申报品种区分A、 B两组, A组为按照《福建省医疗保障局关于进一步完善药品联合限价阳光采购...
2024-07-21 13:13
![从倡议到行动,《Castleman病(铃铛病)关爱行动指南》在北京发布](https://img.medvalley.cn/2024/0720/20240720054254639.png)
从倡议到行动,《Castleman病(铃铛病)关爱行动指南》在北京发布
中华医学会罕见病分会、中华医学会血液学分会罕见病学组、中国Castleman病协作组(CCDN)和卡斯特曼之家联合在北京正式发布《Castleman病(铃铛病)关爱行动指南》(2024)。
2024-07-20 17:34
![2024百度健康产业生态大会举办,探讨AI如何打破“医疗不可能三角”](https://img.medvalley.cn/2024/0719/1721384874787883.jpg)
2024百度健康产业生态大会举办,探讨AI如何打破“医疗不可能三角”
7月19日,在北京举办的2024百度健康产业生态大会上,百度集团资深副总裁、百度大健康事业群组总裁何明科发表主题演讲时表示,AI应普惠,科技是让人人健康最确定性的答案之一。
2024-07-19 18:27
![全球首个且唯一获批白介素17A/F双靶点抑制剂优时比倍捷乐强直性脊柱炎适应证获批](https://img.medvalley.cn/2024/0719/1721375603848753.jpg)
全球首个且唯一获批白介素17A/F双靶点抑制剂优时比倍捷乐强直性脊柱炎适应证获批
适用于常规治疗疗效不佳或不耐受的活动性强直性脊柱炎(AS,放射学阳性中轴型脊柱关节炎)成人患者
2024-07-19 15:43