使用聊天机器人提供医疗建议可能会引起幻觉,甚至使您面临安全和隐私风险。以下是危险因子以及如何保持安全。
2026 年5 月27 日
•
,
5分钟读

无论好坏,聊天机器人正在改变我们思考、学习和感知周围世界的方式。这种破坏在生活的许多领域都很明显,但最敏感和最令人担忧的领域之一可能是越来越多地使用生成式人工智慧(GenAI) 工具进行医疗保健。除了许多免费提供的人工智慧聊天机器人外,主要科技公司还推出了以下服务,进入面向消费者的健康人工智慧领域: 副驾驶健康, 聊天GPT 健康, 和 亚马逊的健康人工智慧 这些模型可以帮助使用者解释他们的医疗记录,并询问有关他们的症状、实验室结果和治疗方案的问题。
但期望人工智慧工具扮演医生的角色是存在风险的。此外,风险不仅在于用户收到错误的建议,还在于他们可能与隐私保护、数据共享实践和法律义务可能与医生或医院不同的系统共享高度敏感的个人信息,并且他们的数据可能会暴露给意想不到的实体。一位美国病患安全中心表示,目前人工智慧聊天机器人的滥用已成为第一大健康科技危害 组织。
从理论到实践
模型建构者在这个领域推出的原因很明显:聊天机器人已经成为一种非常流行的搜寻医疗建议的方式。根据 微软,人们在行动装置上谈论自己和亲人的健康比其他任何话题都多。聊天机器人全天候(24/7) 为所有问题提供答案,并以自信的语气提供答案,有助于让紧张的患者放松下来。
在国家医疗保健系统面临越来越大的压力之际,许多人可能会在人工智慧的帮助下进行自我诊断,然后决定是否寻求医疗协助。进入迷宫般的医疗系统而不是在家中进行分类所花费的时间、精力和潜在成本使得这种做法成为一种流行的做法。
然而担忧已经开始出现。第一个是幻觉或不正确的建议。牛津大学 学习 从二月开始发表于 自然医学 成立:
- 使用者通常不知道他们应该与法学硕士分享哪些讯息
- 法学硕士提供了截然不同的答案,即使向他们提出的问题仅略有不同
- 模型经常提供好的建议和坏的建议,但使用者很难区分这两者
「尽管大肆宣传,人工智慧还没有准备好承担医生的角色,」该研究的首席医生丽贝卡·佩恩博士警告。 “患者需要意识到,向大型语言模型询问他们的症状可能很危险,会给出错误的诊断,并且无法识别何时需要紧急帮助。”
揭露隐私风险
还有一些与健康无关的风险应该鼓励人们停下来思考。最明显的是,与公开的聊天机器人分享敏感的医疗资讯可能意味着资料被用来训练模型,因此会回馈给其他人。甚至不经意间,模特儿 已被知晓 意外暴露使用者输入的资料。
一些提供者可能会使用数据来改进他们的模型,除非用户选择退出,而其他提供者则做出更强有力的承诺,不会使用与健康相关的资讯进行培训。不管怎样,每个人在上传任何敏感内容之前都应该知道他们正在处理什么样的服务。您的健康数据不像被盗的信用卡,可以在更换和重新发行详细资讯时被冻结。它是您终生的,一旦与人工智慧工具共享,它可能会成为永久的数位记录。
另一方面,大多数主要以健康为中心的聊天机器人承诺不会将这些数据用于培训目的。尽管如此,培训只是隐私图景的一部分,而且这些服务可能不会对第三方资料共享做出同样的承诺。您的个人医疗资讯可能会掌握在资料聚合器(位于模型提供者和您的医疗保健提供者之间的第三方)手中。它也可能直接或透过这些聚合器之一与广告商共享,尽管它通常在使用前进行匿名处理。即便如此,人们也应该保持谨慎:健康数据异常敏感,匿名化并不总是能消除所有风险。
当违规风险倍增时
敏感资料在如此多的组织中传输的问题在于,它更有可能暴露给数位窃贼和诈欺者。 美国议员声称 发现数据经纪公司的少数违规行为造成了210 亿美元的损失。健康数据很容易被诈欺者货币化,原因如下:
- 它可以长期保留其价值,因为它通常无法更换或重新发行
- 它可能包含保险信息,用于以您的名义提交虚假索赔或接受医疗服务
- 它可能会被用来勒索你
持有这些资料的公司越多,骇客入侵和窃取资料的机会就越多。挑战在于,大多数医疗保健人工智慧工具不受HIPAA 监管,因为它们被归类为消费者级服务,而不是企业级服务。这意味着提供者可能不受您通常期望的那种严格的资料保护规则的约束。
给患者的建议
那么如何才能最大限度地减少医疗保健GenAI 的风险呢?如果您担心健康状况,请避免使用通用机器人,而应寻找专门为回答健康相关问题而设计的机器人。检查该服务是否解释了它如何处理您的资料、是否使用您的培训提示、是否与第三方共享资讯以及是否受HIPAA 或您所在国家/地区的同等隐私制度的保护。
不要盲目相信输出,除非有引用连结来验证它。即便如此,也不要将其答案视为福音:务必咨询医疗专业人员和/或官方网站(例如, 国民医疗服务体系, 医疗线Plus)。
为了保护您的隐私,请考虑以下事项:
- 除非您了解该工具如何处理这些数据,否则切勿使用人工智慧工具共用/上传医疗文件、实验室结果或其他敏感文件。
- 避免输入姓名、地址、保险详细资料、病患编号或其他识别码。
- 确保关闭训练和聊天历史记录功能。
- 仅共享任务所需的最少资讯。
- 假设您输入的所有内容都可以保留或公开,并相应地调整提示。
最终,人工智慧聊天机器人可能有助于集思广益,向您的医生询问有关特定病症的问题,或解释您不熟悉的医学术语。但使用人工智慧为护理做准备和使用人工智慧作为护理的替代品之间存在很大差异。不要将自信的答案视为诊断,也不要因为机器听起来令人安心而忽略紧急症状。
