青少年越来越多地使用人工智慧驱动的心理健康应用程序，学校有机会利用这项技术为学生提供更多支援。
但 对流行技术的新风险评估 敦促学生和教育工作者谨慎行事。
根据Common Sense Media（研究和倡导青少年健康使用技术的非营利组织）和史丹佛大学脑力激荡实验室的评估，这些应用程式的市场不受监管，可用的产品可能对青少年有害。
然而，并非所有人工智慧心理健康应用程式都是一样的。专为学校使用而设计的、让人们了解情况的应用程式在风险评估方面比直接面向消费者的应用程式表现得更好。
Common Sense Media 青少年人工智慧安全研究所的人工智慧和数位评估负责人Robbie Torney 表示，对于那些努力满足学生心理健康需求、面临学校心理学家和辅导员短缺问题的学区来说，这些应用程式可能是一种有用的资源。
他说：“这些基于学校的心理健康应用程式可以帮助学生获得所需的支持，但它们不能成为学生获得所需支持的唯一部分。”
虽然许多人（包括青少年）转向ChatGPT 等通用人工智慧聊天机器人来寻求心理健康支持，但专门构建的人工智慧心理健康应用程式通常声称是根据临床专业知识设计的，并提供基于治疗的框架、安全协议，有时还提供人工监督。
根据Common Sense Media 的另一项研究，十分之三的青少年使用过人工智慧心理健康应用程序，甚至更多的青少年使用ChatGPT 等通用应用程式来获得心理健康或情感支持。
评估是如何进行的
Common Sense Media 和史丹佛脑力激荡实验室的研究人员首先评估了两个「机构」应用程式和三个消费者应用程式的安全性和实用性。为了确定这些应用程式是否安全，研究人员创建了测试帐户，看看应用程式是否能够识别焦虑、过动症、忧郁和精神病等各种状况的警告信号。他们还测试了这些应用程式是否能够准确评估情况的严重性，提供危机资源并在必要时引导使用者接受专业护理，并且不提供可能使用户症状恶化或延误适当治疗的有害建议。
尽管支援所有测试应用程式的技术都是相似的，但专为学校设计并让人们了解情况的机构应用程序，Alongside 和Sonar，在风险评估中得分明显更高。
“声纳”号的风险被评为“最小”，“沿途”号的风险被评为“低”。
对于Sonar，学生可以与健康教练发短信，而不是与人工智慧聊天机器人。报告称，人工智慧被用来「提供过去参与的背景、建议回应、标记问题并协助分类」。
报告指出，使用「Alongside」的学生可以与人工智慧聊天机器人聊天，但该聊天机器人被整合到学校现有的护理系统中，而不是一个独立的工具。当与学生的聊天涉及高风险话题时，该应用程式会向学校辅导员和管理人员发出警报。如果学生在3 小时内发送超过60 则讯息，则聊天功能将被停用。
托尼说，风险评估仍然发现了这些应用程式的一些弱点。除了难以识别和标记饮食失调的迹像外，自动化偏差可能会使Sonar 的人类教练面临过度依赖其聊天机器人的风险，尤其是在没有适当培训的情况下。
该公司产品和临床护理总监Elsa Friis 表示，尽管受到该报告「低」风险评级的鼓舞，Alongside 仍认真对待这些建议。
「我们认为回馈是我们不断加强安全、问责制和适合年龄的支持的责任的一部分，」她说。 “我们已经实施了评估中的建议，包括改善饮食失调升级途径，并且我们正在继续努力，让年轻学生更容易理解这种体验。”
《教育周刊》联系Sonar 征求意见，但在发表前未收到回应。
该报告在总结中建议，一个能够快速与有需要的用户透过电话联系的应用程式是每个产品都应遵循的标准。
评估称，人工智慧心理健康应用程式也应该有意义地融入人类护理系统。报导称，Alongside 和Sonar 都坦言其人工智慧功能的局限性，他们的应用程式旨在引导学生接受护理，而不是取代护理。
易于存取的消费者心理健康应用程式在品质上存在显著差距
报告称，在研究人员测试的消费者应用程式中，有两款在评估过程中从应用程式商店消失，没有通知或过渡支援。第三个消费者应用程式Wysa 的风险评级为「不可接受」。
托尼说，风险评估中包括了这些应用程序，因为它们很受欢迎，而且学龄儿童很容易自己下载。
托尼说，所测试的直接面向消费者的产品的一个一致问题是它们未能将各个点连接起来。
「如果我在一次对话或一系列多次对话中透过一系列交流分享讯息，人类治疗师或人类咨商师将能够将这些讯息放在一起，并以整体方式了解年轻人正在发生的事情，」他说。他说，人工智慧可以识别明显的精神困扰迹象，但该技术经常错过「面包屑」。
这些应用程式也没有强制执行他们声称使用的年龄限制，并鼓励用户在应用程式上花费更多时间。
Wysa 执行长Jo Aggarwal 在声明中表示，该公司欢迎对其产品进行审查。但是，她说，该应用程式的免费成人版是作为风险评估的一部分进行测试的，而不是专门针对学校和其他类似环境的儿童和青少年产品。
「Wysa 的免费消费者应用程式是一款针对成年人的有限制的、基于证据的自助工具，」她说。 「它不是危机服务、诊断工具、治疗替代品或临床医生主导的途径，其安全协议是针对这种情况而设计的。我们已经解决了报告中确定的围绕安全计划检索的真正改进领域，并且我们正在加强有帮助的护栏。但我们强烈反对任何将Wysa 定性为不安全的说法。”
Wysa 发言人表示，Wysa 青少年的应用程式只能透过学校和咨询服务等支付该产品费用的实体提供。根据购买的服务，如果用户点击应用程式拨打危机热线或采取其他类似行动，学校或咨询服务机构可能会收到警报。
根据风险评估，研究人员记录的Wysa 普遍可用的应用程式中最严重的一些问题包括与13 岁的测试角色一起玩成人性游戏；反映用户在表现出饮食失调、躁狂和精神病迹象时的庆祝和热情的语言；让青少年轻松脱离自杀危机之路，无需任何后续行动。
报告指出，人工智慧产生的此类反应可能会延迟关键治疗。
然而，风险评估发现，即使在没有提示的情况下，Wysa 也确实在整个对话过程中揭露了其人工智慧的局限性。
较早的一个 通用人工智慧聊天机器人对心理健康的风险评估Common Sense Media 的ChatGPT、Claude 和Gemini 等聊天机器人在安全、适当地回应青少年的查询方面也存在类似问题。
