一组研究人员创建了一个新的AI系统，可以向非计算机科学家的用户解释其决策过程。该系统可能代表了AI发展的新发展，更加让人信服和易于理解。可解释AI领域旨在建立机器人与人类之间的协作信任。

　　XAI 的目标是增加人类和机器人的协作和信任。DARPA XAI 项目是发展这一研究领域的极好催化剂。该团队研究了可解释系统如何在人机交互过程中影响用户对AI的感知和信任。研究人员主要是通过展示AI系统如何为用户做出决策来研究分类任务模型。“被动机器-主动用户”范式要求用户不断检查 XAI 系统，以掌握 AI 判断背后的推理。

　　研究人员开发了一种系统，旨在实现所谓的“价值对齐”。机器人或机器可以推断出人类用户行为或结论背后的原因。这可以极大地改善人与机器人之间的沟通和互动。

　　研究人员创建了一款名为“侦察探索”的游戏，玩家也可以在其中合作达成目标以训练和评估他们的 XAI 系统。人类和机器人需要调整其所谓的“价值功能”是游戏中最关键的元素之一。

　　据研究人员称，一组机器人能在游戏中检测周围环境，模拟现实世界的应用，目标是让机器人独立运行，以减少人工干预的需要。用户被赋予了一个特定的价值函数，由几个参数的权重表示，因为人类用户不能直接与环境交互。

　　在侦察探索游戏中，机器人团队必做出推断，因为他们没办法访问提供给人类用户的价值函数。机器人和人类团队必相互推断这个值才能达成目标，因为它很难解释和交流。

　　机器人团队必从根本上理解人类用户的价值功能，仅基于人类的反馈来完成“侦察探索”中的任务。人类用户都能够提供反馈，帮助机器人改进，并在他们熟悉他们当前的价值估计时引导他们做出正确的反应。

　　研究人员开发的系统在早期评估中展示了显着的结果，从而在侦察探索游戏中实现了价值的即时和交互式对齐。团队发现，虽然用户都能够在游戏进行到一半时准确感知机器人的价值函数，但机器人早在游戏进行 25% 时就与人类用户的价值函数对齐。

　　用户的真实值用作双向值对齐的锚，该双向值对齐由机器人的值与用户的真实值的收敛以及用户对机器人对机器人当前值的重要性的估计所形成。研究人员的方法强调了构建智能机器的必要性，这些机器通过交互来学习和理解我们的意图和价值观，这对于避免小说和大银幕上描绘的许多反乌托邦科幻故事至关重要。”

　　XAI 系统涉及智能机器人或助手主动与人交互、共享他们的流程并提高他们的性能以响应用户反馈。这个学术团队的最新研究为专注于创造更易理解的人工智能的知识体系做出了重大贡献。

　　价值对齐是通向通用人机协作的第一步。在这项工作中，价值对齐发生在特定任务的框架内。例如，研究人员预计单个家用机器人能协助我们完成各种日常任务，而不是购买大量机器人，每个机器人只能执行一项任务。

　　研究团队还希望在后续研究中将我们的框架应用于其他任务和实际机器人。除了价值观，他们都以为一个潜在的途径是匹配人类和机器人之间心理模型的不同组成部分。研究人员希望能够通过他们新的可解释 AI 范例来改善各种任务上的人机协作。此外，他们预计这一策略将增强人类对基于AI的系统的信心，例如虚拟助手、机器人和智能助手。

　　特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。

　　外媒：ASML开始秋后算账了，60台光刻机，1000亿元！荷兰正式宣布

　　国航B6131专机，搭载着叙利亚总统，选择了一条最安全的航线日，李咏的女儿突然在美国发文！网友：真是天翻地覆的变化

　　iPhone 15/15 Plus首发体验：Pro级实力认证，加量不加价

　　iPhone 15 Pro系列体验：升级不止「Pro」 综合表现「Max」