与自动化控制系统的行为相关的解释的生成和呈现技术方案

一种用于生成并向用户呈现解释的系统，包括输入模块，该输入模块被配置为接收传感器数据并将传感器数据输入到自动化系统的控制系统，该控制系统被配置为基于传感器数据并根据灰箱决策算法来控制自动化系统的操作。该系统还包括解释模块和显示模块，解释模块被配置为生成对由控制系统做出的决定和自动化系统的相应行为的解释，所述解释基于用户的请求和用户模型中的至少一个生成，显示模块被配置为向用户呈现所生成的解释。用户呈现所生成的解释。用户呈现所生成的解释。

Generation and presentation of explanations related to the behavior of automated control systems

【技术实现步骤摘要】
与自动化控制系统的行为相关的解释的生成和呈现


[0001]本主题公开涉及用户与自动驾驶或操作系统交互的技术。更具体地，本主题公开涉及用于向用户呈现自动驾驶行为的解释的系统和方法。

技术介绍

[0002]车辆越来越多地配备自动驾驶系统，提供各种级别的自动化。例如，车辆可以具有完全自主控制、半自主控制和特定车辆功能的自主控制(例如，制动或转向)。半自动和全自动驾驶行为部分由决策算法决定。由于用户并不完全了解决策过程，因此可能会出现用户不确定行为发生原因的情况。例如，自动化控制系统可以执行机动以避开检测到的驾驶员不可见的车辆或物体，或者自动化控制系统的限制可以导致车辆以意外的方式运行。这种情况会引起用户的担忧，并削弱用户对自动和半自动车辆的信心。

技术实现思路

[0003]在一个示例性实施例中，一种用于生成并向用户呈现解释的系统，包括输入模块，该输入模块被配置为接收传感器数据并将传感器数据输入到自动化系统的控制系统，该控制系统被配置为基于传感器数据并根据灰箱决策算法来控制自动化系统的操作。该系统还包括解释模块和显示模块，解释模块被配置为生成对由控制系统做出的决定和自动化系统的相应行为的解释，解释基于用户的请求和用户模型中的至少一个生成，显示模块被配置为向用户呈现所生成的解释。
[0004]除了在此描述的一个或多个特征之外，所生成的解释包括基于操作上下文选择的预定解释，操作上下文基于自动化系统动态数据和自动化系统周围环境的一个或多个特征。
[0005]除了在此描述的一个或多个特征之外，所生成的解释基于概率解释算法，解释算法指示是否要呈现所生成的解释以及要呈现所生成的解释的时间。
[0006]除了在此描述的一个或多个特征之外，解释算法是灰箱决策算法的扩展。
[0007]除了在此描述的一个或多个特征之外，用户模型指示响应于所确定的操作上下文用户将被关注的概率，并且解释模块被配置为基于大于选定阈值的概率向显示模块输出生成的解释。
[0008]除了在此描述的一个或多个特征之外，该系统还包括解释过滤器模块，该解释过滤器模块被配置为基于用户模型来调整所生成的解释的长度和时机中的至少一个。
[0009]除了在此描述的一个或多个特征之外，解释模块被配置为基于马尔可夫决策过程(MDP)生成所生成的解释。
[0010]除了在此描述的一个或多个特征之外，所生成的解释选自以下至少一个：短视解释(myopic explanation)、解释系列、对比解释、语义解释和以用户为中心的解释。
[0011]在一个示例性实施例中，一种生成并向用户呈现解释的方法，包括接收传感器数据并将传感器数据输入到自动化系统的控制系统，该控制系统被配置为基于传感器数据并
根据灰箱决策算法来控制自动化系统的操作。该方法还包括通过解释模块生成对由控制系统做出的决定和自动化系统的相应行为的解释，该解释是基于用户的请求和用户模型中的至少一项生成的，并向用户呈现所生成的解释。
[0012]除了在此描述的一个或多个特征之外，所生成的解释包括基于操作上下文选择的预定解释，操作上下文基于自动化系统动态数据和自动化系统周围环境的一个或多个特征。
[0013]除了在此描述的一个或多个特征之外，所生成的解释基于概率解释算法，解释算法指示是否要呈现所生成的解释以及要呈现所生成的解释的时间。
[0014]除了在此描述的一个或多个特征之外，解释算法是灰箱决策算法的扩展。
[0015]除了在此描述的一个或多个特征之外，用户模型指示响应于确定的操作上下文用户将被关注的概率，并且基于大于选定阈值的概率来呈现所生成的解释。
[0016]除了在此描述的一个或多个特征之外，该方法还包括解释过滤器，用于基于用户模型调整所生成的解释的长度和时机中的至少一个。
[0017]除了在此描述的一个或多个特征之外，所生成的解释基于马尔可夫决策过程(MDP)。
[0018]除了在此描述的一个或多个特征之外，所生成的解释选自以下至少一个：短视解释、解释系列、对比解释、语义解释和以用户为中心的解释。
[0019]在一个示例性实施例中，一种车辆系统，包括具有计算机可读指令的存储器和用于执行计算机可读指令的处理设备。计算机可读指令控制处理设备执行接收传感器数据并将传感器数据输入到自动化系统的控制系统，控制系统被配置为基于传感器数据并根据灰箱决策算法来控制自动化系统的操作。计算机可读指令还控制处理设备执行通过解释模块生成对由控制系统做出的决定和自动化系统的相应行为的解释，该解释基于用户的请求和用户模型中的至少一个生成，并向用户呈现所生成的解释。
[0020]除了在此描述的一个或多个特征之外，生成的解释包括基于操作上下文选择的预定解释，操作上下文基于自动化系统动态数据和自动化系统周围环境的一个或多个特征。
[0021]除了在此描述的一个或多个特征之外，生成的解释基于概率解释算法，解释算法指示是否要呈现所生成的解释以及要呈现所生成的解释的时间。
[0022]除了在此描述的一个或多个特征之外，用户模型指示响应于确定的操作上下文用户将被关注的概率，并且基于大于选定阈值的概率来呈现所生成的解释。
[0023]当结合附图时，根据以下详细描述，本公开的上述特征和优点以及其他特征和优点将变得显而易见。
附图说明
[0024]其他特征、优点和细节仅作为示例出现在以下详细描述中，该详细描述参考了附图，其中:
[0025]图1是根据示例性实施例的包括解释系统的各方面的机动车辆的俯视图；
[0026]图2描绘了根据示例性实施例的被配置为执行生成和/或呈现自动化系统的行为的解释的各方面的计算机系统；
[0027]图3描绘了根据示例性实施例的用于向用户呈现关于自动化系统的行为的解释的
系统；
[0028]图4是描绘根据示例性实施例的生成用户模型并主动呈现由自动化控制系统执行或计划的动作的解释的方法的各方面的流程图；
[0029]图5是描绘根据示例性实施例的经由解释引擎生成解释的方法的各方面的流程图；
[0030]图6是描绘根据示例性实施例的呈现由自动化控制系统执行或计划的动作或行为的解释的方法的各方面的流程图；
[0031]图7是描绘根据示例性实施例的呈现由自动化控制系统执行或计划的动作或行为的解释的方法的各方面的流程图；和
[0032]图8描绘了根据示例性实施例的包括自动解释引擎和解释过滤器系统的解释系统。
具体实施方式
[0033]以下描述本质上仅仅是示例性的，并不旨在限制本公开、其应用或用途。应当理解，在所有附图中，相应的附图标记表示相似或相应的部件和特征。
[0034]根据一个或多个示例性实施例，提供了用于生成和/或呈现自动化系统的动作或行为的解释的方法和系统。这些解释提供了关于为什么自动化系统以某种方式运行的见解，从而减轻了用户的压力并增加了对自动化系统的信心。“自动化系统”可以是具有自动化控制能力本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于生成并向用户呈现解释的系统，包括:输入模块，被配置为接收传感器数据并将所述传感器数据输入到自动化系统的控制系统，该控制系统被配置为基于所述传感器数据并根据灰箱决策算法来控制所述自动化系统的操作；解释模块，被配置为生成对由所述控制系统做出的决定和所述自动化系统的相应行为的解释，所述解释是基于以下至少一项生成的:用户的请求和用户模型；和显示模块，被配置为向用户呈现所生成的解释。2.根据权利要求1所述的系统，其中所生成的解释包括基于操作上下文选择的预定解释，所述操作上下文基于所述自动化系统动态数据和所述自动化系统周围的环境的一个或多个特征。3.根据权利要求1所述的系统，其中所生成的解释基于概率解释算法，所述解释算法指示是否要呈现所生成的解释以及要呈现所生成的解释的时间。4.根据权利要求3所述的系统，其中所述解释算法是所述灰箱决策算法的扩展。5.根据权利要求1所述的系统，其中所述用户模型指示响应于所确定的操作上下文用户将被关注的概率，并且所述解释模块被配置为基于大于选定阈值的所述概率，...

【专利技术属性】
技术研发人员：C高曼申哈，
申请(专利权)人：通用汽车环球科技运作有限责任公司，
类型：发明
国别省市：