基于情感-认知负荷的数字助理制造技术

本公开的实施方案阐述了一种计算机实施的方法，该方法包括：从至少一个传感器接收与环境相关联的传感器数据；基于传感器数据来计算与该环境内的用户相关联的认知负荷；基于传感器数据计算与用户的情绪状态相关联的情感负荷；基于认知负荷和情感负荷两者，确定情感

【技术实现步骤摘要】
基于情感
‑
认知负荷的数字助理


[0001]各种实施方案通常涉及数字助理，且更具体地，涉及基于情感
‑
认知负荷的数字助理。

技术介绍

[0002]各种数字系统包括辅助用户执行任务的数字助理。例如，各种车辆包括协助驾驶员操纵车辆的高级驾驶员辅助系统(ADAS)。这样的ADAS可包括驾驶员监视系统(DMS)，该驾驶员监视系统监视驾驶员以便评估驾驶员对车辆的操纵，并且使ADAS能够通过提供各种水平的辅助(诸如，通过生成通知、自动执行各种驾驶任务等)来对驾驶员的状态作出响应。
[0003]与给定环境进行交互时，用户通常将焦点分散在多个对象之间。例如，驾驶员可能将焦点分散在驾驶车辆和与另一人进行对话之间。在某些情况下，驾驶员可能无法适当地进行调整以足够聚焦于驾驶任务以便充分应对诸如交通变拥挤、天气状况糟糕、意外障碍物等偶发的复杂驾驶情况。
[0004]通常，ADAS可轻松地检测分散注意力的对象，并且可确定驾驶员是否聚焦在道路上。然而，驾驶员监视系统可能无法确定驾驶员在执行驾驶任务时的聚焦程度。例如，DMS可包括用于确定驾驶员的眼睛是否聚焦于道路的相机，但是DMS可能不考虑会原本减轻对成功执行驾驶任务的聚焦的其他对象和刺激。因此，ADAS可能无法有效地辅助驾驶员，并且驾驶员可能无法改变自己的行为以正确地处理必要的驾驶任务。
[0005]鉴于以上问题，用于监视用户在环境中交互的状态的更有效的技术将是有用的。

技术实现思路

[0006]一个实施方案提出了一种计算机实施的方法，该方法包括：从至少一个传感器接收与环境相关联的传感器数据；基于传感器数据来计算与该环境内的用户相关联的认知负荷；基于传感器数据计算与用户的情绪状态相关联的情感负荷；基于认知负荷和情感负荷两者，确定情感
‑
认知负荷；基于情感
‑
认知负荷来确定与用户相关联的用户准备状态；并且基于用户准备状态导致发生一个或多个动作。
[0007]其他实施方案尤其提供了被配置成实施上述计算机可读存储介质的方法和系统。
[0008]相对于先前的数字助理系统，所公开技术的至少一个技术优势在于，基于估计用户的认知负荷以及用户的情绪状态的直接测量的组合来计算用户准备状态提供了对用户处理一个或多个任务的能力的更准确的指示。
附图说明
[0009]为了能够详细地理解上面阐述的各种实施方案的所述特征的方式，可通过参考各种实施方案来对上面简要概述的专利技术思想进行更具体的描述，附图中示出了各种实施方案中的一些。然而，注意的是，附图只示出本专利技术思想的典型实施方案，且因此不应被认为以任何方式限制范围，且存在其它等效的实施方案。
[0010]图1示出了被配置为实施本公开的一个或多个方面的用户准备系统的框图。
[0011]图2示出了根据各种实施方案的被配置为实施图1的用户准备系统的车辆的乘客舱。
[0012]图3示出了根据各种实施方案的图1的用户准备应用的框图。
[0013]图4A示出了根据各种实施方案的与图1的用户准备应用相关联的情感
‑
认知负荷值的示例性查找表。
[0014]图4B示出了根据各种实施方案的与图1的用户准备应用相关联的情感
‑
认知负荷值的另一示例性查找表。
[0015]图5示出了根据各种实施方案的从由图1的用户准备应用所得出的各个生物计量值计算出的情感
‑
认知负荷。
[0016]图6示出了根据各种实施方案的包括图3的基于情感
‑
认知负荷的数字助理的示例性车辆系统。
[0017]图7是根据各种实施方案的基于情感
‑
认知负荷来生成输出信号的方法步骤的流程图。
具体实施方式
[0018]在下面的描述中，阐述了许多特定细节以提供对各种实施方案的更为透彻的理解。然而，对本领域的技术人员将是明显的是，可在没有这些特定细节中的一个或多个的情况下实行本专利技术的思想。
[0019]系统概述
[0020]图1示出了被配置为实施本公开的一个或多个方面的用户准备系统100的框图。如图所示，用户准备系统100包括但不限于计算设备110、传感器120、输入/输出(I/O)设备130和网络150。计算设备110包括处理单元112和存储器114，其中存储器114存储用户准备应用140和数据库142。网络150包括数据存储区152。
[0021]在操作中，处理单元112从传感器120接收传感器数据。处理单元112执行用户准备系统140以便处理传感器数据，并且确定与用户的心理生理状态相关联的各种生物计量值。这样的生物计量值包括估计用户正采用的大脑活动量的认知负荷，以及估计用户正经历的情绪(指定为预定义的情绪或与心理生理状态相关联的一组情绪参数化度量)的情感负荷。在各种实施方案中，情感负荷可包括一个或多个单独的情绪度量，诸如单独的唤醒和/或效价值。另外地或可选地，情感负荷可包括一个或多个离散的情绪状态和/或每个的相关联的值。一旦确定了用户的生物计量值，用户准备应用140就经由一个或多个估计算法来组合生物计量值，以确定情感
‑
认知负荷(ACL)作为生物计量值的合成。在各种实施方案中，用户准备应用140将该ACL与数据库142和/或数据存储区152中包括的其他ACL数据进行比较，以便将ACL映射到估计用户处理一个或多个任务的能力的用户准备状态。然后，用户准备应用140和/或其他应用(未示出)可基于所确定的用户准备状态来生成输出信号。例如，用户准备应用140可以是高级驾驶员辅助系统(ADAS)的组件，一旦用户准备应用140确定用户准备处于目标值和/或目标范围之外，该ADAS将某些任务自动化和/或经由一个或多个输出信号提供通知。
[0022]如上所述，计算设备110可包括处理单元112和存储器114。计算设备110可以是包
括一个或多个处理单元112的设备，诸如片上系统(SoC)。在各种实施方案中，计算设备110可以是诸如平板计算机、移动电话、媒体播放器等的移动计算设备。在一些实施方案中，计算设备110可以是被包括在车辆系统中的头部单元。通常，计算设备110可被配置为协调用户准备系统100的整体操作。本文公开的实施方案预期到被配置为经由计算设备110实施用户准备系统100的功能的任何技术上可行的系统。
[0023]计算设备110的各种示例包括：移动设备(例如，手机、平板电脑、笔记本电脑等)、可穿戴设备(例如，手表、戒指、手镯、耳机等)、消费产品(例如，游戏、博奕等)、智能家居设备(例如，智能照明系统、安全系统、数字助理等)、通信系统(例如，电话会议系统、视频会议系统等)等。计算设备110可以位于各种环境中，该环境包括但不限于：家庭环境(例如，办公室、厨房等)、道路车辆环境(例如，消费汽车、商用卡车等)、航天和/或航空环境(例如，飞机、直升机、宇宙飞船等)、航海和海底环境等。
[0024]处理单本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算机实施的方法，其包括：从至少一个传感器接收与环境相关联的传感器数据；基于所述传感器数据，计算与所述环境内的用户相关联的认知负荷；基于所述传感器数据，计算与所述用户的情绪状态相关联的情感负荷；基于所述认知负荷和所述情感负荷两者，确定情感
‑
认知负荷；基于所述情感
‑
认知负荷，确定与所述用户相关联的用户准备状态；并且基于所述用户准备状态使一个或多个动作发生。2.根据权利要求1所述的计算机实施的方法，其中：所述情感负荷包括唤醒值和效价值；并且确定所述情感
‑
认知负荷包括：基于所述认知负荷、所述唤醒值和所述效价值，搜索一个或多个查找表，所述一个或多个查找表包括指定情感
‑
认知负荷的条目，并且识别所述一个或多个查找表中包括的条目，其中所述条目对应于一组所述认知负荷、所述唤醒值和所述效价值。3.根据权利要求1所述的计算机实施的方法，其中所述传感器数据包括图像数据。4.根据权利要求1所述的计算机实施的方法，其中：所述情感负荷包括唤醒值和效价值；并且确定所述情感
‑
认知负荷包括：应用算法技术应用算法技术根据所述认知负荷、以及所述唤醒值或所述效价值中的至少一个来计算所述情感
‑
认知负荷。5.根据权利要求4所述的计算机实施的方法，其中所述算法技术包括基于所述认知负荷和所述唤醒值来应用威布尔分布函数。6.根据权利要求1所述的计算机实施的方法，其中：计算所述认知负荷包括：从所述传感器数据中包括的图像数据确定一个或多个眼睛参数，并且从所述一个或多个眼睛参数计算所述认知负荷；并且计算所述情感负荷包括：从所述传感器数据确定预定义的情绪，并且识别与所述预定义的情绪相对应的唤醒值，并且识别与所述预定义的情绪相对应的效价值，其中所述唤醒值和所述效价值被包括在所述情感负荷中。7.根据权利要求1所述的计算机实施的方法，其中基于所述用户准备状态使所述一个或多个动作发生包括：使输出设备基于所述用户准备状态来生成输出信号。8.根据权利要求7所述的计算机实施的方法，其中所述输出信号使所述输出设备改变至少一个操作参数。9.根据权利要求7所述的计算机实施的方法，其中所述输出信号使从所述输出设备发出至少一个通知消息。10.根据权利要求7所述的计算机实施的方法，其中所述输出信号使一个或多个灯改变亮度。11.一种或多种非暂时性计算机可读介质，其存储指令，所述指令在由一个或多个处理器执行时，使所述一个或多个处理器执行以下步骤：
从至少一个传感器接收与环境相关联的传感器数据；基于所述传感器数据，计算与所述环境内的用户相关联的认知负荷；基于所述传感器数据，计算与所述用户的情绪状态相关联的情感负荷；应用算法技术，根据所述认知负荷和所述情感负荷来计算情感
‑
认知负荷；基于所述情感
‑
认知负荷，确定与所述用户相关联的用户准备状态；并且基于所述用户准备状态使一个或多个动作发生。12.根据权利要求11所述的一种或多种非暂时性计算机可读介质，其中所述传感器数据包括图像数据。13.根据...

【专利技术属性】
技术研发人员：A鲍兰格，S克拉茨，J弗贝克，P塞尚里，E伯密斯特罗夫，N曼索里安，S马蒂，
申请(专利权)人：哈曼国际工业有限公司，
类型：发明
国别省市：