用于自动驾驶车辆的情感自适应驾驶策略制造技术

在一个示例中，一种用于自动驾驶车辆的情感自适应驾驶策略的系统包括：用于检测与车辆中的至少一个乘客相关的环境信息的第一多个传感器，以及通信地耦合至该多个传感器并且包括处理电路的控制器，该处理电路用于从该第一多个传感器接收环境信息、根据该环境信息确定至少一个乘客的情感状态、以及至少部分地基于至少一个乘客的情感状态来实施驾驶策略。可描述其他示例。

【技术实现步骤摘要】
【国外来华专利技术】用于自动驾驶车辆的情感自适应驾驶策略优先权要求本申请要求2018年3月30日提交的题为“用于自动驾驶车辆的情感自适应驾驶策略(EmotionalAdaptiveDrivingPoliciesforAutomatedDrivingVehicles)”的美国申请第15/941,303号的权益和优先权，其全部内容通过引用结合于此。领域本公开总体上涉及电子学领域。更具体地，实施例涉及汽车系统以及自主驾驶和/或机器辅助驾驶。
技术介绍
现有自动车辆系统的一个基本限制在于，它们缺乏对人对车辆操作决策的反应的适当监测和理解。在其他问题中，自动驾驶行业面临着建立和维护车辆乘员与控制车辆的人工智能系统之间的信任的挑战。自动驾驶系统的一个基本问题在于，车辆内乘客之间存在信任断开。许多人完全信任车辆的自动驾驶能力，以至于过度自信(超出系统限制)，而其他人在任何情况下都不信任自动驾驶系统。因此，用于将一个或多个乘客的情感状态并入自主驾驶系统的决策过程的系统和方法可以取得效用。附图说明参考所附附图提供详细描述。在附图中，附图标记最左边的(多个)数字标识该附图标记在其中首次出现的附图。相同的附图标记在不同附图中的使用指示类似或相同的项。图1A是示出根据一些示例的能够实现自动驾驶车辆的情感自适应策略的系统的元件的图。图1B、1C、1D和1E是示出根据一些示例的对各种刺激的情感反应的图。图2A、2B和2C是根据一些示例的能够实现自动驾驶车辆的情感自适应策略的系统的示意性图示。图3是示出根据一些示例的用来实现自动驾驶车辆的情感自适应策略的方法中的操作的流程图。图4是示出根据一些示例的用来实现自动驾驶车辆的情感自适应策略的方法中的操作的流程图。图5A、5B、5C和图5D是示出根据一些示例的驾驶操纵(maneuver)的图。图6示出根据实施例的芯片上系统(SOC)封装的框图。图7是根据实施例的处理系统的框图。图8是根据一个或多个实施例的处理器的框图，该处理器具有一个或多个处理器核、集成存储器控制器以及集成图形处理器。图9是根据一个或多个实施例的图形处理器的框图，该图形处理器可以是分立的图形处理单元，或可以是与多个处理核集成的图形处理器。图10示出根据一个或多个实施例的网络系统的架构。图11示出根据一个或多个实施例的无线通信设备的示例组件。图12是根据一个或多个实施例的机器学习软件栈的通用图。图13示出根据一个或多个实施例的深度神经网络的训练和部署。具体实施方式在下列描述中，阐述了众多特定细节以便提供对各实施例的全面理解。然而，在没有这些特定细节的情况下，也可实施各实施例。在其他实例中，未详细描述公知的方法、过程、组件和电路，以免使特定实施例变得模糊。此外，各实施例的各方面可使用各种装置来执行，诸如集成半导体电路(“硬件”)、组织成一个或多个程序的计算机可读指令(“软件”)、或硬件与软件的某种组合。出于本公开的目的，对“逻辑”的引用应当意指硬件、软件、固件或它们的某种组合。如上所述，现有自动车辆系统的一个基本限制在于，它们缺乏对人对车辆操作决策的反应的适当监测和理解。本文描述的主题致力于应用情感理解来满足上述努力的限制，旨在提供一个情感感知的自主系统，该系统考虑到各种自主驾驶决策可能对乘客情绪舒适性的影响，并具有用于学习这些反应并且将这些反应并入安全和安保目标的机制，以符合乘客的期望和反应。在各方面中，本文描述的主体提供用于测量、监测和建模乘客情感状态的技术，以及至少部分基于对乘客情感状态模型的实时输入来调节自动车辆的各种驾驶策略以适应乘客舒适性的机制。描述了使用多模式方法估计车辆中乘客情感状态的各种技术。可以将乘客情感状态的测量集成到自主驾驶系统的操作机制中。还描述了驾驶策略机制、基于规则的驾驶策略和使用强化学习的基于人工智能的驾驶策略的各示例。本文描述的集成概念可以扩展到其他自主系统设计。参考图1A，在一些示例中，多模式情感理解系统100可包括生理通道110、视频通道120和声学通道130。系统100收集自主车辆中的一个或多个乘客的分析，并且追踪车辆中的个人反应和人之间的反应。系统100可包括腕部穿戴的心率传感器和胸部穿戴的心率传感器，以及通过多个源的实时音频和视频捕获。每个通道捕获和处理信息，而来自通道的信息可以在特征级和输出级进行组合，以供有效分类。本文描述了通道110、120、130的各种属性，但是可以理解，这不是可以使用的传感器的详尽列表。更广泛的列表包括可以增加情感状态依据的任何生理传感器，包括例如：EMG、EEG、血压、皮质醇、呼吸、或车辆本身测量的任何物理扰动(诸如平衡、身体压力、方向盘或扶手或任何把手或柄上的抓握压力、(在4级自主车辆中)加速或制动的速度和力)等。也可以并入来自任何声学或任何光谱(红外到紫外及以上)光传感器的信息。在系统100中，各种传感器可被时间同步以收集车辆车舱内的信息。在一个示例中，乘客可以穿戴生理传感器，并且生理传感器可以与电话同步，该电话进而与车辆的自主驾驶系统无线同步。在另一示例中，各种传感器可建立与车辆的自主驾驶系统的直接通信连接。参考图1B和1C，在一些示例中，系统在我们的参与者中寻找个体的以及集体的沮丧和惊愕的迹象。图1B是示出例如基于在车辆中驾驶较长时间内心率的相对变化的方面的沮丧程度的图。图1B是指示兴奋/激活程度(沮丧或压力的指示)提高的独立分析的单个人的生理信号的示例。参考图1C，惊愕和沮丧的指示也可以在许多其他生理通道(例如，电刺激皮肤反应(GSR))中找到。参考图1D，给出了惊愕的多乘客融合信号指示的GSR的示例。如图1D所示，GSR惊愕反应呈现为初期之后的急剧增加。在该情况下，所示的初期是标记为“mic”的麦克风声脉冲，而反应在三个感测位置示出，整个手和从脚趾至足弓的整个脚。如果多个乘客同时表现出惊愕反应，则更有可能发生具有情感影响的驾驶事件。还可以从乘客声音的声学特性(例如，相对响度、音调变化、语音速度等)检测出乘客情感状态的指示。在一些示例中，可以使用多个声音特征(例如，能量、F0或梅尔频率(MFCC)系数)来量化语音特性。在一个示例中，SVM分类器可以使用这些特征来识别高兴奋和低兴奋的声学特性，以推断语音的“兴奋”程度(例如，某人有点生气或非常生气)。在一些示例中，系统可包括情绪参数。除了可以从语音的声学信号中量化的信息外，系统还可以提取语音的内容(即，所说的话语)。例如，如果系统识别出咒骂或乘客对汽车说“愚蠢的汽车，你几乎撞到了那个柱子！”，则系统可以推断出表达中的负面情绪。相反，如果两个人谈话愉快，诸如“我真的很高兴去意大利。我们去年去了，感觉棒极了！”，则系统可以推断出积极的情绪。例如，情绪可用于在高兴的激动的话语与生气的激动的话语之间作出区分。在一些示例中，系统组合情感通道信息来创建对乘客情感状态的整体预测，并尝试推断情感反应是否响应于驾驶相关的情况，特别是响应于汽车采取的本文档来自技高网...

【技术保护点】
1.一种用于自动驾驶车辆的情感自适应驾驶策略的系统，包括：/n用于检测与车辆中至少一个乘客相关的环境信息的第一多个传感器；以及/n通信地耦合至所述多个传感器并且包括处理电路的控制器，所述处理电路用于：/n从所述第一多个传感器接收所述环境信息；/n根据所述环境信息确定所述至少一个乘客的情感状态；以及/n至少部分地基于所述至少一个乘客的情感状态来实施驾驶策略。/n

【技术特征摘要】
【国外来华专利技术】20180330 US 15/941,3031.一种用于自动驾驶车辆的情感自适应驾驶策略的系统，包括：
用于检测与车辆中至少一个乘客相关的环境信息的第一多个传感器；以及
通信地耦合至所述多个传感器并且包括处理电路的控制器，所述处理电路用于：
从所述第一多个传感器接收所述环境信息；
根据所述环境信息确定所述至少一个乘客的情感状态；以及
至少部分地基于所述至少一个乘客的情感状态来实施驾驶策略。


2.如权利要求1所述的系统，其中所述多个传感器包括相机传感器、麦克风传感器或生物测定传感器中的至少一个。


3.如权利要求2所述的系统，其中所述控制器包括处理电路，所述处理电路用于实现：
心率情感分类器，以根据代表所述至少一个乘客的心率的输入来确定所述至少一个乘客的情感状态；
音频情感分类器，以根据代表所述至少一个乘客的音频输出的输入来确定所述至少一个乘客的情感状态；
语义情感分类器，以根据代表所述至少一个乘客的音频输出的语义的输入来确定所述至少一个乘客的情感状态；以及
计算机视觉情感分类器，以根据所述相机传感器的输出来确定所述至少一个乘客的情感状态。


4.如权利要求3所述的系统，进一步包括：用于检测与车辆周围环境有关的上下文信息的第二多个传感器，其中所述多个传感器包括视频传感器、RADAR传感器、LIDAR传感器、惯性测量单元(IMU)传感器和全球导航卫星系统(GNSS)传感器中的至少一个。


5.如权利要求4所述的系统，其中所述控制器包括处理电路，所述处理电路用于实现：
基于传感器的对象识别模块，以基于来自所述第二多个传感器的输入来标识接近车辆的一个或多个对象；以及
定位模块，以基于来自所述IMU传感器或所述GNSS传感器中的至少一个的输入来确定所述车辆的位置。


6.如权利要求5所述的系统，进一步包括处理电路，所述处理电路用于实现用于产生车辆的轨迹的驾驶策略引擎。


7.如权利要求6所述的系统，其中所述驾驶策略引擎包括：
语义理解模块；
轨迹生成模块；以及
轨迹监测模块。


8.如权利要求6所述的系统，其中所述驾驶策略引擎包括：
包含情感规则的数据存储；
包含交通规则的数据存储；
路径规划模块；以及
轨迹生成和监测模块。


9.如权利要求6所述的系统，其中所述驾驶策略引擎执行至少部分地包括硬件逻辑的逻辑以：
确定所述车辆的当前轨迹；
至少部分地基于所述至少一个乘客的情感状态来生成所述车辆的更新的轨迹；
基于所述更新的轨迹来执行操纵；以及
响应于所述至少一个乘客的情感状态的变化来改变所述更新的轨迹。


10.如权利要求6所述的系统，其中所述驾驶策略引擎包括：
编程为至少部分地基于所述至少一个乘客的情感状态来最大化回报函数的神经网络模型。

【专利技术属性】
技术研发人员：J·希利，V·帕拉西奥斯里维拉，I·阿尔瓦雷兹，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US