用于自主和半自主驾驶应用的乘员注意力和认知负荷监测制造技术

公开了用于自主和半自主驾驶应用的乘员注意力和认知负荷监测。在各种示例中，所估计的用户的视野或注视信息可以被投影到车辆外部并且与对应于车辆外部环境的车辆感知信息进行比较。结果，车辆的驾驶员或乘员的内部监控可用于确定驾驶员或乘员是否已经处理或看到了某些对象类型、环境条件或车辆外部的其他信息。为了更全面地了解用户的状态，可以监控用户的注意力和/或认知负荷以确定是否应该采取一个或更多个动作。因此，通知、AEB系统激活和/或其他动作可以基于更完整的用户状态来确定，如基于认知负荷、注意力和/或车辆的外部感知与估计的用户感知之间的比较而确定的。知与估计的用户感知之间的比较而确定的。知与估计的用户感知之间的比较而确定的。

【技术实现步骤摘要】
用于自主和半自主驾驶应用的乘员注意力和认知负荷监测
[0001]相关申请的交叉引用
[0002]本申请与2019年2月26日提交的美国非临时申请No.16/286,329、2019年3月15日提交的美国非临时申请No.16/355,328、2019年3月18日提交的美国非临时申请No.16/356,439、2019年4月16日提交的美国非临时申请No.16/385,921、2019年7月17日提交的美国非临时申请No.16/514,230、2019年8月8日提交的美国非临时申请No.16/535,440、2019年12月27日提交的美国非临时申请No.16/728,595、2019年12月27日提交的美国非临时申请No.16/728,598、2020年3月9日提交的美国非临时申请No.16/813,306、2020年3月10日提交的美国非临时申请No.16/814,351、2020年4月14日提交的美国非临时申请No.16/848,102、2020年6月24日提交的美国非临时申请No.16/911,007和2020年6月29日提交的美国非临时申请No.16/915,577、2018年10月8日提交的美国非临时申请No.16/363,648、2019年8月19日提交的美国非临时申请No.16/544,442、2020年9月2日提交的美国非临时申请No.17/010,205、2020年4月27日提交的美国非临时申请No.16/859,741、2020年8月27日提交的美国非临时申请No.17/004,252和/或2020年8月28日提交的美国非临时申请No.17/005,914，以及2020年6月19日提交的美国非临时申请No.16/907,125相关，它们中的每一个的全部内容够通过引用并入本文。

技术介绍

[0003]认知和视觉注意力在驾驶员检测安全关键事件并因此安全控制车辆的能力中起着重要作用。例如，当驾驶员分心时(例如，由于做白日梦、分心、将心智能力用于当前驾驶任务以外的任务、观察路外活动等)，驾驶员可能无法做出适当的规划和控制决策，或正确的决定可能会延迟。为了解决这个问题，一些车辆系统(例如高级驾驶员辅助系统(ADAS))，用于为驾驶员生成听觉、视觉和/或触觉警告或警报，以通知驾驶员环境和/或道路状况(例如，弱势道路使用者(VRU)、红绿灯、交通拥堵、潜在碰撞等)。然而，随着警告系统数量的增加(例如，自动紧急制动(AEB)、盲点检测(BSD)、前方碰撞警告(FCW)等)，生成的警报或警告的数量可能会让驾驶员不知所措。结果，驾驶员可能会关闭这些系统中的一个或更多个的安全系统功能，从而消除这些系统在减轻不安全事件发生方面的有效性。
[0004]在一些常规系统中，可以使用驾驶员监控系统和/或驾驶员困倦检测系统来确定驾驶员的当前状态。然而，这些常规系统彼此分开地测量认知负荷或驾驶员注意力。例如，一旦确定了驾驶员的状态，就可以警告或警报驾驶员确定的他们注意力不集中或认知负荷增加。除了其他ADAS系统已经存在的警告警报之外，这不仅会导致警告或警报，注意力或高认知负荷的确定可能不准确或不精确。例如，关于注意力，可以在车辆内测量用户的注视，例如，用户注视车辆舱内。但是，由于他们注视前挡风玻璃而被确定为专心的驾驶员实际上可能并未专心，因为没有考虑外部环境条件(例如静态或动态对象的位置、道路状况、等待条件等)。关于认知负荷，常规系统采用在模拟数据上训练的深度神经网络(DNN)，这些模拟数据将瞳孔大小或其他眼睛特征、眼睛运动、眨眼率或其他眼睛测量值和/或其他信息与当前认知负荷联系起来。然而，这些测量是主观的，对于某些用户来说可能不准确或不精确，
例如，不同驾驶员的认知负荷可能会有所不同，和/或某些驾驶员在高认知负荷下的表现可能比其他人更好。因此，使用彼此独立的驾驶员注意力不集中或认知负荷，而忽略车辆外部的环境条件，可能导致基于驾驶员当前状态的不准确、不可靠或零碎信息生成的过多警告和警报。

技术实现思路

[0005]本公开的实施例涉及用于半自主或自主驾驶应用的乘员(occupant)注意力和认知负荷监测。公开了系统和方法，其除了监测注意力和/或认知负荷之外，还将估计的用户视野或注视信息与对应于车辆外部环境的车辆感知信息进行比较。因此，对车辆驾驶员或乘员的内部监控可以扩展到车辆外部，以确定驾驶员或乘员是否已经处理或看到了车辆外部的某些对象类型、环境条件或其他信息，例如、动态参与者、静态对象、弱势道路使用者(VRU)、等待条件信息、标志、坑洼、颠簸、碎片等。其中投影
‑
例如，到世界空间坐标系
‑
用户的视野或注视的表示被确定为与检测到的对象、条件等重叠时，系统可以假定用户已经看到对象、条件等，并且可以避免执行动作(例如，生成通知、激活AEB系统等)。
[0006]在一些实施例中，为了更全面地了解用户的状态(例如，对应于用户处理所见或可视化信息的当前能力)，可以监测用户的注意力和/或认知负荷以确定是否应采取一个或更多个动作(例如，生成视觉、听觉、触觉或其他通知类型，接管车辆控制，激活一个或更多个AEB系统等)。如此，即使在可以确定对象、道路状况等已经进入用户的视野的情况下，也可以执行与对象、道路状况等相对应的动作，其中所确定的用户的注意力和/或认知负荷表明用户可能没有完全处理信息以在没有动作的情况下做出明智的驾驶决策。因此，与常规系统相比，通知、AEB系统激活和/或其他动作可以基于用户的更客观和完整的状态来确定，如基于认知负荷、注意力和/或车辆的外部感知与投射到车辆外部的用户的估计感知之间的比较所确定的。此外，通过使用更客观的注意力和/或认知负荷测量，真实世界场景的模拟(例如，在虚拟模拟环境中)可能更准确和可靠，因此更适合设计、测试和最终部署在现实世界的系统中。
附图说明
[0007]下面参考附图详细描述用于半自主或自主驾驶应用的乘员注意力和认知负荷监测的本系统和方法，其中：
[0008]图1描绘了根据本公开的一些实施例的注意力和/或认知负荷监测过程的数据流程图；
[0009]图2A描绘了根据本公开的一些实施例的使用眼睛运动信息生成的示例图；
[0010]图2B描绘了根据本公开的一些实施例的包括使用眼睛运动信息生成的车辆区域可视化的示例图；
[0011]图2C
‑
2D描绘了根据本公开的一些实施例的在用于确定眼睛运动信息的时间步长或帧处的眼睛位置的示例图示；
[0012]图2E描绘了根据本公开的一些实施例的对应于在一段时间内收集的眼睛运动信息的示例热图；
[0013]图3描绘了根据本公开的一些实施例的用于将车辆感知与估计的乘员感知进行比
较的扩展到车辆外部的注视或视野表示的示例可视化；
[0014]图4是示出根据本公开的一些实施例的用于基于驾驶员注意力和/或认知负荷确定动作的方法的流程图；
[0015]图5A是根据本公开的一些实施例的示例自主车辆的图示；
[0016]图5B是根据本公开的一些实施例的图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，包括：至少部分地基于使用车辆的一个或更多个第一传感器生成的第一传感器数据来确定乘员的注视方向；在世界空间坐标系中生成所述注视方向的表示；在所述世界坐标系中并且至少部分地基于使用所述车辆的一个或更多个第二传感器生成的第二传感器数据，确定至少一个对象的对象位置；将所述注视方向的表示与所述对象位置进行比较；以及至少部分地基于所述比较来执行一个或更多个操作。2.如权利要求1所述的方法，其中所述执行一个或更多个操作包括执行以下操作之一：当所述表示与所述对象位置重叠超过阈值量时，抑制通知；或者当所述表示与所述对象位置重叠不超过所述阈值量时，生成所述通知。3.如权利要求1所述的方法，其中所述一个或更多个第一传感器包括具有所述车辆内部的所述乘员的视野的至少一个第一传感器，并且所述一个或更多个第二传感器包括具有所述车辆外部的视野的至少一个第二传感器。4.如权利要求1所述的方法，还包括：监测所述车辆的乘员的眼睛运动，以确定注视模式、扫视速度、凝视或平稳追踪中的一个或更多个；至少部分地基于所述注视模式、所述扫视速度、所述凝视行为或所述平稳追踪行为中的一个或更多个，确定所述乘员的注意力分数，其中所述执行一个或更多个操作进一步至少部分地基于所述注意力分数。5.如权利要求1所述的方法，还包括：生成与所述车辆的乘员在一段时间内的道路浏览行为相对应的热图，其中所述执行一个或更多个操作进一步至少部分地基于所述热图。6.如权利要求1所述的方法，还包括：至少部分地基于所述车辆的乘员的眼睛运动、眼睛测量或眼睛特征中的至少一个，确定所述乘员的认知负荷分数，其中所述执行一个或更多个操作进一步至少部分地基于所述认知负荷分数。7.如权利要求6所述的方法，其中所述确定所述认知负荷分数至少部分地基于对应于所述乘员的认知负荷曲线，在包括所述乘员的一次或更多次驾驶期间生成所述认知负荷曲线。8.如权利要求1所述的方法，其中所述确定所述对象位置包括：将所述第二传感器数据应用于一个或更多个深度神经网络(DNN)，所述深度神经网络被配置为计算指示所述对象位置的数据。9.如权利要求1所述的方法，还包括：确定所述乘员正在执行的姿势、手势或活动中的一个或更多个，其中所述执行一个或更多个操作进一步至少部分地基于所述姿势、所述手势或所述活动中的一个或更多个。10.一种方法，包括：在坐标系中并且至少部分地基于使用车辆的一个或更多个第一传感器生成的第一传
感器数据，生成用户的视野的至少一部分的表示；在所述坐标系中并且至少部分地基于使用所述车辆的一个或更多个第二传感器生成的第二传感器数据，确定至少一个对象的对象位置；以及确定至少部分基于以下项中的至少一项来生成通知：所述表示与所述对象位置重叠小于第一阈值量；认知负荷值大于第二阈值量；或者注意力值小于第三阈值量。11.如权利要求10所述的方法，其中所述生成所述表示包括：确定所述用户的注视方向；以及至少部分地基于所述用户的所...

【专利技术属性】
技术研发人员：N，
申请(专利权)人：辉达公司，
类型：发明
国别省市：