使用面向驾驶员的成像装置来监视驾驶员行为以用于车辆的车队中的车辆车队管理的系统和方法制造方法及图纸

系统和方法使用面向驾驶员的成像装置来监视驾驶员行为以用于车辆的车队中的车辆车队管理。本文的系统和方法总体上涉及用于增强车队的安全性和提高车队驾驶员的表现的车辆车队管理，并且还涉及使用设置于车辆中的一个或多个面向驾驶员的成像装置来监视车队车辆的操作，用于记录车队驾驶员及其乘客的活动、存储与受监视活动有关的信息、选择性地生成与受监视活动有关的警告、并将受监视活动报告至中央车队管理系统以提高车辆的安全性并有助于提高车队驾驶员的表现。

【技术实现步骤摘要】
【国外来华专利技术】使用面向驾驶员的成像装置来监视驾驶员行为以用于车辆的车队中的车辆车队管理的系统和方法
本文的实施例通常涉及用于增强车队的安全性并提高车队驾驶员的表现的车辆车队管理。更具体地，特定实施例涉及使用布置在车队车辆中的一个或多个面向驾驶员的成像装置来监视车队车辆的操作，以记录车队驾驶员及其乘客的活动，并将所监视的活动报告给中央车队管理系统，以用于增强车队的车辆的安全性并帮助提高车队驾驶员的表现。相关申请的交叉引用本申请与2012年7月12日提交的、申请序列号为14/233,319的、标题为“监视和提高车辆的车队中的驾驶员表现的车辆车队管理系统和方法”的美国申请(代理机构案号：013097-000010)相关，该申请的内容通过引用整体并入本文。本申请还与xx年xx月xx日提交的、申请序列号为xxx的、标题为“使用面向驾驶员的成像装置来监视驾驶员行为以用于车辆的车队中的车辆车队管理的系统和方法”的美国申请(代理机构案号：PXE-BCVS-2017-11-US-01和013097-000034)相关，该申请的内容通过引用整体并入本文。
技术介绍
车辆车队管理领域中的现有系统和方法着重于图像捕获系统的特定特征以及图像捕获系统内文件的数据传输。例如，授权至Breslau的专利号为7,671,762的美国专利教导了一种收发车辆数据的系统和方法，该系统和方法涉及将数据从一个车辆传输至另一车辆。具体而言，Breslau涉及车辆识别数据和车辆位置数据的发送和接收，并且包括使用全球定位传感器(GPS)信号和卫星传输。另一项现有技术公开于授予至Rayner的专利号为6,389,340的美国专利，其中教导了一种电路，该电路在触发事件发生时终止图像捕获，并且其中，系统部件容纳在诸如汽车或卡车的车辆的后视镜内。授权至Etcheson的专利号为7,804,426的美国专利教导了一种用于事件数据的选择性检查的系统和方法，该系统和方法包括计算机辅助提示的驾驶数据以进行选择性检查，以节省时间。事件数据被连续捕获并发送至数据缓冲文件。当车队管理者等发出请求时，事件数据被发送至事件检测器。在相关的2012年7月12日提交的、申请序列号为14/233,319的、标题为“监视和提高车辆的车队中的驾驶员表现的车辆车队管理系统和方法”的美国专利申请描述了一种系统和方法，其中，车辆被配置为收集驾驶员和车辆事件数据，选择性地对所收集的驾驶员和车辆事件数据进行压缩和编码，并将所压缩和编码的数据无线传达至一个或多个远程信息处理服务提供商。一台或多台服务器可以定期地轮询该驾驶员事件数据，对其进行处理，然后向终端使用者提供多种方法，使他们可以查看和分析该数据。所描述的系统允许车队管理者来使用通过报告或通知而被接收的、或者直接从基于Web的门户中获取的该驾驶员事件数据，以监视、纠正和/或奖励驾驶员行为，并实施驾驶员教育和培训计划等。除了上述之外，还已知同时具有前置摄像头和面向驾驶员摄像机的系统。这些系统通常连续地捕获道路的图像和车辆内部的驾驶员的图像，并将图像存储在较大的缓冲器文件中，例如先进先出(FOFO)缓冲器。当车队管理者等发出请求时，将道路和驾驶员图像数据发送至事件检测器。以此方式，可以通过将所录制的车辆操作的视频“倒回”到所选事件发生的适当时间来确定驾驶员在任何所选事件期间的活动。然而，期望通过监视一种或多种特定行为而不是通过使用总体成像和/或通过使用总体车辆数据收集来更智能地监视驾驶员行为。还期望的是，优选在发生任何重大事件之前分析一种或多种特定的驾驶员行为，以便在可能的情况下，可以适当地提前警告驾驶员或其他人，例如车队管理人员等。还期望的是，驾驶员可以相对于安全性和其他考虑因子而被进一步分级，以及相对于车辆的车队中的其他驾驶员而被排名，以激励驾驶员表现得更好，从而增强车队的整体安全性并提高整体车队性能。
技术实现思路
本文的实施例提供了一种新的和改进的系统和方法，其使用面向驾驶员的成像装置来监视驾驶员行为以用于车辆的车队中的车辆车队管理。在本文的实施例中，提供了一种系统和方法，使用面向驾驶员的摄像机以直接根据所检测的由驾驶员正在操作的车辆内的驾驶员头部位置来监视驾驶员行为。提供了一种系统和方法，使用面向驾驶员的摄像机，以用于监视驾驶员对商用车辆镜的使用、用于监视驾驶员对道路的注意力、用于监视驾驶员的头部相对于正确的头部位置、用于监视驾驶员的头部姿势度量、用于监视对面向驾驶员的摄像头收集的图像的任何障碍、以及用于监视驾驶员眼睛关注于道路上并对相关联的车辆的自适应车道偏离警告系统进行调整。根据本文的实施例，可以直接监视这些驾驶员行为以及其他必要和/或期望的行为。在本文的另外的实施例中，提供了使用面向驾驶员的摄像机的系统和方法，用于间接地根据所检测的由驾驶员正在操作的车辆的内部部件的各方面来监视驾驶员行为。提供了使用面向驾驶员的摄像机的系统和方法，用于监视驾驶员对安全带的正确使用、用于监视驾驶员在方向盘上的正确手部位置、以及用于监视驾驶员关于车辆中未经授权乘客的车队政策的遵守情况。根据本文的实施例，可以直接监视这些驾驶员行为以及其他必要和/或期望的行为。根据本文的实施例，提供了系统、方法和逻辑，包括各种车辆传感器和面向驾驶员的摄像机，用于确定何时达到或以其他方式满足车辆的一组的一个或多个预定条件，确定驾驶员头部姿势，当达到或以其他方式满足车辆的一组的一个或多个预定条件时，根据驾驶员头部姿势(俯仰、偏转、侧倾等)的平均值来学习或以其他方式训练系统，并确定任意的驾驶员头部姿势从平均值的偏差的产生。根据本文的实施例，提供了系统、方法和逻辑，包括各种车辆传感器和面向驾驶员的摄像机，用于确定驾驶员头部姿势，基于头部姿势分布和/或头部姿势热量图来学习或以其他方式训练系统，并确定任意的驾驶员头部姿势从头部姿势分布和/或头部姿势热量图平均值的偏差的产生。根据本文中的实施例，提供了系统、方法和逻辑，包括各种车辆传感器，用于确定何时达到或满足一组有利于确定违规或驾驶员行为不当的一个或多个预定条件，例如车门状态、速度变化、异常的停车位置、可见未授权的乘客等，以及用于响应于车辆的一组的一个或多个预定条件而获得车辆的车厢的图像的面向驾驶员的摄像机。根据本文的实施例，提供了系统、方法和逻辑，包括各种车辆传感器和面向驾驶员的摄像机，用于基于车辆车厢物品(例如安全带卡扣、空座椅、方向盘、门边缘、镜位置等)的外观的平均值来学习或以其他方式训练系统，并确定任意的从所学习的模板图像或描述的平均的或所学习的操作设置值的变化或偏差的产生。根据本文的实施例，提供了系统、方法和逻辑，包括各种车辆传感器和面向驾驶员的摄像机，用于确定驾驶员头部姿势矢量，基于驾驶员头部姿势矢量的平均值来学习或以其他方式训练系统，并且在发生从驾驶员注视道路或驾驶员注视镜的持续偏差时根据驾驶员头部姿势矢量选择性地调整适应其他系统值。根据本文的实施例，系统、方法和逻辑使用多个传感器和面向驾驶员的摄像机来提供多因子认证，以本文档来自技高网...

【技术保护点】
1.一种安全系统，其在由相关联的驾驶员操作相关联的车辆期间监视所述相关联的车辆的所述相关联的驾驶员的状况，所述系统包括：/n设置在所述相关联的车辆中的成像装置，所述成像装置捕获位于所述相关联的车辆中的所述相关联的驾驶员的图像，并生成表示所捕获的位于所述相关联的车辆中的所述相关联的驾驶员的所述图像的图像数据；和/n控制装置，所述控制装置包括：/n处理器；/n与所述处理器能够操作地耦合的图像数据输入，所述图像数据输入从所述成像装置接收所述图像数据；/n与所述处理器能够操作地耦合的非瞬态存储器装置，所述非瞬态存储器装置存储优先安全模型数据，所述优先安全模型数据包括所述相关联的驾驶员的监视的状况的参数的推荐值范围；和/n存储在所述非瞬态存储器装置中的控制逻辑，所述控制逻辑能够由所述处理器执行以：/n处理所述图像数据，以确定所述相关联的驾驶员的所监视的状况的参数的操作值；/n在所述相关联的驾驶员的所监视的状况的参数的所述推荐值范围之间进行比较；并且/n根据在所述相关联的驾驶员的所监视的状况的参数的所述推荐值范围与所述操作值之间比较的结果，确定车辆操作顺应性的状态，其中，所述处理器根据所述结果生成结果数据；/n与所述处理器能够操作地耦合的输出，所述输出选择性地从所述处理器接收所述结果数据，并生成表示所监视的状况的参数的所述操作值的顺应性结果信号。/n...

【技术特征摘要】
【国外来华专利技术】20171111 US 15/810,0301.一种安全系统，其在由相关联的驾驶员操作相关联的车辆期间监视所述相关联的车辆的所述相关联的驾驶员的状况，所述系统包括：
设置在所述相关联的车辆中的成像装置，所述成像装置捕获位于所述相关联的车辆中的所述相关联的驾驶员的图像，并生成表示所捕获的位于所述相关联的车辆中的所述相关联的驾驶员的所述图像的图像数据；和
控制装置，所述控制装置包括：
处理器；
与所述处理器能够操作地耦合的图像数据输入，所述图像数据输入从所述成像装置接收所述图像数据；
与所述处理器能够操作地耦合的非瞬态存储器装置，所述非瞬态存储器装置存储优先安全模型数据，所述优先安全模型数据包括所述相关联的驾驶员的监视的状况的参数的推荐值范围；和
存储在所述非瞬态存储器装置中的控制逻辑，所述控制逻辑能够由所述处理器执行以：
处理所述图像数据，以确定所述相关联的驾驶员的所监视的状况的参数的操作值；
在所述相关联的驾驶员的所监视的状况的参数的所述推荐值范围之间进行比较；并且
根据在所述相关联的驾驶员的所监视的状况的参数的所述推荐值范围与所述操作值之间比较的结果，确定车辆操作顺应性的状态，其中，所述处理器根据所述结果生成结果数据；
与所述处理器能够操作地耦合的输出，所述输出选择性地从所述处理器接收所述结果数据，并生成表示所监视的状况的参数的所述操作值的顺应性结果信号。


2.根据权利要求1所述的安全系统，其中：
所述控制逻辑能够由所述处理器执行，以将所述车辆操作顺应性的状态确定为以下之一：
根据在所述相关联的驾驶员的所监视的状况的参数的所述推荐值范围与所述操作值之间比较的第一结果的非顺应状态，其中，所述处理器根据所述第一结果生成非顺应数据，或
根据在所述相关联的驾驶员的所监视的状况的参数的所述推荐值范围与所述操作值之间比较的第二结果的顺应状态；并且
所述输出选择性地从所述处理器接收所述非顺应数据，并生成非顺应信号，所述非顺应信号表示所监视的状况的参数的所述操作值超出所述安全模型数据的推荐范围。


3.根据权利要求1所述的安全系统，其中：
所述推荐值范围包括多个推荐值范围，所述多个推荐值范围中的每一个对应于所述相关联的车辆的操作状况。


4.根据权利要求3所述的安全系统，其中：
所述多个推荐值范围包括：
第一推荐值范围，其对应于所述相关联的车辆向前运动的操作状况；和
第二推荐值范围，其对应于所述相关联的车辆向后运动的操作状况。


5.一种系统，其在由相关联的车辆驾驶员操作相关联的车辆期间监视所述相关联的车辆的驾驶员注意力状况，所述系统包括：
设置在所述相关联的车辆中的成像装置，所述成像装置捕获位于所述相关联的车辆中的所述相关联的驾驶员和所述相关联的车辆的内部的图像，并生成表示所捕获的位于所述相关联的车辆中的所述相关联的驾驶员和所述相关联的车辆的内部的所述图像的图像数据；和
控制装置，所述控制装置包括：
处理器；
与所述处理器能够操作地耦合的图像数据输入，所述图像数据输入从所述成像装置接收所述图像数据；
与所述处理器能够操作地耦合的非瞬态存储器装置，所述非瞬态存储器装置存储表示所述相关联的车辆的一个或多个结构之间的相对位置的车辆几何数据、表示成像相对于所述相关联的车辆的所述一个或多个结构的位置的成像装置位置数据、以及安全注意力模型数据，所述安全注意力模型数据包括所述相关联的车辆的所监视的驾驶员注意力状况的驾驶员道路注意力参数的推荐值范围；
存储在所述非瞬态存储器装置中的驾驶员头部检测逻辑，所述驾驶员头部检测逻辑能够由所述处理器执行以：
处理所述图像数据，以定位/确定由所述成像装置捕获的图像的头部候选区域，其可能高于存储在所述非瞬态存储器装置中的预定阈值，以表示位于所述相关联的车辆中的所述相关联的驾驶员的头部；并且
将与所述驾驶员头部检测逻辑所定位/确定的所述头部候选区域相对应的所述图像数据的一部分标志为驾驶员头部图像数据；
存储在所述非瞬态存储器装置中的驾驶员头部方向逻辑，所述驾驶员头部方向逻辑能够由所述处理器执行以：
处理所述驾驶员头部图像数据，以确定所述相关联的驾驶员的头部的朝向；并且
生成驾驶员头部朝向数据，所述驾驶员头部朝向数据表示所确定的所述相关联的驾驶员的头部的朝向；
存储在所述非瞬态存储器装置中的控制逻辑，所述控制逻辑能够由所述处理器执行以：
处理所述驾驶员头部朝向数据以及所述车辆几何数据和所述成像装置位置数据，以确定所述相关联的车辆的所监视的驾驶员注意力状况的驾驶员道路注意力参数的操作值；
在所述相关联的车辆的所监视的驾驶员注意力状况的驾驶员道路注意力参数的所述推荐值范围与所确定的所述相关联的车辆的所监视的驾驶员注意力状况的驾驶员道路注意力参数的所述操作值之间进行比较；并且
将车辆操作顺应性的状态确定为以下之一：
根据在所述相关联的车辆的所监视的驾驶员注意力状况的驾驶员道路注意力参数的所述推荐值范围与所确定的操作值之间比较的第一结果的驾驶员注意力不集中状态，其中，所述处理器根据所述第一结果生成驾驶员注意力不集中数据：或
根据在所述相关联的车辆的所监视的驾驶员注意力状况的驾驶员道路注意力参数的所述推荐值范围与所确定的操作值之间比较的第二结果的驾驶员注意力集中状态；和
与所述处理器能够操作地耦合的输出，所述输出选择性地从所述处理器接收所述驾驶员注意力不集中数据，并生成驾驶员注意力不集中信号，所述驾驶员注意力不集中信号表示所确定的所监视的驾驶员注意力状况的驾驶员道路注意力参数的操作值超出所述安全模型数据的推荐值范围。


6.根据权利要求5所述的系统，还包括：
存储在所述非瞬态存储器装置中的驾驶员头部位置逻辑，所述驾驶员头部位置逻辑能够由所述处理器执行以：
处理所述驾驶员头部图像数据以及所述车辆几何数据和所述成像装置位置数据，以确定驾驶员头部相对于所述相关联的车辆的一个或多个控制结构的位置；并且
生成驾驶员头部位置数据，所述驾驶员头部位置数据表示所确定的所述相关联的驾驶员的头部相对于所述相关联的车辆的所述一个或多个控制结构的位置，
其中，所述控制逻辑能够由所述处理器执行，以处理所生成的驾驶员头部位置数据以及驾驶员头部朝向数据、所述车辆几何数据和所述成像装置位置数据，以确定所述相关联的车辆的所监视的驾驶员注意力状况的驾驶员注意力参数的所述操作值。


7.根据权利要求6所述的系统，其中：
所述驾驶员头部方向逻辑能够由所述处理器执行以：
处理所述驾驶员头部位置数据，以将脸部法线矢量确定为所述相关联的驾驶员的头部的朝向，所述脸部法线矢量的起点位于所确定的所述相关联的驾驶员的头部相对于所述相关联的车辆的所述一个或多个控制结构的位置；并且
生成包括所述脸部法线矢量的所述驾驶员头部朝向数据。


8.根据权利要求7所述的系统，其中：
存储在所述非瞬态存储器装置中的车辆几何数据包括表示所述相关联的车辆的挡风玻璃与所述相关联的车辆的所述一个或多个结构之间的相对位置的车辆挡风玻璃数据；
所述非瞬态存储器装置中的所述安全注意力模型数据包括：作为驾驶员道路注意力参数的代表的所述相关联的车辆的所监视的驾驶员注意力状况的驾驶员看向挡风玻璃参数的推荐值范围；
所述控制逻辑能够由所述处理器执行以：
处理所述驾驶员头部位置数据和所述脸部法线矢量，以确定所述相关联的车辆的所监视的驾驶员注意力状况的驾驶员看向挡风玻璃参数的操作值；
在所述相关联的车辆的所监视的驾驶员注意力状况的驾驶员看向挡风玻璃参数的所述推荐值范围和所确定的所述相关联的车辆的所监视的驾驶员注意力状况的驾驶员看向挡风玻璃参数的操作值之间进行比较；并且
将所述车辆操作顺应性的状态确定为以下之一：
根据在所述相关联的车辆的所监视的驾驶员注意力状况的驾驶员看向挡风玻璃参数的所述推荐值范围和所确定的操作值之间比较的第一结果的驾驶员注意力不集中状态，其中，所述处理器根据所述第一结果生成驾驶员注意力不集中数据，或
根据在所述相关联的车辆的所监视的驾驶员注意力状况的驾驶员看向挡风玻璃参数的所述推荐值范围和所确定的操作值之间比较的第二结果的驾驶员注意力集中状态。


9.根据权利要求6所述的系统，其中：
所述驾驶员头部位置逻辑能够由所述处理器执行，以通过以下一种或多种方式确定所述驾驶员头部相对于所述相关联的车辆的所述一个或多个控制结构的位置：
通过在图像数据中定位所述相关联的车辆的驾驶员座椅上的地标，测量到地标的距离和/或高度中的一个或多个，来推断所述驾驶员头部相对于所述一个或多个控制结构的大致位置，并且根据位于所述图像数据中的所述地标来推断所述驾驶员头部相对于所述一个或多个控制结构的大致位置；
使用表示所述驾驶员头部相对于所述相关联的车辆的所述一个或多个控制结构的校准位置的驾驶员头部位置校准数据作为所确定的驾驶员头部相对于所述相关联的车辆的所述一个或多个控制结构的位置；或
通过在图像数据中定位所述相关联的车辆的所述驾驶员座椅的竖直半座椅平面来推断所述驾驶员头部相对于所述一个或多个控制结构的大致位置，并且根据位于所述图像数据中的所述驾驶员座椅的竖直半座椅平面来推断所述驾驶员头部相对于所述一个或多个控制结构的大致位置。


10.根据权利要求5所述的系统，其中：
所述控制逻辑能够由所述处理器执行以：
在预定时间段中对所述驾驶员头部朝向数据进行采样，并将所采样的驾驶员头部朝向数据作为驾驶员头部朝向数据的序列存储于所述非瞬态存储器装置中；
处理所存储的所述驾驶员头部朝向...

【专利技术属性】
技术研发人员：安德列亚斯·U·屈恩勒，李政，汉斯·M·莫林，凯茜·L·布恩，
申请(专利权)人：邦迪克斯商用车系统有限责任公司，
类型：发明
国别省市：美国;US