一种基于注视模式的驾驶员注视方向隐式校准方法及装置制造方法及图纸

本发明专利技术提供一种基于注视模式的驾驶员注视方向隐式校准方法及装置。方法包括：获取序列化的驾驶员注视特征数据；对所述头部姿态数据进行全局聚类进行注视区域估计；对驾驶员头部姿态在注视区域之间的运动轨迹片段进行选择获取注视模式数据；将真实轨迹的注视方向点投影至虚拟轨迹上；在注视特征数据与注视方向点对之间建立注视估计模型，基于映射参数将注视特征数据映射至校准后的注视方向与注视点。本发明专利技术无需驾驶员任何协作，能够在短暂的正常驾驶过程中隐式地提取出驾驶员注视模式数据，无监督在线训练注视方向估计模型，自动调整模型参数，使得注视估计模型在环境发生变化后仍能快速准确估计驾驶员注视方向。能快速准确估计驾驶员注视方向。能快速准确估计驾驶员注视方向。

【技术实现步骤摘要】
一种基于注视模式的驾驶员注视方向隐式校准方法及装置


[0001]本专利技术驾驶安全和驾驶员监测领域，尤其涉及驾驶员注视区域估计领域，具体而言，涉及一种基于注视模式的驾驶员注视方向隐式校准方法及装置。

技术介绍

[0002]汽车给我们的日常生活带来了便利，且随着汽车智能化与电动化的发展，未来汽车必然在我们生活中扮演更为重要的角色。但是，随着汽车数量的日益增多，交通事故频发，对社会的整体危害也变得越来越大。在驾驶场景中，绝大多数事故都是由驾驶员人为因素导致的，驾驶员分心驾驶行为会降低驾驶员对环境的警惕性，从而延长反应时间，进而影响驾驶员对行车路况及紧急状况的处理。驾驶员分心驾驶是导致交通事故的重要原因之一。
[0003]注视方向是驾驶员注意力评价的关键指标。在驾驶过程中注视方向频频离开行车驾驶的正前方向时，很容易造成车道线偏移、追尾、紧急制动等危险情况。注视方向的长时间停留也是驾驶员安全驾驶中的禁忌。通过注视方向估计结果，可以进一步计算驾驶员的注视方向停留时间、对环境反应时的注视方向变化等信息，这些信息和驾驶员注意力评价和安全驾驶分析都具有直接关联性。
[0004]现有的驾驶员注视方向校准方法通常需要预先在固定场景中对特定驾驶员的头部姿态和视线方向进行显式校准，当摄像头位置发生偏移、驾驶员坐姿调整或者更换驾驶员之后，估计的准确度会严重下降，对驾驶员个体的适应性较差。

技术实现思路

[0005]根据上述提出现有方法注视方向校准精度严重依赖特定场景、适应性差的技术问题，而提供一种基于注视模式的驾驶员注视方向隐式校准方法及装置。本专利技术无需驾驶员任何协作，能够在短暂的正常驾驶过程中隐式地提取出驾驶员注视模式数据，无监督在线训练注视方向估计模型，自动调整模型参数，使得注视估计模型在环境发生变化后仍能快速准确估计驾驶员注视方向。
[0006]本专利技术采用的技术手段如下：
[0007]一种基于注视模式的驾驶员注视方向隐式校准方法，包括以下步骤：
[0008]获取由摄像头采集的驾驶实时视频流，并对所述实时视频流进行人脸识别从而获取序列化的驾驶员注视特征数据，所述驾驶员注视特征数据包括带有时间标签的头部姿态数据、头部位置数据以及人眼转动角度数据；
[0009]对所述头部姿态数据进行全局聚类，根据互补性约束和边界约束进行注视区域估计，包括前方注视区域估计和后视镜注视区域估计；
[0010]对驾驶员头部姿态在注视区域之间的运动轨迹片段进行选择，轨迹两端的注视点位于对应注视区域的中心锚点，且轨迹中的注视点连接线与两端注视点的连接线夹角满足预设条件，将筛选出的运动轨迹片段作为注视模式数据；
[0011]计算所述注视模式数据中轨迹起止点的头部转动动量关系将真实轨迹的注视模式数据投影至虚拟轨迹上，所述虚拟轨迹为连接注视区域中心点的直线，对于真实轨迹数据稠密的区域，利用线性关系约束获取注视方向点对，所述注视方向点对包括注视模式数据和与所述注视模式数据对应的注视点，所述注视点为注视模式数据投影至虚拟轨迹上的位置；
[0012]构建并通过机器学习方法训练注视估计模型，所述注视估计模型用于学习注视特征数据与注视点之间的映射关系，并基于训练得到的映射参数将待处理的注视特征数据映射至校准后的注视点，根据注视特征数据与校准后的注视点位置获取注视方向。
[0013]进一步地，对前方注视区域进行估计的步骤包括：
[0014]根据驾驶员注视特征数据获取驾驶员头部运动动量数据，将驾驶员头部运动动量数据满足预设要求的点进行区域稠密度聚类，并将全局稠密中心点作为前方注视区域的中心锚点。
[0015]进一步地，对后视镜注视区域进行估计的步骤包括：
[0016]获取每段持续时间大于10帧的时间序列数据作为注视行为的候选数据，其中距离前方注视区域中心锚点最远的数据点作为后视镜注视候选点；
[0017]根据后视镜注视候选点之间的余弦相似度，将后视镜注视候选点放入相应的待聚类区域，对不同的待聚类区域，分别利用高斯模型进行聚类，获取聚类中心点即为相应注视区域的中心锚点；
[0018]根据注视区域之间的拓扑结构，为不同注视区域分配带有注视区域中心位置信息的标签，所述标签包括左侧后视镜区域、右侧后视镜区域和中央后视镜区域。
[0019]进一步地，获取到注视模式数据后，还包括对注视模式数据进行筛选，筛选步骤包括：
[0020]获取注视模式数据中运动动量为正向加速度的点；
[0021]去除发生次数不满足预设要求的轨迹；
[0022]去除与其他运动轨迹差异不满足预设要求的轨迹。
[0023]本专利技术还公开了一种基于注视模式的驾驶员注视方向隐式校准装置，包括：
[0024]注视特征数据获取单元，其用于获取由摄像头采集的驾驶实时视频流，并对所述实时视频流进行人脸识别从而获取序列化的驾驶员注视特征数据，所述驾驶员注视特征数据包括带有时间标签的头部姿态数据、头部位置数据以及人眼转动角度数据；
[0025]注视区域估计单元，其用于对所述头部姿态数据进行全局聚类，根据互补性约束和边界约束进行注视区域估计，包括前方注视区域估计和后视镜注视区域估计；
[0026]注视模式数据获取单元，其用于对驾驶员头部姿态在注视区域之间的运动轨迹片段进行选择，轨迹两端的注视点位于对应注视区域的中心锚点，且轨迹中的注视点连接线与两端注视点的连接线夹角小于5度，将筛选出的运动轨迹片段作为注视模式数据；
[0027]注视方向点对抽取单元，其用于计算所述注视模式数据中轨迹起止点的头部转动动量关系将真实轨迹的注视模式数据投影至虚拟轨迹上，所述虚拟轨迹为连接注视区域中心点的直线，对于真实轨迹数据稠密的区域，利用线性关系约束获取注视方向点对，所述注视方向点对包括注视模式数据和与所述注视模式数据对应的注视点，所述注视点为注视模式数据投影至虚拟轨迹上的位置；
[0028]校准单元，其用于构建并通过机器学习方法训练注视估计模型，所述注视估计模型用于学习注视特征数据与注视点之间的映射关系，并基于训练得到的映射参数将待处理的注视特征数据映射至校准后的注视点，根据注视特征数据与校准后的注视点位置获取注视方向。
[0029]较现有技术相比，本专利技术具有以下优点：
[0030]本专利技术提供一种基于注视模式的驾驶员注视方向隐式校准方法。与现有技术相比，本方法泛化能力强，不依赖于车辆、相机位置、相机视角等信息，无需预先在固定场景中对特定驾驶员做注视校准，可以在系统运行时或运行后，对已校准或未校准的系统自动完成驾驶员注视估计重校准，无需其他手工干预，具有灵活在线应用特点，能够有效地监控驾驶员的注意力状态。本方法用于单目相机下的注视方向校准，能够增加更多的有效校准点，覆盖更大的注视区域，包含后视镜等注视区域，及注视区域之间的注视点。
附图说明
[0031]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注视模式的驾驶员注视方向隐式校准方法，其特征在于，包括以下步骤：获取由摄像头采集的驾驶实时视频流，并对所述实时视频流进行人脸识别从而获取序列化的驾驶员注视特征数据，所述驾驶员注视特征数据包括带有时间标签的头部姿态数据、头部位置数据以及人眼转动角度数据；对所述头部姿态数据进行全局聚类，根据互补性约束和边界约束进行注视区域估计，包括前方注视区域估计和后视镜注视区域估计；对驾驶员头部姿态在注视区域之间的运动轨迹片段进行选择，轨迹两端的注视点位于对应注视区域的中心锚点，且轨迹中的注视点连接线与两端注视点的连接线夹角满足预设条件，将筛选出的运动轨迹片段作为注视模式数据；计算所述注视模式数据中轨迹起止点的头部转动动量关系将真实轨迹的注视模式数据投影至虚拟轨迹上，所述虚拟轨迹为连接注视区域中心点的直线，对于真实轨迹数据稠密的区域，利用线性关系约束获取注视方向点对，所述注视方向点对包括注视模式数据和与所述注视模式数据对应的注视点，所述注视点为注视模式数据投影至虚拟轨迹上的位置；构建并通过机器学习方法训练注视估计模型，所述注视估计模型用于学习注视特征数据与注视点之间的映射关系，并基于训练得到的映射参数将待处理的注视特征数据映射至校准后的注视点，根据注视特征数据与校准后的注视点位置获取注视方向。2.根据权利要求1所述的一种基于注视模式的驾驶员注视方向隐式校准方法，其特征在于，对前方注视区域进行估计的步骤包括：根据驾驶员注视特征数据获取驾驶员头部运动动量数据，将驾驶员头部运动动量数据满足预设要求的点进行区域稠密度聚类，并将全局稠密中心点作为前方注视区域的中心锚点。3.根据权利要求2所述的一种基于注视模式的驾驶员注视方向隐式校准方法，其特征在于，对后视镜注视区域进行估计的步骤包括：获取每段持续时间大于10帧的时间序列数据作为注视行为的候选数据，其中距离前方注视区域中心锚点最远的数据点作为后视镜注视候选点；根据后视镜注视候选点之间的余弦相似度，将后视镜注视候选点放入相应的待聚类区域，对不同的待聚类区域，...

【专利技术属性】
技术研发人员：王亚飞，袁国良，付先平，
申请(专利权)人：大连海事大学，
类型：发明
国别省市：