面向智能座舱的司机视线估计方法和相关设备技术

本发明专利技术公开了一种面向智能座舱的司机视线估计方法和相关设备，该方法包括：获取智能座舱中司机的人脸视频，并从人脸视频的各图像帧中，截取包括人眼区域的目标图像；基于预设特征提取网络对各目标图像进行特征提取，获取各目标图像的图像特征；将各图像特征分别和与自身对应的位置编码进行拼接，获取第一特征矩阵，其中，各位置编码与各目标图像在人脸视频中的相对顺序对应；根据第一特征矩阵确定各图像帧中司机的视线方向，从而实现更加准确的对智能座舱中的司机进行视线估计。智能座舱中的司机进行视线估计。智能座舱中的司机进行视线估计。

【技术实现步骤摘要】
面向智能座舱的司机视线估计方法和相关设备


[0001]本申请涉及智能座舱
，更具体地，涉及一种面向智能座舱的司机视线估计方法和相关设备。

技术介绍

[0002]智能座舱旨在集成多种IT和人工智能技术，打造全新的车内一体化数字平台，为驾驶员提供智能体验，促进行车安全。随着汽车保有量的急剧增长，驾驶安全成为全人类关注的社会安全问题之一。视线估计是指根据人脸或人眼图像预测出三维视线方向，视线方向是理解人类认知和行为的重要线索，智能座舱中司机的视线方向是反映司机行为的重要线索之一。随着深度学习的发展，越来越多的学者投身于基于深度学习的表观视线估计研究。
[0003]现有技术中，由于不可观测的个性化因素，即不同的人的眼球生理构造不同，直接将视线估计模型应用于新用户时，模型的精度与实际应用的要求之间还存在较大差距。并且，目前开源的视线估计数据集中缺乏专门针对驾驶场景的数据集。另外，在智能座舱的实际应用中，视线估计模型将针对不同的新用户预测其视线方向，但不同用户之间的个性化差异往往会导致模型性能下降。
[0004]因此，如何更加准确的对智能座舱中的司机进行视线估计，是目前有待解决的技术问题。

技术实现思路

[0005]本申请实施例提出了一种面向智能座舱的司机视线估计方法和相关设备，用以更加准确的对智能座舱中的司机进行视线估计。
[0006]第一方面，提供一种面向智能座舱的司机视线估计方法，所述方法包括：获取智能座舱中司机的人脸视频，并从所述人脸视频的各图像帧中，截取包括人眼区域的目标图像；基于预设特征提取网络对各所述目标图像进行特征提取，获取各所述目标图像的图像特征；将各所述图像特征分别和与自身对应的位置编码进行拼接，获取第一特征矩阵，其中，各所述位置编码与各所述目标图像在所述人脸视频中的相对顺序对应；根据所述第一特征矩阵确定各所述图像帧中所述司机的视线方向。
[0007]第二方面，提供一种面向智能座舱的司机视线估计装置，所述装置包括：获取模块，用于获取智能座舱中司机的人脸视频，并从所述人脸视频的各图像帧中，截取包括人眼区域的目标图像；提取模块，用于基于预设特征提取网络对各所述目标图像进行特征提取，获取各所述目标图像的图像特征；拼接模块，用于将各所述图像特征分别和与自身对应的位置编码进行拼接，获取第一特征矩阵，其中，各所述位置编码与各所述目标图像在所述人脸视频中的相对顺序对应；确定模块，用于根据所述第一特征矩阵确定各所述图像帧中所述司机的视线方向。
[0008]第三方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的
可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行第一方面所述的面向智能座舱的司机视线估计方法。
[0009]第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的面向智能座舱的司机视线估计方法。
[0010]通过应用以上技术方案，获取智能座舱中司机的人脸视频，并从人脸视频的各图像帧中，截取包括人眼区域的目标图像；基于预设特征提取网络对各目标图像进行特征提取，获取各目标图像的图像特征；将各图像特征分别和与自身对应的位置编码进行拼接，获取第一特征矩阵，其中，各位置编码与各目标图像在人脸视频中的相对顺序对应；根据第一特征矩阵确定各图像帧中司机的视线方向，由于考虑了各图像特征之间的位置关系，从而实现更加准确的对智能座舱中的司机进行视线估计。
附图说明
[0011]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0012]图1示出了本专利技术实施例提出的一种面向智能座舱的司机视线估计方法的流程示意图；
[0013]图2示出了本专利技术实施例提出的一种面向智能座舱的司机视线估计方法的原理示意图；
[0014]图3示出了本专利技术实施例中教师模型的原理示意图；
[0015]图4示出了本专利技术实施例中对学生模型进行训练的原理示意图；
[0016]图5示出了本专利技术实施例提出的一种面向智能座舱的司机视线估计装置的结构示意图；
[0017]图6示出了本专利技术实施例提出的一种电子设备的结构示意图。
具体实施方式
[0018]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0019]需要说明的是，本领域技术人员在考虑说明书及实践这里公开的专利技术后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本
中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求部分指出。
[0020]应当理解的是，本申请并不局限于下面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
[0021]本申请可用于众多通用或专用的计算装置环境或配置中。例如：个人计算机、服务
器计算机、手持设备或便携式设备、平板型设备、多处理器装置、包括以上任何装置或设备的分布式计算环境等等。
[0022]本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
[0023]本申请实施例提供一种面向智能座舱的司机视线估计方法，如图1所示，该方法包括以下步骤：
[0024]步骤S101，获取智能座舱中司机的人脸视频，并从所述人脸视频的各图像帧中，截取包括人眼区域的目标图像。
[0025]本实施例中，智能座舱中安装有摄像头，可通过摄像头对司机进行拍摄，获取一段人脸视频，该人脸视频的持续时长为预设时长，例如5分钟，然后从人脸视频中提取各图像帧，并对各图像帧进行裁剪，只获取包括人眼区域的目标图像，以去除图像帧中与视线方向无关的区域，从而获取多个目标图像。
[0026]步骤S102，基于预设特征提取网络对各所述目标图像进行特征提取，获取各所述目标图像的图像特征。
[0027]预先训练出用于进行特征提取的预设特征提取网络，在获取各目标图像后，将各目标图像输入预设特征提取网络进行特征提取，根据预设特征提取网络的输出获取各目标图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向智能座舱的司机视线估计方法，其特征在于，所述方法包括：获取智能座舱中司机的人脸视频，并从所述人脸视频的各图像帧中，截取包括人眼区域的目标图像；基于预设特征提取网络对各所述目标图像进行特征提取，获取各所述目标图像的图像特征；将各所述图像特征分别和与自身对应的位置编码进行拼接，获取第一特征矩阵，其中，各所述位置编码与各所述目标图像在所述人脸视频中的相对顺序对应；根据所述第一特征矩阵确定各所述图像帧中所述司机的视线方向。2.如权利要求1所述的方法，其特征在于，所述预设特征提取网络为预设视线估计模型中的特征提取器，所述根据所述第一特征矩阵确定各所述图像帧中所述司机的视线方向，包括：基于所述预设视线估计模型中的转换器编码器，按自注意力机制对所述第一特征矩阵进行编码，获取第二特征矩阵；基于所述预设视线估计模型中的多层感知器对所述第二特征矩阵进行处理，获取各所述视线方向；其中，所述转换器编码器采用ViT模型。3.如权利要求2所述的方法，其特征在于，在基于预设特征提取网络对各所述目标图像进行特征提取，获取各所述目标图像的图像特征之前，所述方法还包括：对预设驾驶场景下所述智能座舱中的司机人脸视频进行采集，并标注司机的真实视线方向，获取训练数据集；按所述预设视线估计模型的模型结构构建教师模型，并基于所述训练数据集对所述教师模型进行训练，训练完成后获取目标教师模型；基于知识蒸馏算法对所述目标教师模型进行轻量化处理，得到学生模型；基于所述训练数据集对所述学生模型进行训练，训练完成后生成所述预设视线估计模型；其中，所述教师模型的输入为所述训练数据集中各司机人脸视频的各人脸图像帧，所述学生模型的输入为从所述人脸图像帧中截取的包括人眼区域的各图像。4.如权利要求3所述的方法，其特征在于，所述学生模型的损失函数由公式一确定，所述公式一为：其中，L
all
为所述学生模型的损失函数，L
fea
为由第三特征矩阵和第四特征矩阵确定的损失函数，为由所述教师模型的预测视...

【专利技术属性】
技术研发人员：胡敏，宁欣，候旭晴，李爽，周嵘，唐小江，李冬冬，
申请(专利权)人：北京中科睿途科技有限公司，
类型：发明
国别省市：