观看屏幕判断方法、系统及电子设备技术方案

本发明专利技术公开了一种观看屏幕判断方法、系统及电子设备，观看屏幕判断方法包括：采集步骤：通过摄像头采集图像数据；人脸数据获得步骤：根据图像数据通过人脸检测算法获得图像数据中的人脸数据；关键点信息获取步骤：根据人脸数据通过人脸关键点检测算法获得人脸数据的关键点信息；面部朝向获取步骤：根据关键点信息及标准人脸模板通过PnP算法获得人脸数据的欧拉角，根据欧拉角获取人脸数据的面部朝向；判断步骤：根据面部朝向和人脸到屏幕的水平距离对用户是否在观看屏幕进行判断。本发明专利技术在仅有普通RGB摄像头的空间不大的场景中，实现了有效地判断用户是否正在观看屏幕，从而能够有效提高视频广告投放的精准度。效提高视频广告投放的精准度。效提高视频广告投放的精准度。

【技术实现步骤摘要】
观看屏幕判断方法、系统及电子设备


[0001]本专利技术涉及广告环境监测领域，具体地说，尤其涉及一种基于面部朝向的观看屏幕判断方法、系统及电子设备。

技术介绍

[0002]在广告监测情境中，屏幕上正在播放一段广告视频，屏幕前会有一些行人，我们希望获知屏幕前的行人观看屏幕的时长。以常见的垂直升降式电梯为例，电梯关上门后，电梯门上方会投影出一段广告视频。由于电梯内行人站立位置和姿态的不同，我们很难直接判断出每个行人是否正在观看视频。
[0003]申请号CN201911025279.8的专利中，首相通过RGB摄像头获取可见光图像，判断人脸是否在指定区域；然后利用结构光摄像头，获取人脸的深度图；最后通过深度图判断出瞳孔在人眼中的位置，从而解锁手机。该专利技术专利利用了结构光摄像头同样判断出屏幕前用户是否正在注视屏幕。常规的注视识别技术都是基于眼球追踪技术，都需要依赖主动投射光线的设备如红外图像传感器、结构光传感器等。
[0004]申请号CN201911361950.6的专利中，把人脸朝向仅仅当做一个二分类问题，并没有考虑电梯的尺寸大小，以及摄像头、屏幕和行人之间的相对位置关系，其收集的数据肯定是带有偏差的，得到的模型也只能适用于特定场景。
[0005]现有的诸如利用结构光摄像头进行注视检测的方案，需要主动投射结构光的硬件设备，以及结构光图像传感器；此外用户通常需要和摄像头距离较近，难以追踪多人等。
[0006]因此急需开发一种克服上述缺陷的基于面部朝向的观看屏幕判断方法、系统及电子设备。/>
技术实现思路

[0007]针对上述问题，本专利技术提供一种观看屏幕判断方法，其中，包括：
[0008]采集步骤：通过摄像头采集图像数据；
[0009]人脸数据获得步骤：根据所述图像数据通过人脸检测算法获得所述图像数据中的人脸数据；
[0010]关键点信息获取步骤：根据所述人脸数据通过人脸关键点检测算法获得所述人脸数据的关键点信息；
[0011]面部朝向获取步骤：根据所述关键点信息及标准人脸模板通过PnP算法获得所述人脸数据的欧拉角，根据所述欧拉角获取所述人脸数据的面部朝向；
[0012]判断步骤：根据所述面部朝向和人脸到屏幕的水平距离对用户是否在观看屏幕进行判断。
[0013]上述的观看屏幕判断方法，其中，所述采集步骤包括：通过摄像头拍摄视频广告播放时的每帧图片。
[0014]上述的观看屏幕判断方法，其中，所述人脸数据获得步骤中包括：
[0015]根据多个所述图片通过所述人脸检测算法检测出每一所述图片中的所述人脸数据。
[0016]上述的观看屏幕判断方法，其中，所述关键点信息获取步骤中包括：
[0017]根据每一所述人脸数据通过所述人脸关键点检测算法获得多个关键点坐标信息。
[0018]上述的观看屏幕判断方法，其中，所述面部朝向获取骤中包括：
[0019]构建步骤：构建所述标准人脸模板；
[0020]计算步骤：根据所述标准人脸模板及所述关键点坐标信息通过PnP算法获得仿射变换；
[0021]欧拉角获取模块，根据所述仿射变换的旋转矩阵获得每一所述人脸数据的所述欧拉角，通过所述欧拉角获取所述面部朝向。
[0022]上述的观看屏幕判断方法，其中，所述判断步骤包括：
[0023]水平距离确定步骤：在摄像头坐标系下计算人脸到屏幕的水平距离；
[0024]交点位置确定步骤：根据所述水平距离与所述面部朝向确定所述面部朝向与所述屏幕所在平面的交点位置；
[0025]判断结果输出步骤：根据所述交点位置对用户是否在观看屏幕进行判断。
[0026]本专利技术还提供一种观看屏幕判断系统，其中，包括：
[0027]采集单元，通过摄像头采集图像数据；
[0028]人脸数据获得单元，根据所述图像数据通过人脸检测算法获得所述图像数据中的人脸数据；
[0029]关键点信息获取单元，根据所述人脸数据通过人脸关键点检测算法获得所述人脸数据的关键点信息；
[0030]面部朝向获取单元，根据所述关键点信息及标准人脸模板通过PnP算法获得所述人脸数据的欧拉角，根据所述欧拉角获取所述人脸数据的面部朝向；
[0031]判断单元，根据所述面部朝向和人脸到屏幕的水平距离对用户是否在观看屏幕进行判断。
[0032]上述的观看屏幕判断系统，其中，所述面部朝向获取单元包括：
[0033]构建模块，构建所述标准人脸模板；
[0034]计算模块，根据所述标准人脸模板及关键点坐标信息通过PnP算法获得仿射变换；
[0035]欧拉角获取步骤，根据所述仿射变换的旋转矩阵获得每一所述人脸数据的所述欧拉角，通过所述欧拉角获取所述面部朝向。
[0036]上述的观看屏幕判断系统，其中，所述判断单元包括：
[0037]水平距离确定模块，在摄像头坐标系下计算人脸到屏幕的水平距离；
[0038]交点位置确定模块，根据所述水平距离与所述面部朝向确定所述面部朝向与所述屏幕所在平面的交点位置；
[0039]判断结果输出模块，根据所述交点位置对用户是否在观看屏幕进行判断。
[0040]本专利技术还提供一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上述中任一项所述的观看屏幕判断方法。
[0041]综上所述，本专利技术相对于现有技术其功效在于：本专利技术在仅有单个普通RGB摄像头
的情境下，已获知摄像头和屏幕的位置关系，利用人脸检测算法和人脸欧拉角信息，判断出当前用户面部是否朝向屏幕，从而更加精准地判断视频广告的投放效果。
[0042]本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。
附图说明
[0043]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0044]图1为本专利技术的观看屏幕判断方法的流程图；
[0045]图2为图1中步骤S4的分步骤流程图；
[0046]图3为图1中步骤S5的分步骤流程图；
[0047]图4为电梯场景示意图；
[0048]图5为关键点信息示意图；
[0049]图6为摄像头坐标系下面部朝向示意图；
[0050]图7为本专利技术的观看屏幕判断系统的结构示意图；
[0051]图8为本专利技术的电子设备的结构示意图。
具体实施方式
[0052]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种观看屏幕判断方法，其特征在于，包括：采集步骤：通过摄像头采集图像数据；人脸数据获得步骤：根据所述图像数据通过人脸检测算法获得所述图像数据中的人脸数据；关键点信息获取步骤：根据所述人脸数据通过人脸关键点检测算法获得所述人脸数据的关键点信息；面部朝向获取步骤：根据所述关键点信息及标准人脸模板通过PnP算法获得所述人脸数据的欧拉角，根据所述欧拉角获取所述人脸数据的面部朝向；判断步骤：根据所述面部朝向和人脸到屏幕的水平距离对用户是否在观看屏幕进行判断。2.如权利要求1所述的判断方法，其特征在于，所述采集步骤包括：通过摄像头拍摄视频广告播放时的每帧图片。3.如权利要求2所述的判断方法，其特征在于，所述人脸数据获得步骤中包括：根据多个所述图片通过所述人脸检测算法检测出每一所述图片中的所述人脸数据。4.如权利要求1所述的判断方法，其特征在于，所述关键点信息获取步骤中包括：根据每一所述人脸数据通过所述人脸关键点检测算法获得多个关键点坐标信息。5.如权利要求4所述的判断方法，其特征在于，所述面部朝向获取步骤中包括：构建步骤：构建所述标准人脸模板；计算步骤：根据所述标准人脸模板及所述关键点坐标信息通过PnP算法获得仿射变换；欧拉角获取步骤，根据所述仿射变换的旋转矩阵获得每一所述人脸数据的所述欧拉角，通过所述欧拉角获取所述面部朝向。6.如权利要求1所述的提取方法，其特征在于，所述判断步骤包括：水平距离确定步骤：在摄像头坐标系下计算人脸到屏幕的水平距离；交点位置确定步骤：根据所述水平距离与所述面部朝向确定所述面部朝向与所...

【专利技术属性】
技术研发人员：刘星，唐大闰，赵晨旭，
申请(专利权)人：上海明略人工智能集团有限公司，
类型：发明
国别省市：