一种视线检测和视频处理的方法、装置、设备和存储介质制造方法及图纸

本发明专利技术实施例公开了一种视线检测和视频处理的方法、装置、设备和存储介质。其中，该视线检测的方法包括：根据人脸图像中的关键特征点，确定对应的人脸姿态以及眼部瞳孔转动位移，所述眼部瞳孔转动位移为所述人脸图像中瞳孔中心相对于眼球中心的位移；根据预设的投影函数和所述人脸姿态对所述眼部瞳孔转动位移反投影到实际人脸所在的三维空间，得到所述实际人脸的视线方向。本发明专利技术实施例提供的技术方案，降低了眼部数据的处理量，提高了视线方向的检测效率，而且直接通过人脸图像中的眼部瞳孔转动分析实际人脸的视线方向，提高了视线方向的检测准确性。

A method, device, device and storage medium for line of sight detection and video processing

【技术实现步骤摘要】
一种视线检测和视频处理的方法、装置、设备和存储介质
本专利技术实施例涉及图像处理领域，尤其涉及一种视线检测和视频处理的方法、装置、设备和存储介质。
技术介绍
随着视频技术的发展，3D虚拟角色已经广泛应用在娱乐、电影、虚拟现实(VirtualReality，VR)仿真中，此时眼睛作为虚拟角色中非常重要的一部分，其自然转动的自由度相对面部表情和肢体动作来说要少得多，但是人们对于眼部运动的感知是非常敏感的，不自然的眼球角度和运动极易被察觉到，而采集眼球瞳孔中心点的眼动捕捉设备通常是头戴式的，使用非常不方便。针对上述问题，在逼真人脸表情动画的应用场景下，对于从捕捉到的瞳孔中心点移动到眼球运动的变换，通常是采用眼球纹理合成的方案实现的，如下述参考文献：[1]JustusThies,MichaelMarcStamminger,ChristianTheobalt,andMatthiasNieβner.2018.FaceVR:Real-TimeGaze-AwareFacialReenactmentinVirtualReality.ACMTrans.Graph.37,2,Article25(June2本文档来自技高网...

【技术保护点】
1.一种视线检测的方法，其特征在于，包括：根据人脸图像中的关键特征点，确定对应的人脸姿态以及眼部瞳孔转动位移，所述眼部瞳孔转动位移为所述人脸图像中瞳孔中心相对于眼球中心的位移；根据预设的投影函数和所述人脸姿态对所述眼部瞳孔转动位移反投影到实际人脸所在的三维空间，得到所述实际人脸的视线方向。

【技术特征摘要】
1.一种视线检测的方法，其特征在于，包括：根据人脸图像中的关键特征点，确定对应的人脸姿态以及眼部瞳孔转动位移，所述眼部瞳孔转动位移为所述人脸图像中瞳孔中心相对于眼球中心的位移；根据预设的投影函数和所述人脸姿态对所述眼部瞳孔转动位移反投影到实际人脸所在的三维空间，得到所述实际人脸的视线方向。2.根据权利要求1所述的方法，其特征在于，在根据人脸图像中的关键特征点，确定对应的人脸姿态以及眼部瞳孔转动位移之前，还包括：扫描所述人脸图像，得到对应的人脸数据；采用三维人脸网格模板对所述人脸数据进行重建，得到重建后的人脸网格模型；提取所述人脸网格模型中的关键特征点，作为所述人脸图像中的关键特征点。3.根据权利要求2所述的方法，其特征在于，根据人脸图像中的关键特征点，确定对应的人脸姿态，包括：确定所述人脸图像中关键特征点的姿态位置；根据所述姿态位置，确定所述人脸图像中的人脸姿态。4.根据权利要求2所述的方法，其特征在于，根据人脸图像中的关键特征点，确定对应的眼部瞳孔转动位移，包括：根据所述人脸网格模型中的关键特征点，确定对应的眼球中心；识别所述人脸图像中的眼部图像，得到对应的瞳孔中心；根据所述眼球中心和所述瞳孔中心的位置，确定对应的眼部瞳孔转动位移。5.根据权利要求4所述的方法，其特征在于，识别所述人脸图像中的眼部图像，得到对应的瞳孔中心，包括：截取人脸图像中的眼部图像；将所述眼部图像输入到预先构建的深度网络模型中，得到对应的瞳孔中心。6.根据权利要求2-5任一项所述的方法，其特征在于，在根据预设的投影函数和所述人脸姿态对所述眼部瞳孔转动位移反投影到实际人脸所在的三维空间，得到所述实际人脸的视线方向之后，还包括：根据所述实际人脸的视线方向，在重建后的人脸网格模型中构建对应的三维眼部模型。7.根据权利要求1-5任一项所述的方法，其特征在于，根据预设的投影函数和所述人脸姿态对所述眼部瞳孔转动位移反投影到实际人脸所在的三维空间，得到所述实际人脸的视线方向，包括：根据预设的投影函数、所述人脸姿态和所述眼部瞳孔转动位移，构建对应的视线优化函数；获取在实际人脸所在的三维空间中达到所述视线优化函数中的预设优化目标的视线方向，作为所述实际人脸的视线方向。8.根据权利要求7所述的方法，其特征在于，所述人脸姿态包括所述人脸图像中人脸的旋转参数和平移参数。9.根据权利要求7所述的方法，其特征在于，获取在实际人脸所在的三维空间中达到所述视线优化函数中的预设优化目标的视线方向，作为所述实际人脸的视线方向之前，还包括：获取所述人脸图像的关联图像，所述关联图像携带对应的视线方向；根据所述关联图像的视线方向、预设的关联平滑参数和防抖动参数，更新所述视线优化函数。10.根...

【专利技术属性】
技术研发人员：刘更代，
申请(专利权)人：广州市百果园信息技术有限公司，
类型：发明
国别省市：广东,44