耳部关键点检测方法、装置、存储介质及电子设备制造方法及图纸

本公开提供一种耳部关键点检测方法、装置、存储介质及电子设备，用以解决相关技术中耳部被遮挡时难以检测到耳部关键点的问题，该耳部关键点检测方法，包括：从视频流的当前帧图像中识别出第一人脸区域；通过二维检测算法获得所述第一人脸区域中的耳部关键点在屏幕平面的二维属性；以及，通过标准三维人头网格模型对所述第一人脸区域进行三维重建，获得所述模型中的耳部关键点在屏幕空间的深度；通过所述深度和所述二维属性确定所述第一人脸区域中的耳部关键点在所述屏幕空间的三维位置。

Detection methods, devices, storage media and electronic equipment for key points in the ear

【技术实现步骤摘要】
耳部关键点检测方法、装置、存储介质及电子设备
本公开涉及图像处理
，尤其涉及一种耳部关键点检测方法、装置、存储介质及电子设备。
技术介绍
近年来，随着短视频、自拍美颜等应用的普及，耳部特效作为人脸美颜的一部分也得到了广泛的应用。相关技术中，通常采用二维耳部关键点检测算法(例如卷积神经网络(CNN))确定人脸图像中的耳部关键点，即耳上点、耳结节点、耳屏点、耳下基点、耳下点，在耳部可见的情况下，采用此方法检测到的耳部关键点的位置通常比较准确。但耳部不同于人脸上的其他器官，比如嘴唇，在侧脸的时候耳部会被遮挡，被遮挡耳部的图像信息是缺失的，因此采用现有检测算法难以检测到耳部关键点的正确位置，从而导致难以实现耳部特效。
技术实现思路
本公开提供一种耳部关键点检测方法、装置、存储介质及电子设备，以至少解决相关技术中耳部被遮挡时难以检测到耳部关键点的问题。本公开的技术方案如下：根据本公开实施例的第一方面，提供一种耳部关键点检测方法，包括：从视频流的当前帧图像中识别出第一人脸区域；通过二维检测算法获得所述第一人脸区域中的耳部关键点在屏幕平面的二维属性；以及，通过标准三维人头网格模型对所述第一人脸区本文档来自技高网...

【技术保护点】
1.一种耳部关键点检测方法，其特征在于，包括：从视频流的当前帧图像中识别出第一人脸区域；通过二维检测算法获得所述第一人脸区域中的耳部关键点在屏幕平面的二维属性；以及，通过标准三维人头网格模型对所述第一人脸区域进行三维重建，获得所述模型中的耳部关键点在屏幕空间的深度；通过所述深度和所述二维属性确定所述第一人脸区域中的耳部关键点在所述屏幕空间的三维位置。

【技术特征摘要】
1.一种耳部关键点检测方法，其特征在于，包括：从视频流的当前帧图像中识别出第一人脸区域；通过二维检测算法获得所述第一人脸区域中的耳部关键点在屏幕平面的二维属性；以及，通过标准三维人头网格模型对所述第一人脸区域进行三维重建，获得所述模型中的耳部关键点在屏幕空间的深度；通过所述深度和所述二维属性确定所述第一人脸区域中的耳部关键点在所述屏幕空间的三维位置。2.根据权利要求1所述的方法，其特征在于，所述二维属性包括：二维位置；所述通过二维检测算法获得所述第一人脸区域中的耳部关键点在屏幕平面的二维属性，包括：通过二维检测算法获得所述第一人脸区域中的耳部关键点在屏幕平面的二维位置。3.根据权利要求2所述的方法，其特征在于，所述二维属性还包括：可见性标识；所述通过二维检测算法获得所述第一人脸区域中的耳部关键点在屏幕平面的二维属性还包括：通过所述二维检测算法获得所述第一人脸区域中的耳部关键点的可见性标识，所述可见性标识包括表示耳部关键点可见的第一标识和表示耳部关键点不可见的第二标识。4.根据权利要求1-3任一项所述的方法，其特征在于，所述通过标准三维人头网格模型对所述第一人脸区域进行三维重建，获得所述模型中的耳部关键点在屏幕空间的深度，包括：采用标准三维人头网格模型对所述第一人脸区域进行三维重建，获得标准人头空间到屏幕空间的变换矩阵，所述标准人头空间为创建所述标准三维人头网格模型时所建立的坐标系；根据所述变换矩阵和所述模型中的耳部关键点在所述标准人头空间的第一位置，确定所述模型中的耳部关键点在所述屏幕空间的深度。5.根据权利要求4所述的方法，其特征在于，所述通过所述深度和所述二维属性确定所述第一人脸区域中的耳部关键点在所述屏幕空间的三维位置，包括：根据所述变换矩阵、所述深度和所述二维属性确定所述第一人脸区域中的耳部关键点在标准人头空间的第二位置；基于所述变换矩阵和所述第二位置确定所述第一人脸区域中的耳部关键点在所述屏幕空间的三维位置。6.根据权利要求5所述的方法...

【专利技术属性】
技术研发人员：马里千，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：北京,11