图像处理方法、装置、电子设备及存储介质制造方法及图纸

本公开是关于一种图像处理方法、装置、电子设备及存储介质，涉及计算机视觉技术领域，本公开方法包括：对包含人脸的目标图像进行人脸关键点检测；根据目标图像中人脸关键点的位置进行人脸三维重建，得到目标图像对应的人脸区域蒙版图以及人脸区域深度图；通过人脸区域蒙版图以及人脸区域深度图，构造目标图像对应的第一全图深度图；根据第一全图深度图中各像素点的深度值得到全图三维网格，并根据目标图像中各像素点的纹理信息对全图三维网格进行渲染得到目标图像对应的三维图像。由于本公开实施例中无需辅助传感器，仅用单目或单张人像图像就可构造出3D人像效果，更简便，且扩大了3D人像特效的应用场景。

Image processing method, device, electronic equipment and storage medium

【技术实现步骤摘要】
图像处理方法、装置、电子设备及存储介质
本公开涉及计算机视觉
，尤其涉及一种图像处理方法、装置、电子设备及存储介质。
技术介绍
随着短视频、自拍美颜等应用的普及，3D(ThreeDimensions，三维)人像特效作为人脸应用的一部分也逐渐应用起来，尤其在安全认证、影视动漫、医学科学等领域的应用非常广泛。相关技术方案是通过辅助传感器，恢复出人像图像的深度图像，生成3D人像。辅助传感器包括双目摄像头，深度传感器(结构光)等。但是辅助传感器的存在限制了3D人像特效的应用，因为目前大部分手机拍摄的图像并没有类似的传感器数据，或是传感器数据质量太差。综上，目前3D人像的生成需要借助辅助传感器，应用受限。
技术实现思路
本公开提供一种图像处理方法、装置、电子设备及存储介质，以至少解决相关技术中3D人像的生成需要借助辅助传感器，应用受限的问题。本公开的技术方案如下：根据本公开实施例的第一方面，提供一种图像处理方法，包括：对包含人脸的目标图像进行人脸关键点检测；根据所述目标图像中人脸关本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：/n对包含人脸的目标图像进行人脸关键点检测；/n根据所述目标图像中人脸关键点的位置进行人脸三维重建，得到所述目标图像对应的人脸区域蒙版图以及人脸区域深度图；/n通过所述人脸区域蒙版图以及所述人脸区域深度图，构造所述目标图像对应的第一全图深度图；/n根据所述第一全图深度图中各像素点的深度值得到全图三维网格，并根据所述目标图像中各像素点的纹理信息对所述全图三维网格进行渲染得到所述目标图像对应的三维图像。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：
对包含人脸的目标图像进行人脸关键点检测；
根据所述目标图像中人脸关键点的位置进行人脸三维重建，得到所述目标图像对应的人脸区域蒙版图以及人脸区域深度图；
通过所述人脸区域蒙版图以及所述人脸区域深度图，构造所述目标图像对应的第一全图深度图；
根据所述第一全图深度图中各像素点的深度值得到全图三维网格，并根据所述目标图像中各像素点的纹理信息对所述全图三维网格进行渲染得到所述目标图像对应的三维图像。


2.根据权利要求1所述的方法，其特征在于，所述通过所述人脸区域蒙版图以及所述人脸区域深度图，构造所述目标图像对应的第一全图深度图的步骤包括：
根据所述人脸区域蒙版图确定所述人脸区域深度图中的人脸区域以及所述第一全图深度图中的人脸区域；
将所述人脸区域深度图中人脸区域内的像素点的深度值作为所述第一全图深度图中人脸区域内对应位置的像素点的深度值；
根据所述第一全图深度图中人脸区域内像素点的深度值，确定所述第一全图深度图中非人脸区域内的像素点取不同深度值时对应的各个目标深度值中最小的目标深度值，其中所述第一全图深度图中非人脸区域内的像素点的深度值表示所述像素点对应的三维空间中的位置和拍摄所述目标图像的设备的距离；
确定所述第一全图深度图中非人脸区域内的像素点的深度值为最小的目标深度值对应的非人脸区域内的像素点的深度值。


3.根据权利要求2所述的方法，其特征在于，通过下列方式确定所述目标深度值：



其中，X表示所述目标深度值，w表示所述第一全图深度图的长度，h表示所述第一全图深度图的宽度，Cj,i表示所述第一全图深度图中第j行第i列的像素点的深度值，Cj,i+1表示所述第一全图深度图中第j行第i+1列的像素点的深度值，Cj+1,i表示所述第一全图深度图中第j+1行第i列的像素点的深度值。


4.根据权利要求2所述的方法，其特征在于，通过下列方式确定所述目标深度值：



其中，Y表示所述目标深度值，w表示所述第一全图深度图的长度，h表示所述第一全图深度图的宽度，a1表示所述人脸区域蒙版图中人脸区域内像素点的像素值，w1表示预设的第一超参数，Cj,i表示所述第一全图深度图中第j行第i列的像素点的深度值，Cj,i+1表示所述第一全图深度图中第j行第i+1列的像素点的深度值，Cj+1,i表示所述第一全图深度图中第j+1行第i列的像素点的深度值，Aj,i表示所述人脸区域蒙版图中第j行第i列的像素点的像素值，Dj,i表示第二全图深度图中第j行第i列的像素点的深度值，所述第二全图深度图是通过已训练好的深度预测神经网络对所述目标图像进行预测得到的。


5.根据权利要求2所述的方法，其特征在于，通过下列方式确定所述目标深度值：



其中，Z表示所述目标深度值，w表示所述第一全图深度图的长度，h表示所述第一全图深度图的宽度，w2表示预设的第二超参数，a2表示前景蒙版图中前景区域内像素点的像素值，b表示预设的背景深度值，Cj,i表示第一全图深度图中第j行第i列的像素点的深度值，Cj,i+1表示所述第一全图深度图中第j行第i+1列的像素点的深度值，Cj+1,i表示所述第一全图深度图中第j+1行...

【专利技术属性】
技术研发人员：马里千，刘晓强，张国鑫，黄旭为，张博宁，金博，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：北京;11