深度图修复方法、装置和可读存储介质制造方法及图纸

本发明专利技术实施例提供一种深度图修复方法、装置和可读存储介质，所述深度图修复方法包括：基于原始深度图获取空洞区域集；对原始彩色图分别进行全局分割与局部分割，获得彩色分割区域集；其中，所述彩色分割区域集用于对所述空洞区域集进行处理，以获取待修复空洞区域集；所述原始深度图和所述原始彩色图包括同一人脸；计算所述待修复空洞区域集中各空洞像素点的深度修复值，对所述原始深度图进行修复。基于彩色图的引导对深度图进行修复，在保证深度图整体修复效果的基础上，进一步提升了修复的真实性和可靠性，能够满足当前人脸识别检测应用对深度图像质量日益提高的要求。

【技术实现步骤摘要】
深度图修复方法、装置和可读存储介质
本专利技术涉及图像处理
，尤其涉及一种深度图修复方法、装置和可读存储介质。
技术介绍
深度感知成像技术一直以来都是计算机视觉
中一门重要的研究课题，目前包括基于空间编码结构光的单目深度成像技术、基于结构光纹理增强的双目深度成像技术和基于飞行时间的单目深度成像技术等主流方向，广泛应用在医学、工业、消费电子、安防监控等领域中。人脸识别应用作为安防监控和消费电子领域中的关键技术，随着近几年深度学习技术的发展，逐渐从使用彩色图像或红外图像等二维数据，过渡到使用深度图像等三维数据进行人脸的识别检测。因而由深度感知成像技术获取的深度图像质量对人脸识别应用效果的具有极为关键的影响。虽然目前主流的深度感知技术获取的深度图质量都可以达到较高水平，但是通用修复方法对人脸区域的修复效果有限，无法满足当前人脸识别应用对深度图像质量日益提高的要求。
技术实现思路
针对现有技术存在的上述技术问题，本专利技术实施例提供一种深度图修复方法、装置和可读存储介质。第一方面，本专利技术实施例提供一种深度图修复方法，包括：基于原始深度图获取空洞区域集；对原始彩色图分别进行全局分割与局部分割，获得彩色分割区域集；其中，所述彩色分割区域集用于对所述空洞区域集进行处理，以获取待修复空洞区域集；所述原始深度图和所述原始彩色图包括同一人脸；计算所述待修复空洞区域集中各空洞像素点的深度修复值，对所述原始深度图进行修复。可选地，所述对原始彩色图分别进行全局分割与局部分割，获得彩色分割区域集，包括：对所述原始彩色图进行全局分割，获得全局分割结果；其中，所述全局分割结果包括人脸轮廓彩色分割区域和五官彩色分割区域；对所述原始彩色图进行局部分割，获得局部分割结果；其中，所述局部分割结果包括眼镜框架彩色分割区域、鼻侧阴影彩色分割区域和嘴部口腔彩色分割区域；将所述全局分割结果与所述局部分割结果进行图像融合，获得多个彩色分割区域；可选地，所述对原始彩色图分别进行全局分割与局部分割，获得彩色分割区域集之后，还包括：对所述多个彩色分割区域集进行筛选，剔除像素值小于预设像素阈值的彩色分割区域；基于筛选后的各彩色分割区域的像素值，对所述筛选后的多个彩色分割区域进行标记，获取第一标记结果。可选地，所述彩色分割区域集用于对所述空洞区域集进行处理，以获取待修复空洞区域集，包括：对所述空洞区域集进行连通域标记，获取第二标记结果；其中，所述空洞区域集为原始深度图中像素值为零的像素点的集合；基于所述第一标记结果和所述第二标记结果，判断所述空洞区域集中各空洞区域内的各像素点是否属于同一彩色分割区域，获取第三标记结果；其中，若所述空洞区域集中各空洞区域内的各像素点属于同一彩色分割区域，则对所述各像素点给予相同的标记；若所述空洞区域集中各空洞区域内的各像素点不属于同一彩色分割区域，则对所述各像素点分别给予不同的标记；基于所述第三标记结果，获取待修复空洞区域集。可选地，所述基于所述第三标记结果，获取待修复空洞区域集，包括：基于所述第三标记结果和第一预设规则，对所述空洞区域集进行筛选，获取待修复空洞区域集；其中，所述第一预设规则为：属于同一彩色分割区域的空洞区域之和低于预设比例，并且面积大于预设面积阈值的空洞区域无须填充。可选地，所述计算所述待修复空洞区域集中各空洞像素点的深度修复值，包括：基于第二预设规则，对所述待修复空洞区域集中各待修复空洞区域内各空洞像素点进行优先级排序，基于所述各空洞像素点的优先级计算所述各空洞像素点的深度修复值；其中，所述第二预设规则为：获取所述待修复空洞区域的最外层轮廓空洞像素点集，设为最高优先级；将最外层轮廓空洞像素点集设为非空洞像素点集，获取此时待修复空洞区域的最外层轮廓空洞像素点集，设为次高优先级；将获取到的最外层轮廓空洞像素点集循环设置为非空洞像素点集，提取此时待修复空洞区域的最外层轮廓点空洞像素点集，并设定相应的优先级，直到将所述待修复空洞区域内的所有空洞像素点全部检测完毕。可选地，所述基于所述各空洞像素点的优先级计算所述各空洞像素点的深度修复值，包括：基于所述各空洞像素点的优先级，从高到低逐级计算各空洞像素点搜索窗口内所有非空洞像素点的空间域权值和颜色域权值；基于所述各空洞像素点搜索窗口内所有非空洞像素点的空间域权值和颜色域权值，对所述各空洞像素点搜索窗口内所有非空洞像素点的深度值进行加权求和，得到所述各洞像素点的深度修复值。可选地，所述对所述各空洞像素点搜索窗口内所有非空洞像素点的深度值进行加权求和，得到所述各洞像素点的深度修复值之前，还包括：对所述各空洞像素点搜索窗口内的非空洞像素点进行筛选，只保留和当前空洞像素点属于同一彩色分割区域的非空洞像素点。第二方面，本专利技术实施例提供一种深度图修复装置，包括：第一获取模块，用于基于原始深度图获取空洞区域集；第二获取模块，用于对原始彩色图分别进行全局分割与局部分割，获得彩色分割区域集；其中，所述彩色分割区域集用于对所述空洞区域集进行处理，以获取待修复空洞区域集；所述原始深度图和所述原始彩色图包括同一人脸；修复模块，用于计算所述待修复空洞区域集中各空洞像素点的深度修复值，对所述原始深度图进行修复。第三方面，本专利技术实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的深度图修复方法的步骤。第四方面，本专利技术实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的深度图修复方法的步骤。本专利技术实施例提供的深度图修复方法、装置和可读存储介质，基基于原始深度图获取空洞区域集；对原始彩色图分别进行全局分割与局部分割，获得彩色分割区域集；其中，所述彩色分割区域集用于对所述空洞区域集进行处理，以获取待修复空洞区域集；所述原始深度图和所述原始彩色图包括同一人脸；计算所述待修复空洞区域集中各空洞像素点的深度修复值，对所述原始深度图进行修复。本专利技术实施例提供的深度图修复方法、装置和可读存储介质，基于彩色图的引导对深度图进行修复，在保证深度图整体修复效果的基础上，进一步提升了修复的真实性和可靠性，能够满足当前人脸识别检测应用对深度图像质量日益提高的要求。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的深度图修复方法的流程示意图；图2是本专利技术实施例提供的深度图修复装置的结构示意图；图3是本专利技术实施例提供的一种电子设备的结构示意图。具体实施方式为使本专利技术实施本文档来自技高网...

【技术保护点】
1.一种深度图修复方法，其特征在于，包括：/n基于原始深度图获取空洞区域集；/n对原始彩色图分别进行全局分割与局部分割，获得彩色分割区域集；其中，所述彩色分割区域集用于对所述空洞区域集进行处理，以获取待修复空洞区域集；所述原始深度图和所述原始彩色图包括同一人脸；/n计算所述待修复空洞区域集中各空洞像素点的深度修复值，对所述原始深度图进行修复。/n

【技术特征摘要】
1.一种深度图修复方法，其特征在于，包括：
基于原始深度图获取空洞区域集；
对原始彩色图分别进行全局分割与局部分割，获得彩色分割区域集；其中，所述彩色分割区域集用于对所述空洞区域集进行处理，以获取待修复空洞区域集；所述原始深度图和所述原始彩色图包括同一人脸；
计算所述待修复空洞区域集中各空洞像素点的深度修复值，对所述原始深度图进行修复。


2.根据权利要求1所述的深度图修复方法，其特征在于，所述对原始彩色图分别进行全局分割与局部分割，获得彩色分割区域集，包括：
对所述原始彩色图进行全局分割，获得全局分割结果；其中，所述全局分割结果包括人脸轮廓彩色分割区域和五官彩色分割区域；
对所述原始彩色图进行局部分割，获得局部分割结果；其中，所述局部分割结果包括眼镜框架彩色分割区域、鼻侧阴影彩色分割区域和嘴部口腔彩色分割区域；
将所述全局分割结果与所述局部分割结果进行图像融合，获得多个彩色分割区域。


3.根据权利要求2所述的深度图修复方法，其特征在于，所述对原始彩色图分别进行全局分割与局部分割，获得彩色分割区域集之后，还包括：
对所述多个彩色分割区域集进行筛选，剔除像素值小于预设像素阈值的彩色分割区域；基于筛选后的各彩色分割区域的像素值，对所述筛选后的多个彩色分割区域进行标记，获取第一标记结果。


4.根据权利要求3所述的深度图修复方法，其特征在于，所述彩色分割区域集用于对所述空洞区域集进行处理，以获取待修复空洞区域集，包括：
对所述空洞区域集进行连通域标记，获取第二标记结果；其中，所述空洞区域集为原始深度图中像素值为零的像素点的集合；
基于所述第一标记结果和所述第二标记结果，判断所述空洞区域集中各空洞区域内的各像素点是否属于同一彩色分割区域，获取第三标记结果；
其中，若所述空洞区域集中各空洞区域内的各像素点属于同一彩色分割区域，则对所述各像素点给予相同的标记；若所述空洞区域集中各空洞区域内的各像素点不属于同一彩色分割区域，则对所述各像素点分别给予不同的标记；
基于所述第三标记结果，获取待修复空洞区域集。


5.根据权利要求4所述的深度图修复方法，其特征在于，所述基于所述第三标记结果，获取待修复空洞区域集，包括：
基于所述第三标记结果和第一预设规则，对所述空洞区域集进行筛选，获取待修复空洞区域集；
其中，所述第一预设规则为：属于同一彩色分割区域的空洞区域的面积之和与所述彩色分割区域的面积的比例低于预设比例，并且面积大于预设面积阈值的空洞区域无须填充。
<...

【专利技术属性】
技术研发人员：户磊，王亚运，薛远，崔哲，刘祺昌，
申请(专利权)人：北京的卢深视科技有限公司，合肥的卢深视科技有限公司，
类型：发明
国别省市：北京;11