一种深度图修复方法及装置制造方法及图纸

技术编号:20365522 阅读:20 留言:0更新日期:2019-02-16 17:43
本发明专利技术实施例提供了一种深度图修复方法及装置,该方法包括:获取待修复深度图;待修复深度图包括待修复区域;确定位于待修复区域中的待修复像素点;确定待修复深度图中以待修复像素点为中心的目标区域内的至少一个参考像素点,参考像素点位于待修复区域外;确定待修复像素点与每一参考像素点间的色彩距离;确定待修复像素点与每一参考像素点间的空间距离;根据每一参考像素点的深度信息,以及所确定的色彩距离和空间距离,确定待修复像素点的深度信息。从而能够实现对深度图中未知深度信息的像素点进行深度信息修复。

【技术实现步骤摘要】
一种深度图修复方法及装置
本专利技术涉及图像处理
,特别是涉及一种深度图修复方法及装置。
技术介绍
随着深度传感器技术的不断发展,深度图成为近年来即时定位与重建技术中的研究热点,并被广泛应用于三维重建、图像渲染、图像分割等
目前,获取深度图的方法有两种,如下:第一种,通过立体匹配算法获得。其中,立体匹配算法是指在由双目摄像机获取的图像对中确定像素对应点来计算视差图,然后根据几何关系转换为深度图。立体匹配算法的计算成本高,大部分的立体匹配算法无法用于实际应用。第二种,通过深度摄像机直接采集。其中,深度摄像机包括红外投影机和红外摄像头,深度摄像机利用红外投影机发射光,利用红外摄像头接收反射光,计算深度信息以实现深度信息的实时提取。深度摄像机获取深度图简单,计算成本低。但深度摄像机中的红外投影机和红外摄像头之间有一定的距离,根据光线传播原理,红外投影机和红外摄像头之间有一定的探测盲区,因此深度摄像机无法获取探测盲区区域的深度信息,形成空洞。此外,若场景中含有黑色或者透明的物体区域,深度相机发出的红外光线将无法返回,从而获取不到该物体区域的深度信息,同样会形成空洞。
技术实现思路
本专利技术实施例的目的在于提供一种深度图修复方法及装置,以实现对深度图中未知深度信息的像素点进行深度信息修复,消除深度图中的空洞。具体技术方案如下:为了实现上述目的,本专利技术实施例提供了一种深度图修复方法,该方法包括:获取待修复深度图;所述待修复深度图包括待修复区域;确定位于所述待修复区域中的待修复像素点;确定所述待修复深度图中以所述待修复像素点为中心的目标区域内的至少一个参考像素点,所述参考像素点位于所述待修复区域外;确定所述待修复像素点与每一参考像素点间的色彩距离;确定所述待修复像素点与每一参考像素点间的空间距离;根据每一参考像素点的深度信息,以及所确定的色彩距离和空间距离,确定所述待修复像素点的深度信息。可选的,所述确定所述待修复像素点与每一参考像素点间的色彩距离的步骤,包括:获取与所述待修复深度图相对应的红绿蓝RGB图像;确定与所述RGB图像相对应的Lab色彩模型;针对每一参考像素点,根据所述Lab色彩模型确定所述待修复像素点与该参考像素点的色彩距离。可选的,所述根据所述Lab色彩模型确定所述待修复像素点与该参考像素点的色彩距离的步骤,包括:根据以下公式,确定所述待修复像素点与该参考像素点的色彩距离dc:其中,p为所述待修复像素点,q为参考像素点,lp、ap、bp为与所述待修复像素点相对应的RGB像素点在Lab色彩模型中的三维坐标,lq、aq、bq为与该参考像素点相对应的RGB像素点在Lab色彩模型中的三维坐标。可选的,所述确定所述待修复像素点与每一参考像素点间的空间距离的步骤,包括:针对每一参考像素点,根据以下公式,确定所述待修复像素点与该参考像素点的空间距离ds:其中,p为所述待修复像素点,q为参考像素点,xp、yp为所述待修复像素点在所述待修复深度图中的二维坐标,xq、yq为该参考像素点在所述待修复深度图中的二维坐标。可选的,所述根据每一参考像素点的深度信息,以及所确定的色彩距离和空间距离,确定所述待修复像素点的深度信息的步骤,包括:根据所确定的所述待修复像素点与每一参考像素点间的色彩距离和空间距离,确定每一参考像素点的权值;根据每一参考像素点的权值和该参考像素点的深度信息,进行加权运算,得到所述待修复像素点的深度信息。可选的,所述根据所确定的所述待修复像素点与每一参考像素点间的色彩距离和空间距离,确定每一参考像素点的权值的步骤,包括:针对每一参考像素点,根据以下公式,确定该参考像素点的相似度值ω(p,q):其中,p为所述待修复像素点,q为参考像素点,dc为所确定的所述待修复像素点p与该参考像素点q间的色彩距离,ds为所确定的所述待修复像素点p与该参考像素点q间的空间距离;针对每一参考像素点,根据该参考像素点的相似度值,确定该参考像素点的权值。可选的,所述根据该参考像素点的相似度值,确定该参考像素点的权值的步骤,包括:将该参考像素点的相似度值确定为该参考像素点的权值;或判断该参考像素点的相似度值是否大于预设阈值;若是,则将该参考像素点的权值确定为1;若否,则将该参考像素点的权值确定为0。可选的,所述根据每一参考像素点的权值和该参考像素点的深度信息,进行加权运算,得到所述待修复像素点的深度信息的步骤,包括:根据以下公式,确定所述待修复像素点的深度信息:其中,p为所述待修复像素点,q为参考像素点,Depthp(q)为所述待修复像素点的深度信息,ω(p,q)为参考像素点的权值,Nε(p)表示以所述待修复像素点为中心的目标区域,D(q)为所述参考像素点的深度信息,为所述参考像素点的深度梯度。可选的,所述确定位于所述待修复区域中的待修复像素点的步骤,包括:使用快速行进算法FMM确定所述待修复像素点。为了实现上述目的,本专利技术实施例还提供了一种深度图修复装置,该装置包括:获取模块,用于获取待修复深度图,所述待修复深度图包括待修复区域;确定模块,用于确定位于所述待修复区域中的待修复像素点;确定所述待修复深度图中以所述待修复像素点为中心的目标区域内的至少一个参考像素点,所述参考像素点位于所述待修复区域外;确定所述待修复像素点与每一参考像素点间的色彩距离;确定所述待修复像素点与每一参考像素点间的空间距离;根据每一参考像素点的深度信息,以及所确定的色彩距离和空间距离,确定所述待修复像素点的深度信息。可选的,所述确定模块,具体用于:获取与所述待修复深度图相对应的红绿蓝RGB图像;确定与所述RGB图像相对应的Lab色彩模型;针对每一参考像素点,根据所述Lab色彩模型确定所述待修复像素点与该参考像素点的色彩距离。可选的,所述确定模块,具体用于:根据以下公式,确定所述待修复像素点与该参考像素点的色彩距离dc:其中,p为所述待修复像素点,q为参考像素点,lp、ap、bp为与所述待修复像素点相对应的RGB像素点在Lab色彩模型中的三维坐标,lq、aq、bq为与该参考像素点相对应的RGB像素点在Lab色彩模型中的三维坐标。可选的,所述确定模块,具体用于:针对每一参考像素点,根据以下公式,确定所述待修复像素点与该参考像素点的空间距离ds:其中,p为所述待修复像素点,q为参考像素点,xp、yp为所述待修复像素点在所述待修复深度图中的二维坐标,xq、yq为该参考像素点在所述待修复深度图中的二维坐标。可选的,所述确定模块,具体用于:根据所确定的所述待修复像素点与每一参考像素点间的色彩距离和空间距离,确定每一参考像素点的权值;根据每一参考像素点的权值和该参考像素点的深度信息,进行加权运算,得到所述待修复像素点的深度信息。可选的,所述确定模块,具体用于:针对每一参考像素点,根据以下公式,确定该参考像素点的相似度值ω(p,q):其中,p为所述待修复像素点,q为参考像素点,dc为所确定的所述待修复像素点p与该参考像素点q间的色彩距离,ds为所确定的所述待修复像素点p与该参考像素点q间的空间距离;针对每一参考像素点,根据该参考像素点的相似度值,确定该参考像素点的权值。可选的,所述确定模块,具体用于:将该参考像素点的相似度值确定为该参考像素点的权值;或判断该参本文档来自技高网...

【技术保护点】
1.一种深度图修复方法,其特征在于,所述方法包括:获取待修复深度图;所述待修复深度图包括待修复区域;确定位于所述待修复区域中的待修复像素点;确定所述待修复深度图中以所述待修复像素点为中心的目标区域内的至少一个参考像素点,所述参考像素点位于所述待修复区域外;确定所述待修复像素点与每一参考像素点间的色彩距离;确定所述待修复像素点与每一参考像素点间的空间距离;根据每一参考像素点的深度信息,以及所确定的色彩距离和空间距离,确定所述待修复像素点的深度信息。

【技术特征摘要】
1.一种深度图修复方法,其特征在于,所述方法包括:获取待修复深度图;所述待修复深度图包括待修复区域;确定位于所述待修复区域中的待修复像素点;确定所述待修复深度图中以所述待修复像素点为中心的目标区域内的至少一个参考像素点,所述参考像素点位于所述待修复区域外;确定所述待修复像素点与每一参考像素点间的色彩距离;确定所述待修复像素点与每一参考像素点间的空间距离;根据每一参考像素点的深度信息,以及所确定的色彩距离和空间距离,确定所述待修复像素点的深度信息。2.根据权利要求1所述的方法,其特征在于,所述确定所述待修复像素点与每一参考像素点间的色彩距离的步骤,包括:获取与所述待修复深度图相对应的红绿蓝RGB图像;确定与所述RGB图像相对应的Lab色彩模型;针对每一参考像素点,根据所述Lab色彩模型确定所述待修复像素点与该参考像素点的色彩距离。3.根据权利要求2所述的方法,其特征在于,所述根据所述Lab色彩模型确定所述待修复像素点与该参考像素点的色彩距离的步骤,包括:根据以下公式,确定所述待修复像素点与该参考像素点的色彩距离dc:其中,p为所述待修复像素点,q为参考像素点,lp、ap、bp为与所述待修复像素点相对应的RGB像素点在Lab色彩模型中的三维坐标,lq、aq、bq为与该参考像素点相对应的RGB像素点在Lab色彩模型中的三维坐标。4.根据权利要求1所述的方法,其特征在于,所述确定所述待修复像素点与每一参考像素点间的空间距离的步骤,包括:针对每一参考像素点,根据以下公式,确定所述待修复像素点与该参考像素点的空间距离ds:其中,p为所述待修复像素点,q为参考像素点,xp、yp为所述待修复像素点在所述待修复深度图中的二维坐标,xq、yq为该参考像素点在所述待修复深度图中的二维坐标。5.根据权利要求1所述的方法,其特征在于,所述根据每一参考像素点的深度信息,以及所确定的色彩距离和空间距离,确定所述待修复像素点的深度信息的步骤,包括:根据所确定的所述待修复像素点与每一参考像素点间的色彩距离和空间距离,确定每一参考像素点的权值;根据每一参考像素点的权值和该参考像素点的深度信息,进行加权运算,得到所述待修复像素点的深...

【专利技术属性】
技术研发人员:焦继超邓中亮章程张延恒苑立彬王鑫吴奇
申请(专利权)人:北京邮电大学
类型:发明
国别省市:北京,11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1