适用于Kinect的图像采集与深度图增强方法及装置制造方法及图纸

本发明专利技术公开了一种适用于Kinect的图像采集与深度图增强方法及装置，属于图像处理领域，该方法包括：基于深度相机数据采集、改进基于FMM算法的深度图空洞修复及深度图边缘噪声平滑，该部分又包括彩色深度图的初步原始数据采集，然后对初步原始数据进行格式转换，处理得到彩色深度图的原始数据；针对得到的深度图数据以及深度图中存在的空洞，采用基于反阈值二值化的修复掩膜生成方法，对深度图中的大面积空洞进行修复；针对空洞修复得到的深度图像，采用基于中值滤波的图像边缘噪声平滑方法，对深度图像作进一步的图像增强处理。通过本发明专利技术能够明显的去除深度图中的空洞和噪声，进一步增强Kinect在计算机视觉中的应用性和可靠性。

Image acquisition and depth image enhancement method and device for Kinect

【技术实现步骤摘要】
适用于Kinect的图像采集与深度图增强方法及装置
本专利技术属于图像处理领域，涉及基于深度图像的数据预处理方法，更具体地，涉及一种适用于Kinect的图像采集与深度图增强方法及装置。
技术介绍
深度信息在许多计算机视觉应用中起着重要作用，例如增强现实，场景重建，3D电视辅助传感器等。传感器技术的进步，使市场上出现了许多深度感应摄像头。作为低成本和实时深度传感器，代表性产品如Microsoft公司生产的Kinect深度传感器，是结构光类型的相机传感器，结构光传感器测量受到多次反射，遇到异常反射，光线阻挡和反射障碍，就会使原始Kinect深度图存在许多问题，一些区域缺少深度数据。而这种误差是影响Kinect数据使用和应用开发的重要问题。因此，在诸如Kinect类深度相机的图像应用之前，需要对其数据进行预处理，填充空洞像素和平滑图像噪声，使其在计算机视觉应用中的可靠性得到提高。基于此，如何有效地基于深度图像的数据预处理，是目前需要解决的一个技术问题。
技术实现思路
针对现有技术的以上缺陷或改进需求，本专利技术提出了一种适用于Kinect的图像采集与深度图增强方法及装置，由此解决如何有效对深度图像数据进行预处理，以填充空洞像素和平滑图像噪声的技术问题。为实现上述目的，按照本专利技术的一个方面，提供了一种适用于Kinect的图像采集与深度图增强方法，包括：(1)获取原始深度图像，对所述原始深度图像进行格式转换，得到目标格式的深度图像；(2)根据所述目标格式的深度图像中的待修复区域是否位于图像的边缘位置确定目标掩膜生成方式，基于所述目标掩膜生成方式得到所述目标格式的深度图像中待修复区域的掩膜；(3)将所述待修复区域的掩膜结合快速行进算法对所述目标格式的深度图像中的待修复区域进行空洞填补得到修复后的深度图像；(4)对所述空洞修复后的深度图像进行中值滤波，以去除图像边缘噪声，得到图像增强处理后的深度图像。优选地，步骤(2)包括：若所述目标格式的深度图像中的待修复区域不是位于图像的边缘，则在OpenCv的接口函数cvInpaint中加上鼠标回调函数，然后根据所述目标格式的深度图像中的待修复区域对颜色阈值范围进行设定，得到所述待修复区域的掩膜。优选地，步骤(2)包括：若所述目标格式的深度图像中的待修复区域位于图像的边缘，则由确定待修复区域掩膜的反二值阈值化函数，以对所述待修复区域的颜色阈值范围进行设定，得到所述待修复区域的掩膜，其中，threshhold为预设阈值，I(x,y)表示所述待修复区域的像素点(x,y)处的像素值，Ω表示待修复的区域。优选地，步骤(3)包括：由对所述目标格式的深度图像中的待修复区域进行空洞填补，其中，p点是需要修复的像素，Dp表示p点处的深度值，Bε(p)表示p点的邻域，q为Bε(p)中的一点，w(p,q)用来衡量p点与邻域像素q的相似程度，Dq表示q点处的深度值，▽Dq表示q点的亮度梯度值，(p-q)表示像素p与像素q之间的几何距离。优选地，步骤(4)包括：由g(x,y)＝med{f(x-k,y-l),(k,l∈w)}对所述空洞修复后的深度图像进行中值滤波，得到图像增强处理后的深度图像，其中，g(x,y)表示中值滤波后的图像，f(x,y)表示所述空洞修复后的深度图像，w表示二维中值滤波模板，k与l取w中的值。按照本专利技术的另一方面，提供了一种适用于Kinect的图像采集与深度图增强装置，包括：图像格式转换模块，用于获取原始深度图像，对所述原始深度图像进行格式转换，得到目标格式的深度图像；掩膜图像生成模块，用于根据所述目标格式的深度图像中的待修复区域是否位于图像的边缘位置确定目标掩膜生成方式，基于所述目标掩膜生成方式得到所述目标格式的深度图像中待修复区域的掩膜；修复模块，用于将所述待修复区域的掩膜结合快速行进算法对所述目标格式的深度图像中的待修复区域进行空洞填补得到修复后的深度图像；滤波模块，用于对所述空洞修复后的深度图像进行中值滤波，以去除图像边缘噪声，得到图像增强处理后的深度图像。优选地，所述掩膜图像生成模块，用于在所述目标格式的深度图像中的待修复区域不是位于图像的边缘时，在OpenCv的接口函数cvInpaint中加上鼠标回调函数，然后根据所述目标格式的深度图像中的待修复区域对颜色阈值范围进行设定，得到所述待修复区域的掩膜。优选地，所述掩膜图像生成模块，用于在所述目标格式的深度图像中的待修复区域位于图像的边缘时，由确定待修复区域掩膜的反二值阈值化函数，以对所述待修复区域的颜色阈值范围进行设定，得到所述待修复区域的掩膜，其中，threshhold为预设阈值，I(x,y)表示所述待修复区域的像素点(x,y)处的像素值，Ω表示待修复的区域。优选地，所述修复模块，用于由对所述目标格式的深度图像中的待修复区域进行空洞填补，其中，p点是需要修复的像素，Dp表示p点处的深度值，Bε(p)表示p点的邻域，q为Bε(p)中的一点，w(p,q)用来衡量p点与邻域像素q的相似程度，Dq表示q点处的深度值，▽Dq表示q点的亮度梯度值，(p-q)表示像素p与像素q之间的几何距离。优选地，所述滤波模块，用于由g(x,y)＝med{f(x-k,y-l),(k,l∈w)}对所述空洞修复后的深度图像进行中值滤波，得到图像增强处理后的深度图像，其中，g(x,y)表示中值滤波后的图像，f(x,y)表示所述空洞修复后的深度图像，w表示二维中值滤波模板，k与l取w中的值。总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，能够取得下列有益效果：本专利技术能够获得深度相机Kinect的彩色及深度原始图像，得到的数据可应用于场景三维重建和机器人V-SLAM等；同时，针对深度图中由于传感器本身和环境带来的普遍存在的空洞及噪声，采用本专利技术的改进基于FMM(快速行进法)算法的空洞修复方法和采用的基于中值滤波的噪声平滑方法，能够明显的去除深度图中的空洞和噪声，进一步增强了Kinect在计算机视觉研究方面的应用性和可靠性。附图说明图1是本专利技术实施例提供的一种方法流程示意图；图2是本专利技术实施例提供的一种Kinect采集图像中的噪声示意图；图3是本专利技术实施例提供的一种深度图修复与去噪流程图；图4是本专利技术实施例提供的一种改进FMM算法的深度图空洞修复示意图，其中，(a)为FMM算法修复原理，(b)为利用改进FMM算法修复后的深度图；图5是本专利技术实施例提供的一种中值滤波噪声平滑示意图；图6是本专利技术实施例提供的一种装置结构示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。此外，下面所描述的本专利技术各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。本专利技术提供本文档来自技高网...

【技术保护点】
1.一种适用于Kinect的图像采集与深度图增强方法，其特征在于，包括：/n(1)获取原始深度图像，对所述原始深度图像进行格式转换，得到目标格式的深度图像；/n(2)根据所述目标格式的深度图像中的待修复区域是否位于图像的边缘位置确定目标掩膜生成方式，基于所述目标掩膜生成方式得到所述目标格式的深度图像中待修复区域的掩膜；/n(3)将所述待修复区域的掩膜结合快速行进算法对所述目标格式的深度图像中的待修复区域进行空洞填补得到修复后的深度图像；/n(4)对所述空洞修复后的深度图像进行中值滤波，以去除图像边缘噪声，得到图像增强处理后的深度图像。/n

【技术特征摘要】
1.一种适用于Kinect的图像采集与深度图增强方法，其特征在于，包括：
(1)获取原始深度图像，对所述原始深度图像进行格式转换，得到目标格式的深度图像；
(2)根据所述目标格式的深度图像中的待修复区域是否位于图像的边缘位置确定目标掩膜生成方式，基于所述目标掩膜生成方式得到所述目标格式的深度图像中待修复区域的掩膜；
(3)将所述待修复区域的掩膜结合快速行进算法对所述目标格式的深度图像中的待修复区域进行空洞填补得到修复后的深度图像；
(4)对所述空洞修复后的深度图像进行中值滤波，以去除图像边缘噪声，得到图像增强处理后的深度图像。


2.根据权利要求1所述的方法，其特征在于，步骤(2)包括：
若所述目标格式的深度图像中的待修复区域不是位于图像的边缘，则在OpenCv的接口函数cvInpaint中加上鼠标回调函数，然后根据所述目标格式的深度图像中的待修复区域对颜色阈值范围进行设定，得到所述待修复区域的掩膜。


3.根据权利要求1所述的方法，其特征在于，步骤(2)包括：
若所述目标格式的深度图像中的待修复区域位于图像的边缘，则由确定待修复区域掩膜的反二值阈值化函数，以对所述待修复区域的颜色阈值范围进行设定，得到所述待修复区域的掩膜，其中，threshhold为预设阈值，I(x,y)表示所述待修复区域的像素点(x,y)处的像素值，Ω表示待修复的区域。


4.根据权利要求2或3所述的方法，其特征在于，步骤(3)包括：
由对所述目标格式的深度图像中的待修复区域进行空洞填补，其中，p点是需要修复的像素，Dp表示p点处的深度值，Bε(p)表示p点的邻域，q为Bε(p)中的一点，w(p,q)用来衡量p点与邻域像素q的相似程度，Dq表示q点处的深度值，▽Dq表示q点的亮度梯度值，(p-q)表示像素p与像素q之间的几何距离。


5.根据权利要求4所述的方法，其特征在于，步骤(4)包括：
由g(x,y)＝med{f(x-k,y-l),(k,l∈w)}对所述空洞修复后的深度图像进行中值滤波，得到图像增强处理后的深度图像，其中，g(x,y)表示中值滤波后的图像，f(x,y)表示所述空洞修复后的深度图像，w表示二维中值滤波模板，k与l取w中的值。


6.一种...

【专利技术属性】
技术研发人员：吴怀宇，洪运志，丁元浩，刘家乐，李琳，陈思文，
申请(专利权)人：武汉科技大学，
类型：发明
国别省市：湖北;42