基于Kinect fusion的高精度深度图像获取方法技术

本发明专利技术公开了一种基于Kinect fusion的高精度深度图像获取方法，其包括获取深度图像与彩色图像数据，三维重建形成空间点云，将插值结果映射到二维图像并进行灰度化处理，对灰度图像进行线性变换，在设定的深度区间内拉伸灰度域，对图像信息点坐标进行转换，形成新的深度图像，从而大大提高了深度图像的分辨率和精确度。

High precision depth image acquisition method based on Kinect fusion

The invention discloses a Kinect fusion-based high-precision depth image acquisition method, which includes acquiring depth image and color image data, three-dimensional reconstruction to form a space point cloud, mapping interpolation results to two-dimensional images and gray processing, linear transformation of gray image, stretching in a given depth range. In gray domain, the coordinates of image information points are transformed to form a new depth image, which greatly improves the resolution and accuracy of the depth image.

【技术实现步骤摘要】
基于Kinectfusion的高精度深度图像获取方法
本专利技术属于机器视觉
，具体涉及一种基于Kinectfusion的高精度深度图像获取方法。
技术介绍
物体的三维重建是一种根据多张二维视图重建物体三维信息的过程。三维重建在计算机图形学、计算机视觉、医学图像处理、虚拟现实、体感游戏等领域获得众多应用。为了使计算机生成三维位物体模型，通常情况采用的方法是通过二位维图像、投影等获取真实物体的几何形状，然后根据三位维建模方法如摄像机标定、数据点云化、点云拼接、特征分析与提取、立体匹配等过程等。Kinect是微软在游戏领域推出的体感周边外设，集成了深度相机、红外相机、彩色相机。通过Kinect采集的深度数据进行三维重建，大大降低了三维重建的成本，使得普通用户可以研究、使用三维重建技术带来的便利。Kinectfusion是微软研究院利用Kinect进行的三维重建项目。用户可以通过Kinect相机进行场景绘制并实时查看3D模型，Kinectfusion在GPU上以交互式速率运行，并且可以在各种硬件上以非交互式速率运行。Kinectfusion使用ICP算法将多帧不同位姿深度数据融合到前帧，并使用TSDF算法进行点云融合和立方体重建，重建结果具有平滑、噪声小、精度高等优点。通常情况下，直接使用深度相机采集到的深度图像分辨率低、噪声大、精度低，而利用Kinectfusion可以获得的高精度三维数据，但是kinectfusion所获得的三维数据为点云形式，点云数据量巨大，直接处理很难达到实时效果，并且不能运用比较成熟的二维图像处理算法。
技术实现思路
本专利技术的专利技术目的是：为了解决现有技术中存在的以上问题，本专利技术提出了一种简单可行的基于Kinectfusion的高精度深度图像获取方法。本专利技术的技术方案是：一种基于Kinectfusion的高精度深度图像获取方法，包括以下步骤：A、获取深度图像与彩色图像数据；B、对步骤A中获取的深度图像和彩色图像进行三维重建形成空间点云；C、对步骤B形成的空间点云进行Delaunay三角剖分和线性三角内插值处理；D、将步骤C得到的插值结果映射到二维图像，并对二维图像进行灰度化处理；E、对步骤D得到的灰度图像进行线性变换，在设定的深度区间内拉伸灰度域；F、根据空间点云坐标系与深度图像坐标系的坐标转换关系，对步骤E处理后的图像信息点坐标进行转换。进一步地，所述步骤B对步骤A中获取的深度图像和彩色图像进行三维重建形成空间点云，具体包括以下分步骤：B1、将深度图像连续帧以无符号短整形转换为浮点格式的深度帧，并设置最小和最大深度阈值对输入数据进行裁剪；B2、平滑深度图像数据，通过将投影关联在重建立方体中计算点云，并通过ICP算法对齐两组重叠的方向点云并计算相机的相对位置；B3、将深度浮点数据和彩色图像数据从步骤B2得到的相机的相对位置融合到重构立方体中；B4、根据点云中点位置和曲面法线从点云帧生成着色图像，完成三维重建形成空间点云。进一步地，所述步骤C对步骤B形成的空间点云进行Delaunay三角剖分和线性三角内插值处理，具体包括以下分步骤：C1、采用quickhull算法对空间点云中的二维坐标进行处理，得到有效点云平面的凸包；C2、根据步骤C1得到的凸包，对空间点云进行Delaunay三角剖分处理；C3、生成插值网格，选择包含插值网格点的Delaunay三角形，在三角形中对插值点进行线性插值。进一步地，所述步骤C1采用quickhull算法对空间点云中的二维坐标进行处理，得到有效点云平面的凸包具体为：选择空间点云中X坐标最大值和最小值对应的点，利用该两点形成的连线将所有点划分为两部分，选择距离连线最远的一个点与该两点形成三角形，忽略位于三角形内部的点，对三角形的另外两条边重复上述操作，直至没有剩余点时递归结束，被选择点构成凸包。本专利技术的有益效果是：本专利技术采用Kinect相机获取深度图像和彩色图像，通过Kinectfusion对深度图像和彩色图像进行三维重建形成空间点云；再对空间点云三角剖分，利用二维网格点进行线性插值；再将插值结果的深度信息变换到颜色空间，形成新的深度图像，从而大大提高了深度图像的分辨率和精确度。附图说明图1是本专利技术的基于Kinectfusion的高精度深度图像获取方法的流程示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。如图1所示，为本专利技术的基于Kinectfusion的高精度深度图像获取方法的流程示意图。一种基于Kinectfusion的高精度深度图像获取方法，包括以下步骤：A、获取深度图像与彩色图像数据；B、对步骤A中获取的深度图像和彩色图像进行三维重建形成空间点云；C、对步骤B形成的空间点云进行Delaunay三角剖分和线性三角内插值处理；D、将步骤C得到的插值结果映射到二维图像，并对二维图像进行灰度化处理；E、对步骤D得到的灰度图像进行线性变换，在设定的深度区间内拉伸灰度域；F、根据空间点云坐标系与深度图像坐标系的坐标转换关系，对步骤E处理后的图像信息点坐标进行转换。在本专利技术的一个可选实施例中，上述步骤A以人体背部图像为例，将kinect2.0通过USB连接上位机，通过上位机软件调用kinectSDK传感器的红外相机与彩色相机同时获取人体背部的深度图像与彩色图像数据。深度图像大小为512*424，彩色图像的大小为1920*1080。在本专利技术的一个可选实施例中，上述步骤B调用kinectfusion完成人体背部的三维重建，生成空间点云形式的三维数据XYZ。KinectFusion可以在具有C++AMP的DirectX11兼容的GPU或CPU上在重建体积创建期间通过设置重建处理器类型来处理数据。CPU处理器最适合离线处理，因为只有现代DirectX11GPU才能在重建期间实现实时交互的帧速率。通常，目标是以与Kinect传感器(30fps)相同的帧速率进行处理，以实现最稳健的摄像机姿态跟踪。对步骤A中获取的深度图像和彩色图像进行三维重建形成空间点云，具体包括以下分步骤：B1、将深度图像连续帧以无符号短整形转换为浮点格式的深度帧，并设置最小和最大深度阈值对输入数据进行裁剪；将深度图像深度帧以无符号短整形转换为浮点格式的深度帧，来表示以米为单位的距离(与光学中心轴平行)；并设置最小和最大深度阈值可以裁剪输入数据，以限定要重建的特定对象或曲面。B2、平滑深度图像数据，通过将投影关联在重建立方体中计算点云，并通过ICP算法对齐两组重叠的方向点云并计算相机的相对位置；平滑深度数据，通过将投影关联(projectivedataassociation)在重建立方体中计算点云，通过ICP算法对齐两组重叠的方向点云并计算相机的相对位置，相机位置可以用来将相机原点坐标系的结果转化到世界坐标系。因为传感器在每个帧中使用迭代对准算法，所以系统总是知道当前传感器相对于初始起始帧的姿态。B3、将深度浮点数据和彩色图像数据从步骤B2得到的相机的相对位置融合到重构立方体中；B4、根据点云中点位置和曲面法线从点云帧生成着色图像，完成三维重建形成空间点云。点本文档来自技高网...

【技术保护点】
1.一种基于Kinect fusion的高精度深度图像获取方法，其特征在于，包括以下步骤：A、获取深度图像与彩色图像数据；B、对步骤A中获取的深度图像和彩色图像进行三维重建形成空间点云；C、对步骤B形成的空间点云进行Delaunay三角剖分和线性三角内插值处理；D、将步骤C得到的插值结果映射到二维图像，并对二维图像进行灰度化处理；E、对步骤D得到的灰度图像进行线性变换，在设定的深度区间内拉伸灰度域；F、根据空间点云坐标系与深度图像坐标系的坐标转换关系，对步骤E处理后的图像信息点坐标进行转换。

【技术特征摘要】
1.一种基于Kinectfusion的高精度深度图像获取方法，其特征在于，包括以下步骤：A、获取深度图像与彩色图像数据；B、对步骤A中获取的深度图像和彩色图像进行三维重建形成空间点云；C、对步骤B形成的空间点云进行Delaunay三角剖分和线性三角内插值处理；D、将步骤C得到的插值结果映射到二维图像，并对二维图像进行灰度化处理；E、对步骤D得到的灰度图像进行线性变换，在设定的深度区间内拉伸灰度域；F、根据空间点云坐标系与深度图像坐标系的坐标转换关系，对步骤E处理后的图像信息点坐标进行转换。2.如权利要求1所述的基于Kinectfusion的高精度深度图像获取方法，其特征在于，所述步骤B对步骤A中获取的深度图像和彩色图像进行三维重建形成空间点云，具体包括以下分步骤：B1、将深度图像连续帧以无符号短整形转换为浮点格式的深度帧，并设置最小和最大深度阈值对输入数据进行裁剪；B2、平滑深度图像数据，通过将投影关联在重建立方体中计算点云，并通过ICP算法对齐两组重叠的方向点云并计算相机的相对位置；B3、将深度浮点数据和彩色图像数据从步骤B2得到的相机的相对位置融...

【专利技术属性】
技术研发人员：曹越，张静，许真达，刘娟秀，杨浩，林文韬，李圳浩，
申请(专利权)人：宁波古德软件技术有限公司，
类型：发明
国别省市：浙江,33