一种基于RGB-D特征匹配的3D点云拼接与融合方法技术

本发明专利技术公开了本发明专利技术公开了一种基于RGB‑D特征匹配的3D点云拼接与融合方法，该方法主要包括：将不同视点的场景表面3D点云数据投影到RGB‑D图像进行处理，实现三维点云降至二维的降维计算；提取RGB‑D图像特征点，建立RGB‑D图像的特征描述，对不同视点RGB‑D图像进行匹配；求解坐标及深度变换矩阵，对RGB‑D图像进行拼接与融合；将拼接后的RGB‑D图像转化为3D点云数据。通过采用本发明专利技术提供的方法，可以简化三维点云特征提取和匹配的计算，提高三维点云拼接和融合的效率。可应用于3D大视场与3D全景的场景重建。

【技术实现步骤摘要】
一种基于RGB-D特征匹配的3D点云拼接与融合方法
本专利技术涉及计算机视觉与数字图像处理领域，尤其涉及一种基于RGB-D特征匹配的3D点云拼接与融合方法。
技术介绍
场景三维重建是计算机视觉领域研究的重要课题，实际应用中无法一次性获得被测场景表面完整的3D点云数据，只能通过多视点拍摄或测量得到点云数据，再配准到统一的坐标系下。常用的方法：依赖仪器配准通过硬件之间的坐标关系将多片点云旋转平移到统一坐标系下，该方法不需要点云之间具有共同特征，配准速度快，但要求对硬件进行精准标定或标志点的辅助获得全场景图像间的坐标变换关系；自动配准是通过一定的算法或统计规律将两片云之间的错位消除，该方法需要两点云数据之间具有共同特征，在某些情况下需要获取初始值，且配准算法存在退化的情况。因此，希望有一种技术方案来克服或至少减轻现有技术的上述缺陷中的至少一个。
技术实现思路
本专利技术的目的在于提供一种基于RGB-D特征匹配的3D点云拼接与融合方法来克服或至少减轻现有技术的上述缺陷中的至少一个。为实现上述目的，本专利技术提供一种基于RGB-D特征匹配的3D点云拼接与融合方法，其中，包括：步骤100，将不同视点的场景表面3D点云数据投影到RGB-D图像进行处理，实现三维点云降至二维的降维计算；步骤200，提取RGB-D图像中的特征点，建立RGB-D图像的特征描述，对不同视点RGB-D图像进行匹配；步骤300，求解坐标及深度变换矩阵，对RGB-D图像进行拼接与融合；步骤400，将拼接后的RGB-D图像转化为3D点云数据。进一步地，步骤100中的“实现三维点云降至二维的降维计算”方法包括：在3D点云坐标系下，选定一个参考面Zw＝d0作为相机平面，则3D点云数据(XwYw，Zw)转化为RGB-D图像坐标(x，y)＝(Xw，Yw)与深度D(x，y)＝d0-Zw。该RGB-D图像的中心点投影到相机平面上作为该图像的视点。进一步地，步骤300中的“求解坐标及深度变换矩阵，对RGB-D图像进行拼接”包括：经特征匹配后的两幅RGB-D图像，对应特征点可通过求解变换矩阵相互转换，基于投影变换模型给出变换矩阵，该变换矩阵与特征点对的关系模型为：其中A′对应图像I′，A对应参照图像I，变换矩阵Tk包含旋转、缩放、平移和变形量，通过代入特征点对进行求解；利用求解出的Tk对图像I′中的像点逐一变换，实现图像的拼接。进一步地，步骤300中的“对RGB-D图像进行融合”包括：不同RGB-D图像拼接过程中进行图像融合，对图像数据的RGB值作基于光度差异的变换，变换过程由以下线性模型给出：等式右端RGB值对应参照图像I，左端对应图像I′；假设两图像光度差异是全局的，(βr，βg，βh)T可忽略不计，则模型可简化为：变换矩阵由两图像的RGB均值比给出，利用双线性插值算法处理图像拼接产生的伪影。进一步地，对于3D大视场，从场景前不同视点获取点云数据，经RGB-D特征匹配并拼接融合，通过坐标变换Xw＝x，Yw＝y，Zw＝d0-D(x，y)转化为3D点云数据；对于3D全景，从场景周围不同视点获取的点云数据，经RGB-D特征匹配并拼接融合，通过坐标变换：转化为3D点云数据，其中x0为RGB-D全景图像最左端横坐标值，xN为最右端横坐标值。进一步地，步骤200包括：步骤201，利用透视投影模型和尺度空间理论，检测并提取RGB-D图像的三维特征点；步骤202，计算方向直方图，为关键点分配方向，使其具有旋转不变性；步骤203，利用特征点邻域内像素的梯度模值与方向对特征点进行描述，生成特征向量，并根据特征向量间的欧式距离匹配特征点。进一步地，步骤201具体包括：步骤211，利用透视投影模型，给出RGB-D图像保三维几何结构的降维计算方法，得到场景在相机坐标系中的参数表示；步骤212，由扩散方程出发，利用有限差分与尺度空间理论，建立检测RGB-D图像三维特征点的RGB-D尺度空间；步骤213，在RGB-D尺度空间上极值检测，获取特征点的位置；以及步骤214，利用子像元插值法，精确定位特征点，并筛除低对比度和边缘响应点，增强特征匹配稳定性和抗噪能力。进一步地，步骤211中的“场景中物点在相机坐标系中的参数表示”为：其中，是物点P在相机坐标系中的坐标，(u，v)平面为成像平面，ω为相机的水平视角，W，H表示图像I0的分辨率，D(u，v)为物点到相机的水平距离；步骤212具体包括：根据尺度空间理论，图像I0(x，y)的高斯尺度空间L(x，y，σ)表示为高斯函数G(x，y，σ)与原始图像I0的卷积，如下(2)式所示：L(x，y，σ)＝G(x，y，σ)*I0(x，y)，(6)其中则图像I0的高斯尺度空间表示为扩散方程初值问题，即：扩散方程有唯一解*表示卷积；利用有限差分理论，得到扩散方程初值问题的差分近似形式包括：对图像I0的支撑域Ω进行步长为h的离散得Ωd，引入以下差分量，得到扩散方程的差分形式，进而建立RGB-D尺度空间，差分量的表达如下：其中和为简化符号；因此，引入拉普拉斯算子L的离散二阶微分算子有以下差分方程式：将其写成矩阵形式，令再由导数的定义得上式近似于：其中τ为图像层间的尺度差，即τ＝σ(n+1)-σ(n)，由上式迭代求解，即可建立RGB-D尺度空间；步骤214具体包括：为获取连续情况下的极值点，利用子像元插值法，精确定位特征点，其具体如下：步骤2141，令F(u，v)＝Af(u，v)，假设经上述极值检测得到的极值点为(u1，v1)，则在此极值点(u1，v1)处将F(u，v)Taylor展开，并求驻点得到偏移量步骤2142，根据偏移量中所有分量与0.5的大小关系定位特征点；为增强特征匹配稳定性和抗噪能力，筛除低对比度和边缘响应点，其具体如下：步骤2143，删除定位出的特征点中低对比度的特征点；步骤2144，删除定位出的特征点中的边缘响应点；步骤2145，经过步骤2143和步骤2144的筛选，保留下来的特征点即为RGB-D图像的稳定三维特征点。进一步地，步骤202包括：为实现图像的旋转不变性，需要根据关键点的局部图像结构求得一个方向基准；对于尺度为σ的关键点(x，y)，计算图像梯度的大小和方向，计算公式如下：利用直方图统计邻域内像素的梯度大小和方向，方向直方图将0°～360°的范围，均分为36个柱，方向直方图的横轴为梯度的方向角，纵轴为方向对应的梯度加权累加值。方向直方图的峰值代表关键点的主方向。为了增强匹配的鲁棒性，保留大于主方向峰值80％的峰值方向，作为此关键点的辅方向。因此，一个关键点可以被分配一个或多个方向。至此，检测出含有位置、尺度、方向的关键点，即是该图像的特征点。进一步地，步骤203具体包括：通过对特征点周围的图像区域分块，计算块内的方向直方图，生成具有独特性的特征向量。为确保旋转不变性将坐标轴旋转为特征点的主方向；特征点附近的邻域划分为4×4个子区域，每个子区域为一个种子点；计算子区域的方向直方图，生成特征向量；为进一步除去光照变化的影响，对特征向量进行归一化处理。提取三维特征点并生成特征描述向量之后，将特征向量间的欧式距离作为相似性度量，匹配特征点。本专利技术利用RGB-D尺度空间理论将场景表面3D点云数据降至2D平面进行特征提取、描述和匹配，匹配的特征更稳定。在本文档来自技高网...

【技术保护点】
一种基于RGB‑D特征匹配的3D点云拼接与融合方法，其特征在于，包括：步骤100，将不同视点的场景表面3D点云数据投影到RGB‑D图像进行处理，实现三维点云降至二维的降维计算；步骤200，提取RGB‑D图像中的特征点，建立RGB‑D图像的特征描述，对不同视点RGB‑D图像进行匹配；步骤300，求解坐标及深度变换矩阵，对RGB‑D图像进行拼接与融合；步骤400，将拼接后的RGB‑D图像转化为3D点云数据。

【技术特征摘要】
1.一种基于RGB-D特征匹配的3D点云拼接与融合方法，其特征在于，包括：步骤100，将不同视点的场景表面3D点云数据投影到RGB-D图像进行处理，实现三维点云降至二维的降维计算；步骤200，提取RGB-D图像中的特征点，建立RGB-D图像的特征描述，对不同视点RGB-D图像进行匹配；步骤300，求解坐标及深度变换矩阵，对RGB-D图像进行拼接与融合；步骤400，将拼接后的RGB-D图像转化为3D点云数据。2.如权利要求1所述的基于RGB-D特征匹配的3D点云拼接与融合方法，其特征在于，步骤100中的“实现三维点云降至二维的降维计算”方法包括：在3D点云坐标系下，选定一个参考面Zw＝d0作为相机平面，则3D点云数据(Xw，Yw，Zw)转化为RGB-D图像坐标(x，y)＝(Xw，Yw)与深度D(x，y)＝d0-Zw，该RGB-D图像的中心点投影到相机平面上作为该图像的视点。3.如权利要求1所述的基于RGB-D特征匹配的3D点云拼接与融合方法，其特征在于，步骤300中的“求解坐标及深度变换矩阵，对RGB-D图像进行拼接”包括：经特征匹配后的两幅RGB-D图像，对应特征点可通过求解变换矩阵相互转换，基于投影变换模型给出变换矩阵，该变换矩阵与特征点对的关系模型为：其中A′对应图像I′，A对应参照图像I，变换矩阵Tk包含旋转、缩放、平移和变形量，通过代入特征点对进行求解；利用求解出的Tk对图像I′中的像点逐一变换，实现图像的拼接。4.如权利要求1所述的基于RGB-D特征匹配的3D点云拼接与融合方法，其特征在于，步骤300中的“对RGB-D图像进行融合”包括：不同RGB-D图像拼接过程中进行图像融合，对图像数据的RGB值作基于光度差异的变换，变换过程由以下线性模型给出：等式右端RGB值对应参照图像I，左端对应图像I′；假设两图像光度差异是全局的，(βr，βg，βb)T可忽略不计，则模型可简化为：变换矩阵由两图像的RGB均值比给出，利用双线性插值算法处理图像拼接产生的伪影。5.如权利要求1所述的基于RGB-D特征匹配的3D点云拼接与融合方法，其特征在于，步骤400中的“将拼接后的RGB-D图像转化为3D点云数据”包括：对于3D大视场，从场景前不同视点获取点云数据，经RGB-D特征匹配并拼接融合，通过坐标变换Xw＝x，Yw＝y，Zw＝d0-D(x，y)转化为3D点云数据；对于3D全景，从场景周围不同视点获取的点云数据，经RGB-D特征匹配并拼接融合，通过坐标变换：转化为3D点云数据，其中x0为RGB-D全景图像最左端横坐标值，xN为最右端横坐标值。6.如权利要求1所述的基于RGB-D特征匹配的3D点云拼接与融合方法，其特征在于，步骤200具体包括：步骤201，利用透视投影模型和尺度空间理论，检测并提取RGB-D图像的三维特征点；步骤202，计算方向直方图，为关键点分配方向，使其具有旋转不变性；步骤203，利用特征点邻域内像素的梯度模值与方向对特征点进行描述，生成特征向量，并根据特征向量间的欧式距离匹配特征点。7.如权利要求6所述的RGB-D图像特征描述与匹配方法，其特征在于，步骤201具体包括：步骤211，利用透视投影模型，给出RGB-D图像保三维几何结构的降维计算方法，得到场景在相机坐标系中的参数表示；步骤212，由扩散方程出发，利用有限差分与尺度空间理论，建立检测RGB-D图像三维特征点的RGB-D尺度空间；步骤213，在RGB-D尺度空间上极值检测，获取特征点的位置；以及步骤214，利用子像元插值法，精确定位特征点，并筛除低对比度和边缘响应点，增强特征匹配稳定性和抗噪能力。8.如权利要求7所述的RGB-D图像特征描述与匹配方法，其特征在于，步骤211中的“场景中物点在...

【专利技术属性】
技术研发人员：邱钧，刘畅，王媛，吴丽娜，
申请(专利权)人：北京信息科技大学，
类型：发明
国别省市：北京,11