一种基于超像素的目标重建方法技术

本发明专利技术提供一种基于超像素的目标重建方法，该方法由从运动到结构的投影矩阵估计、超像素下多视图立体视觉匹配以及深度图的合成与融合组成,具体流程包括六大步骤，步骤一：读入图像序列，利用运动到结构方法SFM估计相机投影矩阵；步骤二：对图像对进行超像素分割；步骤三：为每个超像素计算可能的深度值；步骤四：利用MRF模型选择超像素的最优深度值；步骤五：建立多尺度超像素框架；步骤六：深度图融合与表面网格化。本发明专利技术克服了基于超像素的立体视觉匹配精度不足的缺点，并利用其对噪声与亮度偏差鲁棒性强、能够准确提供目标轮廓信息以及计算复杂度小的优点，针对纹理区域及无纹理区域均可实现较好的重建结果，普适性强，具有广阔的应用背景。

【技术实现步骤摘要】
一种基于超像素的目标重建方法
本专利技术涉及一种基于超像素的目标重建方法，针对具有复杂细节表面的物体、非漫反射表面的物体以及具有高光区域表面的物体均具有较好的重建效果，属于计算机视觉领域。
技术介绍
无人机是一种由机载设备程序控制或人为遥控的不载人飞行器，可携带各种设备执行任务。随着无人机技术的飞速发展，其应用领域也更加广泛。其中，由无人机拍摄图像序列来进行目标检测并对它进行三维重建是研究中的重点也是难点。三维重建的本质概括来说是通过一定的技术手段获取三维信息，这些技术手段通常分为以下三种类型：主动距离获取重建方法，计算机图形学类方法，以及基于序列图像的计算机视觉类方法。主动距离获取重建方法利用激光、结构光或红外深度传感器来直接获取待重建物体的深度信息，然后运用距离数据归并技术将各个深度图整合为一致的3D表面。其中最近提出的一种是利用Kinect设备的方法，该方法利用Kinect的红外传感器获得目标深度图，然后直接对深度图进行融合。这类方法具有较高的建模精度，建模方法简单且效率较高，适用于对精度要求高的重建任务，但是采用的设备昂贵且不能很好完成较大物体的重建。计算机图形学类方法利用优秀的建模软件，例如AutoCAD、3DSMAX等来创建三维模型。该类方法使用长方体、椭球体等基本集合图形通过一系列复杂操作来构建模型。其缺点在于重建操作复杂，需要训练有素的专业人员与充分准确的重建目标数据，同时建模周期较长、成本较高。基于序列图像的计算机视觉类重建方法从包含重建目标的序列图像中恢复物体的几何结构。该方法通过自动化的复杂重建算法减少了人工参与从而减轻了人工劳动强度。同时该方法所需的数据可通过普通数码相机采集，使得建模的成本下降并且可用于多种类型场景的重建任务。基于图像重建空间实体目标或场景是计算机视觉中一个重要的研究分支。空间实体表面纹理等特征信息通过二维图像反映，对这些信息进行提取和相应的处理即可建立二维图像到三维空间结构的联系，而这一联系可由基于图像的三维重建技术建立。基于图像的三维重建技术从二维图像构建出真实感较强的三维模型，是基于三维场景计算机视觉应用的基础。通过基于图像三维重建获取的模型可以应用于虚拟现实应用，古建筑原貌恢复、文物电子档案保存以及电子游戏产业等方面。一直以来基于图像获取目标的三维信息就是计算机视觉方向的研究热点，Martin在1983年就提出了利用图像中物体的轮廓进行重建的方法，随后在1986年与1987年Chien与Potsmesi又分别提出了利用正交投影提取目标模型的方法与利用多视图透视投影构建目标模型的方法。本专利技术研究的方法为利用序列图像对中的立体匹配点信息进行三维重建的方法。同时由于本专利技术是基于超像素匹配，属于基于分割的立体匹配技术，所以在下面将介绍一下基于分割的立体视觉匹配技术。在将分割用于匹配之前已经有很多技术试图把图像分割为小块然后在这些分割块上进行进一步的处理，例如Baker利用分割块来计算平面方程，然后利用该平面方程与视差来计算出局部深度值得分布情况。绝大多数情况下相互临近同时又具有相同的颜色与亮度值的像素点很有可能具有非常接近且连续变化的深度，研究者们已经在很多工作中利用这一通过观察得出的结论使用图像的分割块来简化立体视觉匹配问题。利用分割块进行匹配可以使在有噪声干扰，亮度偏差以及轻微偏离漫反射假设的表面获取正确的匹配结果。在基于分割块的立体匹配中，分割块的尺寸选择同样至关重要，每个分割块需要包含足够多的信息使得匹配过程能够与真实视差分布的特点保持一致。因此超像素分割提供了一个很好的解决方案，保证了超像素分割块中包含有足够多的正确匹配需要用到的信息，同时能够很好的降低在一个超像素分割块中同时包含有多个物体以及纹理不同的区域的风险。在多视图立体视觉匹配重建中利用基于超像素分割的匹配能够为重建目标提供一个很好的轮廓信息，同时因为视差值的估计从像素单位转换为了超像素单位，算法的计算复杂度也随之下降了。本专利技术包含了超像素技术特有的优点，同时有效的避免了其内在的短板，填补了超像素技术在多视图立体视觉匹配领取应用的空白。
技术实现思路
本专利技术的技术解决问题是：提出一种基于超像素的目标重建方法，该方法由运动到结构的投影矩阵估计、超像素下多视图立体视觉匹配以及深度图的合成与融合组成。它具有鲁棒性强、能够准确提供目标轮廓信息等优点，特别是针对无纹理区域具有较好的重建结果。本专利技术的技术解决方案是：一种基于超像素的目标重建方法，其输入量是飞行器对目标跟踪拍摄的序列图像，输出为目标的三维表面网格模型。第一步，利用运动到结构方法SFM处理图像序列，估计每幅图像对应的投影矩阵；第二步，对图像序列进行极线校正，利用自适应的简单线性迭代聚类超像素算法Adaptive-SLIC对图像序列进行分割，实现图像序列的超像素分割，得到图像序列中的每幅图像中超像素块的分割结果；第三步，将经过分割得到的超像素块中的超像素作为匹配窗，利用零归一化互相关相似性测度ZNCC，作为匹配代价为每一个分割后的超像素计算出一系列可能的超像素的深度值，记为深度值的可能值集合；第四步，以超像素作为马尔科夫随机场模型节点，深度值的可能值集合中的每个深度值作为该马尔科夫随机场模型中节点的各个状态值，通过求解马尔科夫随机场模型来获得每个超像素的最优深度值；第五步，为进一步提高最优深度值估计的精确度，建立多尺度超像素框架，对每个匹配后的图像对的参考图像进行多次的Adaptive-SLIC超像素分割，将参考图像分割为不同数量的超像素，对应不同的超像素尺寸，利用这些不同尺寸的超像素进行基于MRF的立体匹配即得到参考图像中同一个像素点的M个候选深度值；第六步，深度图融合与表面网格化，M个候选深度值对应各自的视差值pi，利用极线约束与所述视差值pi对M个候选深度值重新评估，评价的指标为ZNCC值，将ZNCC值最高的深度值赋给指定像素，遍历所有像素便完成了深度图的合成，再将每个视角的深度图转换到同一视角下表达，最后利用泊松表面重建方法对重建结果进行表面网格化，得到重建模型，完成基于超像素的目标重建。所述第三步中，具体过程如下：(1)在参考图像中依次选取超像素块，并将极线投影到参考图像的相邻图像mne∈N(mrefer)，从而利用极线约束来简化匹配过程；(2)制作该选中超像素的模板，将该模板沿极线投影到相邻的图像mne上；(3)利用模板在图像mne上提取一个与si相同大小、形状的超像素块si′，在深度范围di(p)内沿极线移动si′，由公式(2)计算两个超像素块之间的ZNCC值，在移动的过程中利用ZNCC值在这两个超像素之间进行一个类窗匹配，记录下深度范围di(p)中每一个视差值pi所对应的ZNCC值；其中Ii是si中像素的亮度值，I′i为si′中像素的亮度值，N为超像素中的像素个数，和代表si和si′分别在参考图像和相邻图像所覆盖区域像素的平均亮度值；(4)选择最佳的L个深度值di(pi,l),l∈{1,...,L}组成可能深度值集合，与每个深度值相对应的ZNCC值为ci(pi,l),l∈{1,...,L}，每一个超像素si的标签对应一个视差值pi,l，每一个pi,l对应于一个深度值di(pi,l)和一个ZNCC值ci(pi,l)。所述第本文档来自技高网...

【技术保护点】
一种基于超像素的目标重建方法，其特征在于：包括以下步骤：第一步，利用运动到结构方法SFM处理图像序列，估计每幅图像对应的投影矩阵；第二步，对图像序列进行极线校正，利用自适应的简单线性迭代聚类超像素算法Adaptive‑SLIC对图像序列进行分割，实现图像序列的超像素分割，得到图像序列中的每幅图像中超像素块的分割结果；第三步，将经过分割得到的超像素块中的超像素作为匹配窗，利用零归一化互相关相似性测度ZNCC，作为匹配代价为每一个分割后的超像素计算出一系列可能的超像素的深度值，记为深度值的可能值集合；第四步，以超像素作为马尔科夫随机场模型节点，深度值的可能值集合中的每个深度值作为该马尔科夫随机场模型中节点的各个状态值，通过求解马尔科夫随机场模型来获得每个超像素的最优深度值；第五步，为进一步提高最优深度值估计的精确度，建立多尺度超像素框架，对每个匹配后的图像对的参考图像进行多次的Adaptive‑SLIC超像素分割，将参考图像分割为不同数量的超像素，对应不同的超像素尺寸，利用这些不同尺寸的超像素进行基于MRF的立体匹配即得到参考图像中同一个像素点的M个候选深度值；第六步，深度图融合与表面网格化，M个候选深度值对应各自的视差值pi，利用极线约束与所述视差值pi对M个候选深度值重新评估，评价的指标为ZNCC值，将ZNCC值最高的深度值赋给指定像素，遍历所有像素便完成了深度图的合成，再将每个视角的深度图转换到同一视角下表达，最后利用泊松表面重建方法对重建结果进行表面网格化，得到重建模型，完成基于超像素的目标重建。...

【技术特征摘要】
1.一种基于超像素的目标重建方法，其特征在于：包括以下步骤：第一步，利用运动到结构方法SFM处理图像序列，估计每幅图像对应的投影矩阵；第二步，对图像序列进行极线校正，利用自适应的简单线性迭代聚类超像素算法Adaptive-SLIC对图像序列进行分割，实现图像序列的超像素分割，得到图像序列中的每幅图像中超像素块的分割结果；第三步，将经过分割得到的超像素块中的超像素作为匹配窗，利用零归一化互相关相似性测度ZNCC，作为匹配代价为每一个分割后的超像素计算出一系列可能的超像素的深度值，记为深度值的可能值集合；第四步，以超像素作为马尔科夫随机场模型节点，深度值的可能值集合中的每个深度值作为该马尔科夫随机场模型中节点的各个状态值，通过求解马尔科夫随机场模型来获得每个超像素的最优深度值；第五步，为进一步提高最优深度值估计的精确度，建立多尺度超像素框架，对每个匹配后的图像对的参考图像进行多次的Adaptive-SLIC超像素分割，将参考图像分割为不同数量的超像素，对应不同的超像素尺寸，利用这些不同尺寸的超像素进行基于MRF的立体匹配即得到参考图像中同一个像素点的M个候选深度值；第六步，深度图融合与表面网格化，M个候选深度值对应各自的视差值pi，利用极线约束与所述视差值pi对M个候选深度值重新评估，评价的指标为ZNCC值，将ZNCC值最高的深度值赋给指定像素，遍历所有像素便完成了深度图的合成，再将每个视角的深度图转换到同一视角下表达，最后利用泊松表面重建方法对重建结果进行表面网格化，得到重建模型，完成基于超像素的目标重建。2.根据权利要求1所述的基于超像素的目标重建方法，其特征在于：所述第三步中，具体过程如下：(1)在参考图像中依次选取超像素块，并将极线投影到参考图像的相邻图像mne∈N(mrefer)，从而利用极线约束来简化匹配过程；(2)制作选中的超像素块的模板，将模板沿极线投影到相邻的图像mne上；(3)利用模板在图像mne上提取一个与si相同大小、形状的超像素块si′，在深度范围di(p)内沿极线移动si′，由公式(2)计算两个超像素块之间的ZNCC值，在移动的过程中利用ZNCC值在这两个超像素之间进行一个类窗匹配，记录下深度范围di(p)中每一个视差值pi所对应的ZNCC值；

【专利技术属性】
技术研发人员：袁丁，刘畅，费晓雅，张弘，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11