基于二维图像局部变形的三维配准方法技术

本发明专利技术涉及一种基于二维图像局部变形的三维配准方法，其包括初步配准、局部变形和精确配准三个主要步骤，首先调整三维模型场景与二维图像场景一致，通过选择三维坐标点对应图像坐标点计算投影矩阵，将二维图像投影到三维模型完成初步配准，而后在二维图像中选择与三维模型配准错误的坐标，利用移动最小二乘法局部变形，使错误坐标移动到正确位置；最后计算出二维图像全部区域或变形所针对区域的坐标映射表，利用坐标映射表重新调整二维图像，将新二维图像投影到三维模型完成最终配准。本发明专利技术有利于减小初步配准产生的误差，尤其是局部误差，进而获得更好的三维配准效果。

Three dimensional registration method based on local deformation of 2-D image

The invention relates to a three-dimensional registration method based on the local deformation of two-dimensional images, which includes three main steps: initial registration, local deformation and accurate registration. First, the three-dimensional model scene is aligned with the two-dimensional image scene, and the projection matrix is calculated by selecting the coordinate points of the three-dimensional coordinates and the projection matrix is calculated, and the two-dimensional image is projected. In the three-dimensional model, the initial registration is completed, and then the error coordinates are registered with the 3D model in the two-dimensional image. The error coordinates are moved to the correct position by the local deformation of the moving least square method. Finally, the sitting mapping table of all regions or the areas against the deformation is calculated, and the coordinate mapping table is reused. The 2D image is adjusted, and the new 2D image is projected to the 3D model to complete the final registration. The invention is beneficial to reduce the error produced by preliminary registration, especially the local error, so as to achieve better three-dimensional registration effect.

【技术实现步骤摘要】
基于二维图像局部变形的三维配准方法
本专利技术涉及一种基于二维图像局部变形的三维配准方法。
技术介绍
三维配准是将二维图像中的基本信息(点、线、面的二维坐标及像素等)与三维空间信息(点、线、面的三维坐标及纹理等)匹配融合，需要定量配准分析空间物体的大小和位置关系。现有图像三维配准方法主要可分为三大类别：1)基于特征统计学习方法。该方法建立在大型的目标数据库基础上,将数据库中的目标与实际目标进行特征比对，建立概率函数，通过概率大小进行目标深度的配准。目前已用的概率模型有马尔科夫模型、隐马尔科夫模型等。2)基于形状恢复技术。此方法的核心在于抽取二维图像中的三维信息(立体光、阴影、轮廓、纹理、运动等)，进行物体的三维恢复、配准。目前大多数形状恢复技术的基础是朗伯体反射图方程，它对成像条件、光学特征都做了理想假设。3)基于图像中的几何投影信息。其基本原理是利用图像中含有的大量几何属性的约束进行相机或平面标定，从而估计相机的内外参数，然后对图像建立数字化模型，最后完成三维模型的配准。然而，尽管上述三类配准技术分别在各自适应的场合取得了成功，但依然存在各自的局限性或缺陷。其中，基于特征统计学习方法的单幅图像三维配准虽然取得了较好的效果，但当图像与目标数据库不一致时，效果不够理想，甚至完全背离。配准效果对目标数据库的依赖性很强，而精准、全面的目标数据库的获取难度很高，所以此种方法较其余两种方法成本和难度较高。基于形状恢复技术的配准方法对光线和灰度要求较大，需要对图像的光度和灰度做预处理，并且图像分辨率高低和前景背景灰度差别会影响配准的效果；而且此项技术若没有其它约束条件,对形如凸面和凹面等曲面物体不能实现唯一匹配。基于几何投影信息的单幅图像三维配准技术对含有几何结构的目标图像取得了较理想的效果，但是测量误差累积较多，而且二维图像形变影响局部配准效果，如果能够较好地消除这些缺陷，这类方式不失为一种适应性更强的操作简洁、速度快、投入少、效率高的配准方法。因此，如何在现有基于图像中几何投影信息的配准技术的基础上，更准确地获取几何特征从而减少配准误差，是值得研究的问题。
技术实现思路
本专利技术的目的是在现有现有基于图像中几何投影信息的配准技术的基础上，提供一种基于二维图像局部变形的三维配准方法，以减小初步配准产生的误差，尤其是局部误差，进而获得更好的三维配准效果。本专利技术的技术方案是：一种基于二维图像局部变形的三维配准方法，包括下列步骤：计算投影矩阵：调整三维模型场景与二维图像场景一致，在三维模型和二维图像上选择实际对应的若干对匹配点，所述匹配点的数量不少于6对，依据各对匹配点的坐标，计算出三维模型坐标点在二维图像上的投影矩阵；初步配准：依据所述投影矩阵，进行二维图像和三维模型的初步配准；选取原始控制点：在配准错误的区域，在原始二维图像上选择若干易于分辨的特征点做为精确配准的原始控制点，形成原始控制点集；确定目标控制点：在三维模型中确定分别与各原始控制点实际对应的三维坐标点，依据投影矩阵计算出形成这些三维坐标点的二维图像坐标点并以此作为目标控制点，形成目标控制点集；局部变形：依据移动最小二乘法，分别针对原始二维图像中的各像素点，计算使原始控制点逼近目标控制点的最佳变形函数，依据相应的最佳变形函数进行变形运算，计算出原始二维图像中各像素点变形后的目标二维图像坐标；精确配准：依据所述投影矩阵，进行目标二维图像与三维模型的配准，形成精确三维配准图像。所述匹配点的选取方式可以采用人工方式，可以依靠相关软件的功能设置进行手动选点。所述原始控制点的选取方式可以采用人工方式，可以依靠相关软件的功能设置进行手动选点，也可以人工框选出配准错误的区域，通过软件自动识别和选取特征点作为原始控制点。在三维模型中确定分别与各原始控制点实际对应的三维坐标点的方式可以为人工方式，通过观察确定分别与原始控制点对应的三维坐标点，可以依靠相关软件的功能设置进行手动选点。所述三维模型优选采用世界坐标系，所述二维图像优选采用图像坐标系，以方便数据处理。观察配准效果前，优选对三维配准图像中的二维图像进行透明化处理，以使观察更为方便和清晰。所述初步配准可以采用交互式三维配准方式。所述精确配准可以采用交互式三维配准方式。所述交互式三维配准方式为采用三角面片的划分方法，在三维模型中沿着模型构建空的三角面片集合，所述三角面片集合覆盖相应二维图像的全部场景，利用所述投影矩阵计算出三角面片所有顶点的二维图像坐标并据此对三角面片进行渲染，形成融合在三维模型上的二维图像，这种融合二维图像的三维模型图像可称为三维配准图像。所述选取原始控制点步骤中，可以先在原始二维图像中进行原始控制点的预选，对所预选的原始控制点在原始二维图像中叠加相应的控制点信息，所述控制点信息包括控制点位置和控制点标号，依据所述投影矩阵，将叠加有控制点信息的原始二维图像重新与三维模型配准并对二维图像进行透明化处理，查看和判断预选原始控制点的选点和分布是否适宜，对不适宜的预选控制点进行调整，直至预选控制点能够满足需要，以此作为选定的原始控制点，形成所述的原始控制点集。观察配准效果的过程中，可以通过人工方式对配准错误的区域进行框选，相应地，后续选取原始控制点步骤和局部变形步骤，针对整个二维图像实施或者只针对框选为配准错误的区域实施。框选为配准错误的区域与无配准错误区域的邻接处优选含有无配准错误的区域，以避免因变形导致的畸变。实现精确配准后，查看配准效果，如符合要求，以当前精确三维配准图像为最终配准结果，如不符合要求，以当前目标二维图像作为新的原始二维图像，重复进行自选取原始控制点至精确配准的各步骤，获得新的精确三维配准图像，如此循环，直至配准效果符合要求，由此可逐次提高配准精度。优选的，制备原始二维图像与目标二维图像的坐标映射表，依据坐标映射表对原始二维图像进行调整，形成目标二维图像或目标二维图像数据，并依此进行目标二维图像与三维模型的配准。制备坐标映射表的方式可以包括：进行由目标二维图像坐标向原始二维图像坐标的逆向映射，通过目标二维图像上各像素点的坐标，计算出对应的原始二维图像坐标，由此获得坐标映射表数据。如果发现存在空洞，可以采用双线性插值法进行插值，消除空洞。本专利技术的有益效果是：由于在初步配准后，通过原始二维图像的控制点与目标二维图像的控制点的逼近，实现了二维图像在配准错误(包括达不到所要求或期望的精度)区域的局部变形，有利于消除因相机成像方式造成的二维图像形变(桶形畸变或枕形畸变)以及手动选点过程中引入主观误差，改善配准效果；由于采用了坐标映射表，方便了原始二维图像的坐标映射，明显地提高了相关数据处理速度；由于坐标映射表可以采用逆向映射的方向制备，极大地减少了数据处理量；由于可以手工框选初步匹配中存在匹配错误的区域，方便了后续控制点选取等操作，并可以只对框选区域进行后续的图像处理且不影响处理效果，有利于提高效率。附图说明图1是本专利技术的流程示意图；图2是三维物体投影到相机图像平面的示意图；图3是在二维图像中选择控制点及进行控制点标注的示意图(以矩形和三角形角点为例)；图4是逆向映射原理示意图。具体实施方式下面结合附图对本专利技术做进一步说明。参见图1-4，本专利技术公开的基于二维图像局部变形的三维配准方法需要完成初步本文档来自技高网...

【技术保护点】
1.一种基于二维图像局部变形的三维配准方法，包括下列步骤：计算投影矩阵：调整三维模型场景与二维图像场景一致，在三维模型和二维图像上选择实际对应的若干对匹配点，所述匹配点的数量不少于6对， 依据各对匹配点的坐标，计算出三维模型坐标点在二维图像上的投影矩阵；初步配准：依据所述投影矩阵，进行二维图像和三维模型的初步配准；选取原始控制点：在配准错误的区域，在原始二维图像上选择若干易于分辨的特征点做为精确配准的原始控制点，形成原始控制点集；确定目标控制点：在三维模型中确定分别与各原始控制点实际对应的三维坐标点，依据投影矩阵计算出形成这些三维坐标点的二维图像坐标点并以此作为目标控制点，形成目标控制点集；局部变形：依据移动最小二乘法，分别针对原始二维图像中的各像素点，计算使原始控制点逼近目标控制点的最佳变形函数，依据相应的最佳变形函数进行变形运算，计算出原始二维图像中各像素点变形后的目标二维图像坐标；精确配准：依据所述投影矩阵，进行目标二维图像与三维模型的配准，形成精确三维配准图像。

【技术特征摘要】
1.一种基于二维图像局部变形的三维配准方法，包括下列步骤：计算投影矩阵：调整三维模型场景与二维图像场景一致，在三维模型和二维图像上选择实际对应的若干对匹配点，所述匹配点的数量不少于6对，依据各对匹配点的坐标，计算出三维模型坐标点在二维图像上的投影矩阵；初步配准：依据所述投影矩阵，进行二维图像和三维模型的初步配准；选取原始控制点：在配准错误的区域，在原始二维图像上选择若干易于分辨的特征点做为精确配准的原始控制点，形成原始控制点集；确定目标控制点：在三维模型中确定分别与各原始控制点实际对应的三维坐标点，依据投影矩阵计算出形成这些三维坐标点的二维图像坐标点并以此作为目标控制点，形成目标控制点集；局部变形：依据移动最小二乘法，分别针对原始二维图像中的各像素点，计算使原始控制点逼近目标控制点的最佳变形函数，依据相应的最佳变形函数进行变形运算，计算出原始二维图像中各像素点变形后的目标二维图像坐标；精确配准：依据所述投影矩阵，进行目标二维图像与三维模型的配准，形成精确三维配准图像。2.如权利要求1所述的三维配准方法，其特征在于所述三维模型采用世界坐标系，所述二维图像采用图像坐标系。3.如权利要求1所述的三维配准方法，其特征在于观察配准效果前，对三维配准图像中的二维图像进行透明化处理。4.如权利要求1所述的三维配准方法，其特征在于所述初步配准和精确配准均采用交互式三维配准方式，所述交互式三维配准方式为采用三角面片的划分方法，在三维模型中沿着模型构建空的三角面片集合，所述三角面片集合覆盖相应二维图像的全部场景，利用所述投影矩阵计算出三角面片所有顶点的二维图像坐标并据此对三角面片进行渲染，形成融合在三维模型上的二维图像。5.如权利要求1所述的三维配准方法，其特征在于所述...

【专利技术属性】
技术研发人员：董华宇，郑文涛，王国夫，
申请(专利权)人：北京天睿空间科技股份有限公司，
类型：发明
国别省市：北京,11