基于轮廓共面四点集的2D‑3D图像配准方法技术

本发明专利技术公开了一种基于轮廓共面四点集的2D‑3D图像配准方法，属于计算机视觉技术领域。本发明专利技术使用共面的四点集作为配准基元；首先将点云沿多个视角透视投影形成多个影像，寻找与图像拍摄视角相近的点云影像；其次，在物体图像轮廓点中寻找点云影像轮廓上共面四点的对应点时，先寻找其中三点构成的三角形的相似三角形，然后根据平面的仿射变换寻找第四个点的大概位置；最后，利用平面的单应性计算图像与点云变换矩阵，根据配准每个变换矩阵对应的配准精度选取最佳变换矩阵，从而完成2D‑3D的初始配准。对比现有技术，本发明专利技术提出的方法在轮廓上寻找匹配对应点较为可靠、简单，算法整体自动化程度较好。

Outline of four coplanar point set 2D image registration method based on 3D

The invention discloses a profile of four coplanar point set 2D 3D based image registration methods, which belongs to the technical field of computer vision. The invention uses four point coplanar sets as registration primitives; the point cloud along multiple perspective projection to form a plurality of image search and image capture point cloud images from the perspective of similar; secondly, looking at the image of the object contour points corresponding to four point coplanar points on the contour point cloud image, to find them three a similar triangle triangle, and then find the fourth points of the approximate position according to the affine transform plane; finally, using the homography of computing image and point cloud registration according to the transformation matrix, each transformation matrix corresponding to the registration accuracy to select the optimal transform matrix, thus completing the initial registration of 2D 3D. Compared with the existing technology, the method proposed in this paper is more reliable and simple to find matching points on the contour, and the overall degree of automation of the algorithm is better.

【技术实现步骤摘要】
基于轮廓共面四点集的2D-3D图像配准方法
本专利技术属于计算机视觉
，主要涉及图像与点云数据的配准，具体地说是一种基于轮廓共面四点集的2D-3D图像配准方法，可用于点云与图像的粗配准。
技术介绍
点云与图像的配准主要解决激光点云的着色问题，通过点云与图像的配准，可以将图像中的颜色等信息添加在点云上，使物体的点云模型更加真实、生动；点云和图像配准后还可以辅助不同视角的点云配准。点云与图像配准比较简单方法有将扫描仪与拍摄图像的相机位置固定，扫描物体形成点云的时候同时拍摄图像，通过它们之间的空间关系和相机参数计算得到点云与图像的大致对应关系。对于相机方位未知和要求点云和图像高精度配准的情况下，需要找到图像与点云中的同名点计算图像与点云的对应关系。同名点的获得可以通过手动或者自动的方法获得。自动寻找同名点，一般通过特征匹配的方式。点云数据只具有深度信息，其体现的特征为结构特征，图像中包含各种丰富的纹理信息，如何在图像中区别并找到体现其结构特征的点集成为寻找两者匹配点对的关键。寻找匹配点集时常用的特征有：点、线、面特征。不同类型的点云和图像根据其数据的特点选择合适的特征基元进行配准，很难找到一种比较通用的匹配基元；大多数传统方法还需要知道点云与图像大致的配准关系，将点云按初始关系投影后再寻找点云特征点对应的附近位置图像上的同名点，无法满足完全的自动化；而且大多数的图像中的特征点不一定与点云的同名特征点特征是一致的，容易寻找到错误的匹配点对。
技术实现思路
本专利技术的目的在于针对以上问题，提供一种基于轮廓共面四点集的2D-3D图像配准方法，通过寻找图像中物体外轮廓上与点云对应的共面四点对，计算点云与图像的配准变换矩阵，完成点云与图像的配准。本专利技术的技术方案：一种基于轮廓共面四点集的2D-3D图像配准方法，其特征在于，包括有如下步骤：步骤1，输入待配准图像I0和点云P；步骤2，虚拟相机的针孔成像过程将点云P从n个不同的视角透视投影到二维平面，生成多张不同视角的点云影像，组成集合I＝{Ii},i＝1,2,…,n，其中Ii代表第i个视角生成的点云影像，并记下对应的透射投影矩阵，影像中像素的灰度值为其三维点对应的深度值；步骤3，提取待配准图像I0中物体的外轮廓C0，对集合I中的点云影像提取物体外轮廓组成集合C＝{Ci},i＝1,2,…,n；利用轮廓的相似性在集合C中寻找与外轮廓C0最为匹配的外轮廓Cs，s代表最为匹配的视角标号，s∈[1,n]；根据匹配的外轮廓Cs对应的点云影像Is的透射投影矩阵及灰度值计算匹配的外轮廓Cs上各点对应的三维空间的坐标，点云影像Is作为与图像I0拍摄视角相近的图像；步骤4，寻找匹配的外轮廓Cs与外轮廓C0上的匹配共面四点对集合U；步骤5，寻找集合U中满足配准精度的四点对U*，输出对应的3D-2D变换矩阵M*。所述步骤4寻找匹配的外轮廓Cs与外轮廓C0上的匹配共面四点对集合U，包括如下步骤：(4.1)提取外轮廓C0上的关键点，组成关键点集合为C0的第i0个关键点，i0＝1,2,…,m0，m0为外轮廓C0上关键点个数，每个关键点记录下其像素坐标及该点特征，的特征表示为提取匹配的外轮廓Cs上的关键点，得到集合为Cs的第i1个关键点，i1＝1,2,…,ms，ms为Cs上关键点个数，集合中的关键点还包含对应的三维空间坐标；向量运算时及均表示其二维坐标点；(4.2)迭代次数N初始化，N＝0；(4.3)提取匹配的外轮廓Cs上的共面四点基B＝{p1,p2,p3,p4}，p1、p2、p3、p4为Cs上的不相同四个轮廓点；(4.4)寻找外轮廓C0上所有可能匹配基B的四点集合i3＝1,2,…,m3，Qi为一组匹配基B的四点集，m3为匹配的组数；(4.5)集合Q中的每个与基B构成共面四点对形成集合U。所述步骤(4.3)提取匹配的外轮廓Cs上的共面四点基B＝{p1,p2,p3,p4}，包括如下步骤：(4.3.1)随机选取集合的两个关键点，记为p1、p2；遍历集合中的其它关键点与p1、p2组成三角形寻找使面积达到最大的第三个关键点令Δp1p2p3对应的三维空间三角形记为(4.3.2)遍历集合中的其他关键点若的三维空间坐标点到三角形所在的平面的距离d＝0，且满足任意三点的三维空间坐标不在一条直线上，则基B的第四个共面点(4.3.3)若在集合中没有寻找到第四个点，则遍历Cs上的所有非关键点寻找满足要求的共面点p4，与Δp1p2p3组成基B；若在Cs上未找到第四个点，则回到(4.3.1)重新选择三角形。所述步骤(4.4)寻找外轮廓C0上所有可能匹配基B的四点，与基B形成共面四点对集合U，包括如下步骤：(4.4.1)通过以下过程在外轮廓C0上寻找与基B中Δp1p2p3相似的匹配三角形集合TΔ：分别计算Cs与C0的最小外包围矩形，对应的矩形长边分别记为Boxs和Box0，α＝Boxs/Box0；Δp1p2p3具有的特征：其中三角形长边的长度为d1，短边长度d2，β＝d1/d2，长边与短边的共同关键点称为中心点m，长、短边的另一端的顶点分别称为l、s，中心点m处的角∠lms＝θ0；遍历外轮廓C0的关键点集合K，寻找与中心点m具有相似特征的关键点集合，记为{m'}，其中点m'满足：||F(m)-F(m')||p＜thf，thf为p范数上的特征相似阈值；对{m'}中的每个点m'，遍历集合K，根据点l的特征F(l)、d1、α寻找与其构成长边的关键点集合{l'}，其中的点l'满足：(1)||F(l)-F(l')||p＜thf；(2)thd为设定距离阈值；同理，根据F(s)、d2、α寻找与其构成短边的关键点集合{s'}；组合{l'}和{s'}，寻找使得|∠l'm's'-θ0|＜thθ，且的Δl'm's'加入集合TΔ，thr为设定比例阈值；(4.4.2)通过以下过程由集合TΔ得到候选四点集i3＝1,2,…,m3，m3为集合Q中元素个数：对集合TΔ中的每一组三角形与基B的Δp1p2p3组成三对对应点对，利用该三对点对计算平面上的仿射变换，对点云影像Is进行仿射变换后，计算其变换后的外轮廓Cs′与外轮廓C0的重合程度；从集合TΔ中找到重合程度较大的t组组成相似三角形集合TΔ*；然后，对TΔ*中每一个Δq1q2q3，计算其与Δp1p2p3的仿射变换，基B中的点p4坐标变换后为p4'；遍历Cs上的轮廓点，选取候选的第四点集{q4}，q4满足：(1)||p4'-q4||＜r，r为设定的半径阈值；(2)||F(l)-F(l')||p＜thf；对于{q4}的每个q4与Δq1q2q3组成一组候选四点集所述步骤5寻找满足配准精度的四点对，输出对应的3D-2D变换矩阵M*，包括如下步骤：(5.1)计算集合U的每一个四点对组合的3D-2D变换矩阵i3＝1,2,…,m3：(5.2)通过以下过程遍历计算每个变换矩阵对应的配准精度当时，输出符合要求的变换矩阵M*，d0为满足要求的配准精度阈值：匹配的外轮廓Cs对应的三维空间点集合记为SP，集合中每个点spii，ii∈[1,m4]，m4为Cs上点的个数，通过变换到平面点记为外轮廓C0的点任意点记为cj，j∈[1,m5]，m5为C0上点的个数，则对每个变换矩阵配准精度定义如下：(5.3)当步骤5.2未找到符合要求本文档来自技高网...

【技术保护点】
一种基于轮廓共面四点集的2D‑3D图像配准方法，其特征在于，包括有如下步骤：步骤1，输入待配准图像I0和点云P；步骤2，虚拟相机的针孔成像过程将点云P从n个不同的视角透视投影到二维平面，生成多张不同视角的点云影像，组成集合I＝{Ii},i＝1,2,…,n，其中Ii代表第i个视角生成的点云影像，并记下对应的透射投影矩阵，影像中像素的灰度值为其三维点对应的深度值；步骤3，提取待配准图像I0中物体的外轮廓C0，对集合I中的点云影像提取物体外轮廓组成集合C＝{Ci},i＝1,2,…,n；利用轮廓的相似性在集合C中寻找与外轮廓C0最为匹配的外轮廓Cs，s代表最为匹配的视角标号，s∈[1,n]；根据匹配的外轮廓Cs对应的点云影像Is的透射投影矩阵及灰度值计算匹配的外轮廓Cs上各点对应的三维空间的坐标，点云影像Is作为与图像I0拍摄视角相近的图像；步骤4，寻找匹配的外轮廓Cs与外轮廓C0上的匹配共面四点对集合U；步骤5，寻找集合U中满足配准精度的四点对U

【技术特征摘要】
1.一种基于轮廓共面四点集的2D-3D图像配准方法，其特征在于，包括有如下步骤：步骤1，输入待配准图像I0和点云P；步骤2，虚拟相机的针孔成像过程将点云P从n个不同的视角透视投影到二维平面，生成多张不同视角的点云影像，组成集合I＝{Ii},i＝1,2,…,n，其中Ii代表第i个视角生成的点云影像，并记下对应的透射投影矩阵，影像中像素的灰度值为其三维点对应的深度值；步骤3，提取待配准图像I0中物体的外轮廓C0，对集合I中的点云影像提取物体外轮廓组成集合C＝{Ci},i＝1,2,…,n；利用轮廓的相似性在集合C中寻找与外轮廓C0最为匹配的外轮廓Cs，s代表最为匹配的视角标号，s∈[1,n]；根据匹配的外轮廓Cs对应的点云影像Is的透射投影矩阵及灰度值计算匹配的外轮廓Cs上各点对应的三维空间的坐标，点云影像Is作为与图像I0拍摄视角相近的图像；步骤4，寻找匹配的外轮廓Cs与外轮廓C0上的匹配共面四点对集合U；步骤5，寻找集合U中满足配准精度的四点对U*，输出对应的3D-2D变换矩阵M*。2.如权利要求1所述的基于轮廓共面四点集的2D-3D图像配准方法，其特征在于，所述步骤4寻找匹配的外轮廓Cs与外轮廓C0上的匹配共面四点对集合U，包括如下步骤：(4.1)提取外轮廓C0上的关键点，组成关键点集合为C0的第i0个关键点，i0＝1,2,…,m0，m0为外轮廓C0上关键点个数，每个关键点记录下其像素坐标及该点特征，的特征表示为提取匹配的外轮廓Cs上的关键点，得到集合为Cs的第i1个关键点，i1＝1,2,…,ms，ms为Cs上关键点个数，集合中的关键点还包含对应的三维空间坐标；向量运算时及均表示其二维坐标点；(4.2)迭代次数N初始化，N＝0；(4.3)提取匹配的外轮廓Cs上的共面四点基B＝{p1,p2,p3,p4}，p1、p2、p3、p4为Cs上的不相同四个轮廓点；(4.4)寻找外轮廓C0上所有可能匹配基B的四点集合Qi为一组匹配基B的四点集，m3为匹配的组数；(4.5)集合Q中的每个与基B构成共面四点对形成集合U。3.如权利要求2所述的基于轮廓共面四点集的2D-3D图像配准方法，其特征在于，所述步骤(4.3)提取匹配的外轮廓Cs上的共面四点基B＝{p1,p2,p3,p4}，包括如下步骤：(4.3.1)随机选取集合的两个关键点，记为p1、p2；遍历集合中的其它关键点与p1、p2组成三角形寻找使面积达到最大的第三个关键点令Δp1p2p3对应的三维空间三角形记为(4.3.2)遍历集合中的其他关键点若的三维空间坐标点到三角形所在的平面的距离d＝0，且满足任意三点的三维空间坐标不在一条直线上，则基B的第四个共面点(4.3.3)若在集合中没有寻找到第四个点，则遍历Cs上的所有非关键点寻找满足要求的共面点p4，与Δp1p2p3组成基B；若在Cs上未找到第四个点，则回到(4.3.1)重新选择三角形。4.如权利要求2所述的基于轮廓共面四点集的2...

【专利技术属性】
技术研发人员：钟桦，胡葵，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61