一种图像配准方法及装置制造方法及图纸

本发明专利技术公开了一种图像配准方法及装置，包括：获取热成像图像的第二组特征点；将第二组特征点进行配准变换后获得第三组特征点，其中，配准变换是根据预先获取的配准参数进行变换的，可见光图像的图像获取装置在每一个焦距下有一个对应该焦距的配准参数，每一个焦距下对应的配准参数是根据配准参数与焦距的线性关系来确定的；确定第三组特征点中位置与可见光图像的特征点相同的第四组特征点；根据第四组特征点确定配准参数后，根据该配准参数配准可见光图像以及热成像图像。采用本发明专利技术能够在可见光相机变焦过程中可实现可见光图像与热成像的实时配准，实时输出可见光图像与热成像融合图像。

A method and device for image registration

The invention discloses a method and device for image registration, including: obtaining second sets of feature points of a thermal imaging image, and obtaining third sets of feature points after registration and transformation of second sets of feature points, in which the registration transformation is transformed according to the pre acquired registration parameters, and the image acquisition device of the optical image can be seen in each of the image acquisition devices. There is a registration parameter for the focal distance under the focal length. The corresponding registration parameters under each focal distance are determined according to the linear relationship between the registration parameters and the focal distance. The fourth set of feature points in the third set of feature points are the same as the feature points of the visible light image; the registration parameters are determined according to the fourth set of feature points. The registration parameters can be used to register visible images and thermal imaging images. The real time registration of visible and thermal imaging can be realized in the zoom process of the visible light camera, and the real-time output of visible light image and thermal imaging fusion image can be realized.

【技术实现步骤摘要】
一种图像配准方法及装置
本专利技术涉及图像处理
，特别涉及一种图像配准方法及装置。
技术介绍
图像配准(ImageRegistration)技术是将相同地区，在不同视角、不同时刻、不同传感器或不同光照条件拍摄的图像进行空间对准的过程，该技术是异源空间数据获取和集成过程中极为关键的步骤，寻找最佳的几何变换参数是图像配准的最终目的。可见光传感器因其获取的图像分辨率非常高，并且所获取的图像与人目视效果一致，一直是遥感领域中重要的传感器之一。但可见光影像受云层状况、成像时间等天气条件影响较大。与可见光传感器相比，红外传感器具有被动工作方式、抗干扰性强、目标识别能力强、全天候工作等特点。另一方面由于总体上来说红外图像具有对比度低、边缘模糊、信噪比低、成分复杂等缺点，受大气热辐射、远作用距离、探测器噪声等因素影响，成像传感器探测到的目标的局部细节的灰度差异不明显，特别是在检测到的信号相对较弱、背景有非平稳起伏干扰的情况下，目标边缘有可能被大量杂波、噪声所淹没，从而导致图像信噪比降低、形状和结构的信息不足，因此利用两者互补的特性，将两类图像进行融合，可以获得地物目标更为本质、更为客观的特征，从而可以为目标识别、目标分类、目标提取及解译提供更为准确的依据，而图像融合的前提为图像配淮，因而研究有效的可见光与红外图像配准方法具有很现实的意义。对于可见光影像和红外影像的配准，由于其成像机理差异很大，使得可见光影像和红外影像的配准存在很多问题及难点。可见光影像和红外影像截然不同的成像机理也造成两类影像同名特征的提取以及配准难度的极大增加，而可见光影像与红外影像配准技术也成为二者信息集成的“瓶颈”。这也使得可见光影像与红外影像的配准问题成为目前的研究焦点。传统的影像配准方法并不适合于可见光与红外影像的配准问题中，需要对其进行改进。目前可见光影像和红外影像配准方法大致可分为两类：基于区域的配准方法和基于特征的配准方法。(1)基于区域的配准方法：基于区域的配准方法，无需对源图像进行复杂的预处理，该方法以整幅图像或局部区域的灰度信息为依据，建立待配准图像和基准图像之间的相似度量，利用某种搜索算法，寻找出相似度量达到最优值时的变换模型中的参数值，因此也被称为直接配准法，其特点是实现起来比较简单，并且具有较高的配准精度。基于图像灰度的图像配准方法，针对具体问题选取不同的相似性度量准则，常用的相似性度量准则有：互相关算法、序贯相似性检测算法和互信息相似性度量淮则。互相关算法是1982年提出的最早的基于区域灰度的图像配准方法，该方法的原理是：采用一幅图像X作为源图像和一个尺寸小于X的模板T，然后定义表征模板在每一个平移位置与源图像X的相似度的交叉相关函数F，模板T以某一平移量在源图像X中移动，当交叉相关函数F出现峰值时，即模板T与源图像X已经配准了。但是采用这种方法时需要非常巨大的运算量才能搜索出最佳匹配位置。为了减少搜索的运算量，加快搜索最佳匹配位置的效率，后来出现了基于SSDA(SequentialSimiliarityDetectionAlgorithm，序贯相似性检测算法)的算法。基于序贯相似性的检测的算法与互相关算法相比，有两方面的优势：一方面采用了简单的相似性度量准则E(u，v)，因为新准则不需要大量的乘法运算，所以省去了很大的运算量；另一方面采用了序贯搜索策略，新准则的实质误差绝对值的累加和，在图像能够完成匹配的位置区域，E(u，v)的值增长速度非常缓慢，而在不能够完成匹配的位置区域，E(u，v)的值增长速度非常快，所以可以采用一个误差阈值，当累积误差超过这个阈值时，则在相应位置提前停止迭代运算，转到下一个位置再计算E(u，v)，由于满足匹配条件的位置只有少量的几个点，所以序贯搜索策略能够提高搜索速度，极大的节省了搜索时间。基于互信息相似性度量准则的配准方法可以克服对图像灰度变化和图像本身的畸变的适应能力较弱的缺点。互信息最初是用来比较丙幅图像之间的统计相关性或者是一幅图中包含另一幅图像信息的多少。首先将两幅图像的灰度信息看做具有独立样本空间的均匀随机过程，分别设两幅图像灰度信息的随机变量是A和B，则两幅图像之间的互信息表示为：MI(A，B)＝H(A)+H(B)-H(A，B)其中H(A)、H(B)和H(A，B)分别为随机变量A的熵、随机变量B的熵、A和B的联合熵。两幅图像之间存在的相关性最大时，联合熵达到最小值，互信息量将是最大值，即两幅图像已经配准。基于互信息的相似性度量准则的方法没有要求图像中的灰度值为线性关系，所以能够解决多源图像的配准的问题，得到了广泛的应用。但该方法是建立在概率密度函数估计的基础之上，所以概率密度函数的估计是其前提和主要难点。基于待配准图像灰度信息的配准方法主要以图像中的灰度信息为依据开展，对于同一类传感器获取的图像，两幅图像中的灰度信息表现出较强的相关性，该方法能够取得较好的配准效果，但是针对可见光与红外图像等其它异源传感器获取的异源图像，由于在成像机理上存在差异，在图像中呈现出的灰度信息也具有不同程度的差异，因此此类方法针对可见光与红外图像只局限与灰度信息相关性大的可见光与近红外图保。(2)基于特征的配准方法：基于特征的图像配准方法是目前异源影像最常用的图像配准算法之一，该算法需要提取待配准图像中的点、线、区域等特征信息，不需要其它复杂信息，这样使得参与运算的信息大大减少，从而有效的提高了算法效率，并且该算法只需要特征信息，对图像灰度变化具有一定的鲁棒性。但是，正是由于该算法只采用了图像一小部分的特征信息，所以这种算法对特征提取和特征匹配的精度及准确性要求非常高，对错误非常敏感。根据选取的特征信息不同，把基于特征的图像配准方法划分为三大类：特征点、特征区域、特征边缘。特征点是最常用的图像特征信息之一，一般选取的特征点是相对于其邻域表现出来的具有某种奇异性的像素点。特征点往往容易被提取到，但是特征点所含信息量相对较少，只能反映出其在图像中的位置坐标信息，所以在两幅图像中寻找同名点是特征点配准方法的关键所在。彭逸月、何伟基等人提出了一种基于特征点的红外和可见光图像的配准方法，该方法首先根据边缘图像的结构分别提取红外图像特征点和可见光图像特征点，其次根据结合了形状结构和灰度、梯度信息配准准则寻找两幅图像的对应特征点，最后利用三对特征点根据变换模型得到图像的缩放倍率、旋转角度和平移坐标，从而实现了两幅图像的配准。在图像中寻找某些明显的区域信息作为特征区域，然而在实际应用中寻找到特征区域后，采用最多的还是区域的形心点，所以这类算法要求特征区域提取的精确性非常高。陈洁、付冬梅等人提出了一种基于图像轮廓特征的红外与可见光图像配准方法，该方法首先通过设置目标过滤器来提取明显的轮廓，再利用部分Hausdorff距离对轮廓进行匹配，计算出匹配轮廓对的面积和质心，并以此作为配准依据来对源图像进行配准。图像中另一明显的特征就是边缘特征，图像中的边缘特征比较容易提取，因此这类方法的鲁棒性较强，适用范围较广，但是此类方法对边缘特征提取要求较高，并且要求边缘特征信息全部用数学语言表述出来也比较困难。针对可见光与红外图像的配准问题，王阿妮、马彩文等人在传统的基于边缘相关匹配配准的基础上提出了一种改进方法，该方本文档来自技高网...

【技术保护点】
一种图像配准方法，其特征在于，包括：获取热成像图像的第二组特征点；将第二组特征点进行配准变换后获得第三组特征点，其中，配准变换是根据预先获取的配准参数进行变换的，可见光图像的图像获取装置在每一个焦距下有一个对应该焦距的配准参数，每一个焦距下对应的配准参数是根据配准参数与焦距的线性关系来确定的，该配准参数是该焦距下在可见光图像上的像素点与在热成像图像上与其对应的像素点之间的位置对应关系；确定第三组特征点中位置与可见光图像的特征点相同的第四组特征点；根据第四组特征点确定配准参数后，根据该配准参数配准可见光图像以及热成像图像。

【技术特征摘要】
1.一种图像配准方法，其特征在于，包括：获取热成像图像的第二组特征点；将第二组特征点进行配准变换后获得第三组特征点，其中，配准变换是根据预先获取的配准参数进行变换的，可见光图像的图像获取装置在每一个焦距下有一个对应该焦距的配准参数，每一个焦距下对应的配准参数是根据配准参数与焦距的线性关系来确定的，该配准参数是该焦距下在可见光图像上的像素点与在热成像图像上与其对应的像素点之间的位置对应关系；确定第三组特征点中位置与可见光图像的特征点相同的第四组特征点；根据第四组特征点确定配准参数后，根据该配准参数配准可见光图像以及热成像图像。2.如权利要求1所述的方法，其特征在于，第四组特征点是从第三组特征点中处于可见光图像分辨率内的特征点中确定的。3.如权利要求1所述的方法，其特征在于，第二组特征点是利用sobel算子提取的。4.如权利要求1所述的方法，其特征在于，获取配准参数包括：确定焦距为f1；在可见光图像和热成像上选取两对对应点Pt1(x1，y1)和pt1p(x1p，y1p)，pt2(x2，y2)和pt2p(x2p，y2p)；按如下方式确定配准参数：tx＝x1p-(zoom×cosθ×x1-sinθ×y1)；ty＝y1p-(zoom×sinθ×x1+cosθ×y1)。5.如权利要求1或4所述的方法，其特征在于，在确定各焦距下对应的配准参数时，包括：确定最低倍率的焦距对应的配准参数，以及最高倍率的焦距对应的配准参数；按预设步长确定最低倍率与最高倍率之间的各焦距对应的配准参数；根据各焦距对应的配准参数之间的关系确定出最低倍率与最高倍率之间的任一焦距对应的配准参数。6.如权利要求1至5任一所述的方法，其特征在于，进一步包括：在确定获取可见光图像的图像获取装置的焦距变化时，获取的可见光图像的第一组特征点是获取变化后的该焦距下的可见光图像的第一组特征点。7.如权利要求1至6任一所述的方法，其特征在于，进一步包括：将第二组特征点进行配准变换后获得第三组特征点时，获得多个配准参数对应的多组第三组特征点；确定每一组第三组特征点中的第四组特征点；在多组第四组特征点中，根据与第一组特征点的匹配度选取一组第四组特征点来确定配准参数，所述第一组特征点是从可见光图像上获取的。8.如权利要求7所述的方法，其特征在于，第一组特征点是利用sobel算子提取的。9.如权利要求7所述的方法，其特征在于，进一步包括：确定所述在多组第四组特征点中根据匹配度选取的一组第四组特征点，所对应的焦距；以该焦距为准按照预设步长确定选取的焦距范围；确定该焦距范围内各焦距对应的配准参数；在将第二组特征点进行配准变换后获得第三组特征点时，以该焦距范围内各焦距对应的配准参数为准获得多个配准参数对应的多组第三组特征点；确定每一组第三组特征点中的第四组特征点；在多组第四组特征点中，根据匹配度选取一组第四组特征点来确定配准参数后，根据该配准参数配准可见光图像以及热成像图像。10.如权利要求7或8或9所述的方法，其特征在于，根据匹配度选取一组第四组特征点时，是选择匹配度最高的一组，所述匹配度为：处于可见光图像分辨率内以及位置与可见光图像的特征点相同的第四组特征点与处于可见光图像分辨率内的第四组特征点之比。11.一种图像配准装置，其特征在于，包括：获取模块，用于获取热成像图像的第二组特征点；变换模块，用于将第二组特征点进行配准变换后获得第三组特征点，其中，配准变换是根据预先获取的配准参数进行变换的，可见光图像的图像获取装置在每一个焦距下有一个对应该焦距的配准参数，每一个焦距下对应的配准参数是根据配准...

【专利技术属性】
技术研发人员：李乾坤，郭晴，卢维，潘石柱，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：浙江,33