用于图像融合的方法及装置制造方法及图纸

本发明专利技术实施例提供一种用于图像融合的方法及装置，属于图像处理领域。其中用于图像融合的查找表生成方法包括：获取图像融合系统中的第一摄像机和第二摄像机对同一场景区域拍摄而产生的第一图像和第二图像；以所述第二图像为基准对所述第一图像进行校正以获得校正参数，其中对所述第一图像进行校正能够使得校正后的第一图像和所述第二图像完成配准；以及使用所述校正参数来建立用于校正所述第一图像的查找表，其中所述查找表中存储有所述校正后的第一图像中的每一像素在所述第一图像中的对应位置。其可以节省图像融合系统中处理器的芯片资源、降低系统功耗并且同时提高运算速度。

【技术实现步骤摘要】
用于图像融合的方法及装置
本专利技术涉及图像处理领域，具体地，涉及一种用于图像融合的方法及装置。
技术介绍
图像融合是将多通道所采集的同一目标图像的互补信息依据某种准则融合，使融合后的图像具有比参加融合的任意一幅图像更优越的性质，以更精确地反映实际信息。以双通道图像融合系统为例，由于装配原因，实际的图像融合系统的双通道的光轴并不严格平行，因此会导致不同通道产生的图像之间会产生一定的偏移。而且由于图像本身的畸变问题，往往需要对图像进行畸变、旋转、平移和/或缩放校正之后才能进行图像的融合操作。相关技术中，对上述失配问题的校正方法是对畸变、旋转、平移和缩放操作进行一一校正，在处理器上每一步校正操作都需要占用相应的芯片资源，并且需要相对较长的运算时间。
技术实现思路
本专利技术实施例的目的是提供一种用于图像融合的方法及装置，其旨在解决或至少部分解决上述技术问题。为了实现上述目的，本专利技术实施例提供一种用于图像融合的查找表生成方法，所述方法包括：获取图像融合系统中的第一摄像机和第二摄像机对同一场景区域拍摄而产生的第一图像和第二图像；以所述第二图像为基准对所述第一图像进行校正以获得校正参数，其中对所述第一图像进行校正能够使得校正后的第一图像和所述第二图像完成配准；以及使用所述校正参数来建立用于校正所述第一图像的查找表，其中所述查找表中存储有所述校正后的第一图像中的每一像素在所述第一图像中的对应位置。可选地，所述方法还包括：对所述第一摄像机进行标定以获得所述第一摄像机的畸变参数和内参矩阵，其中，所述畸变参数和所述内参矩阵被包括在所述校正参数中。可选地，所述对所述第一图像进行校正包括执行以下步骤中的一者或多者：对所述第一图像进行畸变校正；对所述第一图像进行平移校正；对所述第一图像进行旋转校正；以及对所述第一图像进行缩放校正。可选地，所述校正参数包括以下中的一者或多者：平移参数、旋转参数、以及缩放参数。可选地，所述第一摄像机为红外摄像机，且所述第二摄像机为微光摄像机；或者所述第一摄像机为微光摄像机，且所述第二摄像机为红外摄像机。可选地，所述使用所述校正参数来建立用于校正所述第一图像的查找表包括通过以下公式来建立所述查找表：其中，u1＝cosθ·fw(u-tx)+sinθ·fh(v-ty)-h1sinθcosθ，v1＝-sinθ·fw(u-tx)+cosθ·fh(v-ty)+0.5h1cos2θ+0.5h1，其中，(ud,vd)为所述校正后的第一图像中的像素位置(u,v)在所述第一图像中的对应位置，fw为所述第一图像相对所述第二图像的图像宽度放大或缩小的倍数的倒数，fh为所述第一图像相对所述第二图像的图像高度放大或缩小的倍数的倒数，θ为所述第一图像相对所述第二图像的旋转角度，fx和fy为所述第一摄像机的内参矩阵中的焦距，cx和cy为所述第一摄像机的光轴在图像坐标系中的偏移量，k1和k2为所述第一摄像机的畸变系数，tx为所述第一图像相对所述第二图像在水平方向的平移量，ty为所述第一图像相对所述第二图像在竖直方向的平移量，h1为所述第一图像的高度，u1和v1为计算ud和vd的中间量。相应地，本专利技术实施例还提供一种图像融合方法，所述方法包括：获取图像融合系统中的第一摄像机和第二摄像机对同一场景区域拍摄而产生的第一图像和第二图像；根据所存储的查找表确定校正后的第一图像中的每一像素的像素值，其中所述查找表为根据上述的方法而生成的查找表；以及对所述第二图像和所述校正后的第一图像进行融合。可选地，所述根据所存储的查找表确定校正后的第一图像中的每一像素的像素值包括：在所述查找表中存储的像素位置不是整数的情况下，使用插值法确定所述校正后的第一图像中的对应像素的像素值。相应地，本专利技术实施例还提供一种用于图像融合的查找表生成装置，所述装置包括：获取模块，用于获取图像融合系统中的第一摄像机和第二摄像机对同一场景区域拍摄而产生的第一图像和第二图像；参数确定模块，用于以所述第二图像为基准对所述第一图像进行校正以获得校正参数，其中对所述第一图像进行校正能够使得校正后的第一图像和所述第二图像完成配准；以及建立模块，用于使用所述校正参数来建立用于校正所述第一图像的查找表，其中所述查找表中存储有所述校正后的第一图像中的每一像素在所述第一图像中的对应位置。可选地，所述装置还包括：标定模块，用于对所述第一摄像机进行标定以获得所述第一摄像机的畸变参数和内参矩阵，其中，所述畸变参数和所述内参矩阵被包括在所述校正参数中。可选地，所述校正模块包括以下中的一者或多者：畸变校正单元，用于对所述第一图像进行畸变校正；平移校正单元，用于对所述第一图像进行平移校正；旋转校正单元，用于对所述第一图像进行旋转校正；以及缩放校正单元，用于对所述第一图像进行缩放校正。可选地，所述校正参数包括以下中的一者或多者：平移参数、旋转参数、以及缩放参数。可选地，所述第一摄像机为红外摄像机，且所述第二摄像机为微光摄像机；或者所述第一摄像机为微光摄像机，且所述第二摄像机为红外摄像机。可选地，所述建立模块通过以下公式来建立所述查找表：其中，u1＝cosθ·fw(u-tx)+sinθ·fh(v-ty)-h1sinθcosθ，v1＝-sinθ·fw(u-tx)+cosθ·fh(v-ty)+0.5h1cos2θ+0.5h1，其中，(ud,vd)为所述校正后的第一图像中的像素位置(u,v)在所述第一图像中的对应位置，fw为所述第一图像相对所述第二图像的图像宽度放大或缩小的倍数的倒数，fh为所述第一图像相对所述第二图像的图像高度放大或缩小的倍数的倒数，θ为所述第一图像相对所述第二图像的旋转角度，fx和fy为所述第一摄像机的内参矩阵中的焦距，cx和cy为所述第一摄像机的光轴在图像坐标系中的偏移量，k1和k2为所述第一摄像机的畸变系数，tx为所述第一图像相对所述第二图像在水平方向的平移量，ty为所述第一图像相对所述第二图像在竖直方向的平移量，h1为所述第一图像的高度，u1和v1为计算ud和vd的中间量。相应地，本专利技术实施例还提供一种图像融合装置，所述装置包括：获取模块，用于获取图像融合系统中的第一摄像机和第二摄像机对同一场景区域拍摄而产生的第一图像和第二图像；像素值确定模块，用于根据所存储的查找表确定校正后的第一图像中的每一像素的像素值，其中所述查找表为根据上述的方法而生成的查找表；以及融合模块，用于对所述第二图像和所述校正后的第一图像进行融合。可选地，所述像素值确定模块用于在所述查找表中存储的像素位置不是整数的情况下，使用插值法确定所述校正后的第一图像中的对应像素的像素值。相应地，本专利技术实施例还提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行本专利技术实施例的用于图像融合系统的查找表生成方法。相应地，本专利技术实施例还提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行本专利技术实施例的图像融合方法。通过上述技术方案，以图像融合系统中某一通道拍摄的图像为基准，生成用于对其它通道图像进行校正的查找表，然后将该查找表存储在图像融合系统的处理器中。在对图像融合系统所采集的图像进行融合时，可以直接根据查找表中存储的校正后的图像的每一像素在原图像中的位置来确定校正后的每一图像本文档来自技高网...

【技术保护点】
一种用于图像融合的查找表生成方法，其特征在于，所述方法包括：获取图像融合系统中的第一摄像机和第二摄像机对同一场景区域拍摄而产生的第一图像和第二图像；以所述第二图像为基准对所述第一图像进行校正以获得校正参数，其中对所述第一图像进行校正能够使得校正后的第一图像和所述第二图像完成配准；以及使用所述校正参数来建立用于校正所述第一图像的查找表，其中所述查找表中存储有所述校正后的第一图像中的每一像素在所述第一图像中的对应位置。

【技术特征摘要】
1.一种用于图像融合的查找表生成方法，其特征在于，所述方法包括：获取图像融合系统中的第一摄像机和第二摄像机对同一场景区域拍摄而产生的第一图像和第二图像；以所述第二图像为基准对所述第一图像进行校正以获得校正参数，其中对所述第一图像进行校正能够使得校正后的第一图像和所述第二图像完成配准；以及使用所述校正参数来建立用于校正所述第一图像的查找表，其中所述查找表中存储有所述校正后的第一图像中的每一像素在所述第一图像中的对应位置。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：对所述第一摄像机进行标定以获得所述第一摄像机的畸变参数和内参矩阵，其中，所述畸变参数和所述内参矩阵被包括在所述校正参数中。3.根据权利要求1所述的方法，其特征在于，所述对所述第一图像进行校正包括执行以下步骤中的一者或多者：对所述第一图像进行畸变校正；对所述第一图像进行平移校正；对所述第一图像进行旋转校正；以及对所述第一图像进行缩放校正。4.根据权利要求3所述的方法，其特征在于，所述校正参数包括以下中的一者或多者：平移参数、旋转参数、以及缩放参数。5.根据权利要求1所述的方法，其特征在于，所述第一摄像机为红外摄像机，且所述第二摄像机为微光摄像机；或者所述第一摄像机为微光摄像机，且所述第二摄像机为红外摄像机。6.根据权利要求1所述的方法，其特征在于，所述使用所述校正参数来建立用于校正所述第一图像的查找表包括通过以下公式来建立所述查找表：其中，u1＝cosθ·fw(u-tx)+sinθ·fh(v-ty)-h1sinθcosθ，v1＝-sinθ·fw(u-tx)+cosθ·f...

【专利技术属性】
技术研发人员：李力，金伟其，刘冰，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京,11