基于多镜头传感器的图像融合方法技术

本发明专利技术提供了基于多镜头传感器的图像融合方法，属于图像合成领域，包括：基于多镜头传感器获取到多幅图像；根据多镜头传感器的相对位置关系，构建坐标参数，根据坐标参数完成将多幅图像中目标物体上的像点从平面空间向三维空间坐标转换得到转换后图像；根据经典共线方程、多镜头传感器内方位元素以及特征点的属性值提取目标物体的轮廓信息；根据轮廓信息将多幅图像进行拼接，得到拼接后的图像。通过上述处理能够将五幅图像拼接成一幅图像，并且基于得到的图像可以得到目标物体中不同区域的相对空间关系建立多镜头相机严密的空间数学模型。用户能够基于此项技术进行输电线路的无人机快速巡线，融合多镜头采集的影像，并且建立真实的地理环境场景。

Image fusion method based on multi lens sensor

The present invention provides a method for image fusion based on multi camera sensor, which belongs to the field of image synthesis, including: multi camera sensor to obtain images based on; according to the relative position of multi sensor lens, constructing coordinate parameters, according to the coordinate parameters of multiple images in the object image point from the plane to the three-dimensional space the space coordinate transformation and obtain converted image; according to the range of elements of classical collinear equation, multi lens sensor and feature point extraction of object contour information; according to the profile information of the plurality of images for stitching, image stitching. Through the above processing, five images can be stitched into one image, and based on the obtained images, the relative spatial relations of different regions in the target object can be obtained, and the rigorous mathematical model of the multi lens camera is established. Based on this technology, users can quickly patrol the UAV of transmission line, integrate multi lens collection images, and establish real geographical environment scenarios.

【技术实现步骤摘要】
基于多镜头传感器的图像融合方法
本专利技术属于图像合成领域，特别涉及基于多镜头传感器的图像融合方法。
技术介绍
目前，由于无人机系统具备高空、远距离、快速、自行作业的能力，被广泛用于电网线路的快速巡线作业。但目前无人机系统搭载的多数为单个普通相机，借助无人机进行电网线路中杆塔的沿线拍摄时，仅能获取单一时刻的一张照片。为了获取杆塔不同角度和细节的影像数据，需要使用无人机在不同高度进行多次拍摄，但是往往由于地形和天气等条件，以及无人机自身续航能力的限制，很难对同一目标进行多次拍摄，从而降低了巡线作业的工作效率。
技术实现思路
为了解决现有技术中存在的缺点和不足，本专利技术提供了对多张图像进行合成，从而提高巡线作业工作效率的图像融合方法。为了达到上述技术目的，本专利技术提供了基于多镜头传感器的图像融合方法，所述多镜头传感器包括拍摄中心轴线以相同角度倾斜固定在拍摄平面上的至少四个倾斜传感器，以及位于倾斜传感器中央、且拍摄中心轴线垂直于拍摄平面的垂直传感器，所述图像融合方法，包括：基于多镜头传感器对目标物体进行拍摄，获取到与多镜头传感器数量相同的多幅图像；根据多镜头传感器的相对位置关系，构建用于将多幅图像中的图像信息向空间信息转换的坐标参数，根据坐标参数完成将多幅图像中目标物体上的像点从平面空间向三维空间坐标转换得到转换后图像；从转换后图像中提取多幅影像的同名特征点，根据经典共线方程、多镜头传感器内方位元素以及特征点的属性值提取所述目标物体的轮廓信息；根据所述轮廓信息将所述多幅图像进行拼接，得到相对于所述目标物体拼接后的图像。可选的，所述图像融合方法，包括：构建基准坐标系S-XYZ、与获取到的多幅图像对应的像空间坐标系S1-xyz、像空间辅助坐标系S1-XYZ，在所述像空间坐标系S1-xyz、像空间辅助坐标系S1-XYZ之间存在比例缩放因子λ。可选的，所述根据多镜头传感器的相对位置关系，构建用于将多幅图像中的图像信息向空间信息转换的坐标参数，包括：步骤一，目标物体上选取任一点A，所述点A在基准坐标系S-XYZ中的坐标为(X、Y、Z)；步骤二，令点A在像空间坐标系S1-xyz中的坐标系为a10(x1、y1、-f)，点A在像空间辅助坐标系S1-XYZ中的坐标为(x10、y10、-f)，；步骤三，对目标物体上的全部像素点进行如步骤一至步骤二的处理，获取处理后由像空间辅助坐标系S1-XYZ中坐标值构成的转换后的图像；其中，从基准坐标系依次向像空间坐标系S1-xyz、像空间辅助坐标系S1-XYZ进行转换的表达式如公式(1)所示可选的，所述从转换后的图像中提取多幅影像的同名特征点，根据经典共线方程、多镜头传感器内方位元素以及特征点的属性值自动提取所述目标物体的轮廓信息，包括：对所述转换后的图像进行扫描，根据扫描结果确定与所述转换后的图像相匹配的颜色反差像素阈值，在所述转换后的图像上提取像素值高于所述颜色反差像素阈值的特征点；提取每个特征点的属性值，根据属性值确定所述特征点在所述目标物体上所处的区域，根据预设参数集对不同区域赋予权值；根据权值对每个区域进行平面扫描个分割，确定每个区域所处的侧面结构，完成重构；根据重构的结果，规划出目标物体与外界环境的分界线，提取目标物体的轮廓信息。可选的，所述根据所述轮廓信息将所述多幅图像进行拼接，得到相对于所述目标物体拼接后的图像，包括：选取多幅图像中相邻的两幅图像，在选取的两幅图像中选取特征信息，在特征信息中提取的同名像点，结合多镜头传感器精确的内定向信息、通过控制点整体区域网平差绝对定向，获得多镜头传感器高精度的绝对姿态信息和定向元素；提取等效水平拼接影像间连接点及单航带内定向点；获取单航带内的影像，通过同名像点自动匹配以及自由网光束法平差剔除粗差，基于相对定向连接的方式构建单航带区域网；提取航带间所有影像重叠区域的全自动连接点，通过航带间自由网光束法进行平差处理，剔除粗差后，相对定向连接构成全航带区域网；通过量测控制点在相应像对上的像点坐标，整体区域网光束法平差并剔除粗差后，绝对定向求得水平拼接影像精确外方位元素，完成图像拼接。本专利技术提供的技术方案带来的有益效果是：通过上述处理能够将五幅图像拼接成一幅图像，并且基于得到的图像可以得到目标物体中不同区域的相对空间关系建立多镜头相机严密的空间数学模型。用户能够基于此项技术进行输电线路的无人机快速巡线，融合多镜头采集的影像，并且建立真实的地理环境场景。附图说明为了更清楚地说明本专利技术的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术提供的基于多镜头传感器的图像融合方法的流程示意图；图2是本专利技术提供的多镜头传感器的结构示意图。具体实施方式为使本专利技术的结构和优点更加清楚，下面将结合附图对本专利技术的结构作进一步地描述。实施例一本专利技术提供了基于多镜头传感器的图像融合方法，所述多镜头传感器包括拍摄中心轴线以相同角度倾斜固定在拍摄平面上的至少四个倾斜传感器，以及位于倾斜传感器中央、且拍摄中心轴线垂直于拍摄平面的垂直传感器，如图1所示，所述图像融合方法，包括：11、基于多镜头传感器对目标物体进行拍摄，获取到与多镜头传感器数量相同的多幅图像；12、根据多镜头传感器的相对位置关系，构建用于将多幅图像中的图像信息向空间信息转换的坐标参数，根据坐标参数完成将多幅图像中目标物体上的像点从平面空间向三维空间坐标转换得到转换后图像；13、从转换后图像中提取多幅影像的同名特征点，根据经典共线方程、多镜头传感器内方位元素以及特征点的属性值提取所述目标物体的轮廓信息；14、根据所述轮廓信息将所述多幅图像进行拼接，得到相对于所述目标物体拼接后的图像。在实施中，本专利技术实施例中使用的多镜头传感器，参见图2所示，包括垂直相机1、倾斜相机2、倾斜相机3、倾斜相机4、倾斜相机5，倾斜相机2、3、4、5分别向内倾斜一个固定角度。5台相机皆采用2010万像素APS-C画幅数码相机，镜头采用福轮达手动定焦镜。垂直相机1相机为25mmF2.5定焦镜头，倾斜相机2，3，4，5相机为35mmF2.5定焦镜头。在同一时刻，基于上述多镜头传感器对目标物体进行拍摄获取到五幅图像，经过如步骤11至14的处理，能够将五幅图像拼接成一幅图像，并且基于得到的图像可以得到目标物体中不同区域的相对空间关系，实现多基线影像的融合，精确计算多基线镜头的空间元素，建立多镜头相机严密的空间数学模型。用户能够基于此项技术进行输电线路的无人机快速巡线，融合多镜头采集的影像，并且建立真实的地理环境场景。可选的，所述图像融合方法，包括：构建基准坐标系S-XYZ、与获取到的多幅图像对应的像空间坐标系S1-xyz、像空间辅助坐标系S1-XYZ，在所述像空间坐标系S1-xyz、像空间辅助坐标系S1-XYZ之间存在比例缩放因子λ。在实施中，为了能够将基于多镜头传感器得到的图像进行拼接，需要将每幅图像中的元素映射至空间中，接着基于目标物体上各元素的相对位置关系实现每幅图像的拼接，进而得到拼接后的图像。在实现上述过程中需要执行多次坐标在不同空间内的投影运算，出于便于计算的目的，这里构本文档来自技高网...

【技术保护点】
基于多镜头传感器的图像融合方法，所述多镜头传感器包括拍摄中心轴线以相同角度倾斜固定在拍摄平面上的至少四个倾斜传感器，以及位于倾斜传感器中央、且拍摄中心轴线垂直于拍摄平面的垂直传感器，其特征在于，所述图像融合方法，包括：基于多镜头传感器对目标物体进行拍摄，获取到与多镜头传感器数量相同的多幅图像；根据多镜头传感器的相对位置关系，构建用于将多幅图像中的图像信息向空间信息转换的坐标参数，根据坐标参数完成将多幅图像中目标物体上的像点从平面空间向三维空间坐标转换得到转换后图像；从转换后图像中提取多幅影像的同名特征点，根据经典共线方程、多镜头传感器内方位元素以及特征点的属性值提取所述目标物体的轮廓信息；根据所述轮廓信息将所述多幅图像进行拼接，得到相对于所述目标物体拼接后的图像。

【技术特征摘要】
1.基于多镜头传感器的图像融合方法，所述多镜头传感器包括拍摄中心轴线以相同角度倾斜固定在拍摄平面上的至少四个倾斜传感器，以及位于倾斜传感器中央、且拍摄中心轴线垂直于拍摄平面的垂直传感器，其特征在于，所述图像融合方法，包括：基于多镜头传感器对目标物体进行拍摄，获取到与多镜头传感器数量相同的多幅图像；根据多镜头传感器的相对位置关系，构建用于将多幅图像中的图像信息向空间信息转换的坐标参数，根据坐标参数完成将多幅图像中目标物体上的像点从平面空间向三维空间坐标转换得到转换后图像；从转换后图像中提取多幅影像的同名特征点，根据经典共线方程、多镜头传感器内方位元素以及特征点的属性值提取所述目标物体的轮廓信息；根据所述轮廓信息将所述多幅图像进行拼接，得到相对于所述目标物体拼接后的图像。2.根据权利要求1所述的基于多镜头传感器的图像融合方法，其特征在于，所述图像融合方法，包括：构建基准坐标系S-XYZ、与获取到的多幅图像对应的像空间坐标系S1-xyz、像空间辅助坐标系S1-XYZ，在所述像空间坐标系S1-xyz、像空间辅助坐标系S1-XYZ之间存在比例缩放因子λ。3.根据权利要求2所述的基于多镜头传感器的图像融合方法，其特征在于，所述根据多镜头传感器的相对位置关系，构建用于将多幅图像中的图像信息向空间信息转换的坐标参数，包括：步骤一，目标物体上选取任一点A，所述点A在基准坐标系S-XYZ中的坐标为(X、Y、Z)；步骤二，令点A在像空间坐标系S1-xyz中的坐标系为a10(x1、y1、-f)，点A在像空间辅助坐标系S1-XYZ中的坐标为(x10、y10、-f)，；步骤三，对目标物体上的全部像素点进行如步骤一至步骤二的处理，获取处理后由像空间辅助坐标系S1-XYZ中坐标值构成的转换后的图像；...

【专利技术属性】
技术研发人员：顾天雄，黄晓明，曹炯，江炯，汪从敏，何玉涛，张平，程国开，张建，黎天翔，
申请(专利权)人：国网浙江省电力公司宁波供电公司，国家电网公司，
类型：发明
国别省市：浙江,33