自学习多路图像融合的实时矫正方法及系统技术方案

本发明专利技术提供了一种自学习多路图像融合的实时矫正方法及系统，包括：首先对视野中的轮廓以及物体特征进行提取和匹配，学习生成适用于快速融合的匹配模板，根据图像的预分割宏块建立初始评价分块的融合矩阵；按照固定帧率步伐，一次获取多个时刻的多路图像数据和所述匹配模板进行融合；对融合后的图像进行评价，判断是否融合成功；若融合图像成功，则将原始图像特征区域的最小宏块缩小一个级别生成进一步提升精度和辨识度的模板备用。本发明专利技术通过相邻若干帧的特征矩阵共性，根据判断特征矩阵变化的趋势采用已知不同的特征矩阵和矫正方法，快速融合拼接多路实时视频流中的图像，实现视频图像的实时处理，使得多路实时图像视频流可稳定的持续被拼接。

Real time correction method and system for self-learning multi-channel image fusion

The invention provides a real-time correction method and system, multi-channel image fusion self-learning includes: firstly, in the view of the contour and object feature extraction and matching, learning and generation for the rapid integration of the matching template. The matrix of image segmentation based on fusion macroblock to establish the initial evaluation block; according to the fixed rate pace a multi-channel image data acquisition, over a period of time and the matching template fusion; to evaluate the fused image, determine whether the successful integration of image fusion; if successful, the original image features of minimum area narrowing a macroblock level generated to further enhance the accuracy and the identification of the reserve template. The present invention by the characteristic matrix of common adjacent frames, according to the trend of the characteristic matrix of judgment matrix is known and the characteristics of different correction methods, fast image fusion splicing multi-channel real-time video stream, real-time processing of video images, the image of multi-channel real-time video stream can be steadily spliced.

【技术实现步骤摘要】
自学习多路图像融合的实时矫正方法及系统
本专利技术涉及图像处理
，具体地，涉及自学习多路图像融合的实时矫正方法及系统。
技术介绍
目前市面上广角镜头图像会随着角度增加有不同程度的图像畸变，特别是球面镜畸变更为严重，但为了获得更宽广的可视范围，在单目摄像采集面对瓶颈时，技术人员开始研究多路多目阵列相机再拼合多幅图像以获取低畸变的超宽视景，本专利技术中的方法即属于多阵列图像实时拼接矫正的计算方法。在拼接多路图像时，目前有两种主要的方法：1)通过对拼接附近两张图像中的边界特征信息提取并比对，在拟合时选择基于这些相近特征信息的像素点作为拟合曲线的中值去融合多幅图像。但此方法缺陷是严重依赖特征值的矩阵数量和准确度，且计算复杂费时，对时效性要求高的场景无法胜任。同时，在特征场景发生频繁变化时，抖帧掉帧的现象严重，需要人为干预判断并去除一系列畸变偏离的拟合图，因此无法应用在实时多路视频中。2)对一系列图像采集设备做预先排列排序的标定和固化，通过棋盘格等预参考方法获取已知多路实时视频流中边界的偏差标定后直接快速融合多幅图像的接缝处。但此法的缺陷是标定为定焦，在一定视距范围内存在偏差，当模糊边界本文档来自技高网...

【技术保护点】
一种自学习多路图像融合的实时矫正方法，其特征在于，包括如下步骤：融合模板学习生成步骤：基于覆盖区域图像中的色彩对视野中的轮廓以及物体特征进行提取和匹配，学习生成匹配模板；多路图像实时融合步骤：一次获取多个时刻下的多路图像数据和所述匹配模板进行融合，得到融合后的图像；融合后的图像质量机器评价步骤：对融合后的图像进行评价；模糊多次学习步骤：当融合失败时，返回执行融合模板学习生成步骤。

【技术特征摘要】
1.一种自学习多路图像融合的实时矫正方法，其特征在于，包括如下步骤：融合模板学习生成步骤：基于覆盖区域图像中的色彩对视野中的轮廓以及物体特征进行提取和匹配，学习生成匹配模板；多路图像实时融合步骤：一次获取多个时刻下的多路图像数据和所述匹配模板进行融合，得到融合后的图像；融合后的图像质量机器评价步骤：对融合后的图像进行评价；模糊多次学习步骤：当融合失败时，返回执行融合模板学习生成步骤。2.根据权利要求1所述的自学习多路图像融合的实时矫正方法，其特征在于，所述融合模板学习生成步骤中的匹配模板包括：畸变矫正模板、色彩补偿模板、尺寸缩放模板、坐标系变换模板、视差补偿变换模板；在所述融合模板学习生成步骤中，根据图像的预分割宏块建立初始评价分块的融合矩阵，所述融合矩阵用于对原图像需要融合部分做融合变换的指导；在所述多路图像实时融合步骤中，按照固定帧率步伐，一次获取Tx，x＝2,3,…,M时刻的多路图像数据和所述匹配模板进行融合，令N＝Tj+1-Tj，其中j为[2,M-1]中的自然数，其中Tx表示第x个时刻，Tj表示第j个时刻，Tj+1表示第j+1个时刻，N表示一个固定帧率步伐的时间间隔。3.根据权利要求2所述的自学习多路图像融合的实时矫正方法，其特征在于，所述多路图像实时融合步骤中M取值范围是[3,12]，N的取值为20ms，具体地，Tx，x＝2,3,…,M表示从T2开始以20ms依次累加递增直到流程结束。4.根据权利要求2所述的自学习多路图像融合的实时矫正方法，其特征在于，所述融合模板学习生成步骤中根据图像的预分割宏块建立初始评价分块的融合矩阵的具体过程如下：对于一个像素矩阵中相邻像素做均方，或按照中值线做均方，或者按照定点距离均值去逐级对相邻像素做补偿加减计算后的结果形成一个融合矩阵；在所述模糊多次学习步骤中，当融合成功时，将原始图像特征区域的最小宏块缩小一个或多个级别作为预分割宏块。5.根据权利要求1所述的自学习多路图像融合的实时矫正方法，其特征在于，所述多路图像实时融合步骤中基于时间戳的管道同步法，按照固定帧率步伐一次获取Tx，x＝2,3,…,M时刻的多路图像数据，所述时间戳的管道同步法是指：无论多路图像中任一路图像当前时间序列是多少，都在每一个图像管道中根据相近时间为切片原点寻找N时间偏移量的新时间片的一组多路图像数据。6.根据权利要求1所述的自学习多路图像融合的实时矫正方法，其特征在于，所述融合后的图像质量机器评价步骤包括：基于融合前多路图像中的峰值信噪比最大值和中值作为融合后新图像的辅助判断的上限和下限...

【专利技术属性】
技术研发人员：赵凤萍，邓金富，
申请(专利权)人：上海讯陌通讯技术有限公司，
类型：发明
国别省市：上海,31