一种基于深度学习和边缘计算的多图像拼接方法技术

本发明专利技术涉及一种基于深度学习和边缘计算的多图像拼接方法，属于图像智能化处理技术领域。具体步骤如下：将多幅图像分配边缘计算系统中，以就近处理为原则，对原图像进行分离；对分离好的图像进行灰度化处理；对处理后的灰度图进行直方图均衡化；滤除前几步图像处理产生的噪点；对所得图像进行采样和重构；对采样和重构后的图像进行特征点检测和匹配；消除误匹配点并计算单应矩阵；将图像根据单应矩阵进行拼接，并对结合线用小波变换进行滤波处理和融合，得到最终图像。本发明专利技术方法使用边缘计算系统对多幅图像进行预处理，再将结果传到中央处理器进行多图拼接，能极大节省多图拼接的时间；在小波域内进行图像拼接，能有效消除拼接产生的明显拼缝。产生的明显拼缝。

【技术实现步骤摘要】
一种基于深度学习和边缘计算的多图像拼接方法


[0001]本专利技术涉及一种基于深度学习和边缘计算的多图像拼接方法，属于图像拼接处理


技术介绍

[0002]在日常生活中，需要将多幅图片拼接成一幅大图时，经常会因为拍照角度等问题，拍出来的图片明晦程度不一致，拼接出的图像缝合线明显，且拼出的大图极其不美观。
[0003]对于图像拼接
，常用的拼接方法主要有两种：一种方法是找出两幅图像相同内容的位置后，直接进行重叠并拼接。这种方法在尽可能多地利用完图像内的可用数据后实现较高精度的匹配，但是对于待拼接的图像尺寸和拍摄角度等都需要严格要求，且初始化阶段需要严格要求。另一种是方法是基于图像局部不变特征进行拼接。该方法不需要初始化，可以直接提取待拼接图像的特征，然后进行特征检测和匹配，并计算匹配的图像特征之间的单应矩阵，再将待拼接图像按该单应矩阵进行变换，最后将所有进行拼接。该方法对比第一种方法，有着较强的易用性和高效性。
[0004]但是第二种常用的拼接方法在进行多幅图像拼接时，容易因图像间亮度差异将单应矩阵计算错误，从而导致多图像的拼接出现错位。
[0005]造成拼接错位有以下两个主要原因：一是有些图像之间的光照强度差异极大，直接提取图像的特征点进行匹配，会导致能正确匹配的特征点对数量极少。二是待拼接的图像之间只有边缘附近少数几个特征区域可以识别，若有跨尺度匹配的情况出现，则会出现很多错误匹配的特征点。
[0006]总之，对于多图像拼接的情况，目前常用的两种拼接方法对存在巨大光照变化的图像进行拼接，会造成鲁棒性不足，且在进行大图拼接时需要耗费很多时间，难以完成相关的拼接工作。

技术实现思路

[0007]为解决上述存在的问题，本专利技术提供了一种基于深度学习和边缘计算的多图像拼接方法，包括以下步骤：（1）将待拼接图片集输入已经植入深度神经网络的边缘计算系统中，（2）将图像分离出各自的细节层图像和基础层图像；（3）对分离好的图像进行灰度化处理，得到各自的灰度图；（4）对所得灰度图进行直方图均衡化，使两幅图像内的细节层更清晰；（5）对前几步处理产生的噪声进行滤除；（6）对步骤（5）所得图像进行采样和重构；（7）对步骤（6）的图像进行特征点检测和匹配；（8）消除步骤（7）中产生的误匹配点并计算待拼接图像间的单应矩阵；（9）将两幅图像根据单应矩阵拼接在一起，并对结合线使用小波变换进行滤波处理和融合，最后得到所需图像。
[0008]作为本专利技术的进一步方案，步骤1具体包括以下内容：使用乘性分解法将昼夜图像分别分离出细节层和基础层作为本专利技术的进一步方案，步骤2具体包括以下内容：对亮度图像的RGB三个分量
使用加权平均法得到相关的灰度图。
[0009]作为本专利技术的进一步方案，步骤3具体包括以下内容：利用数学的累积分布函数变换法进行灰度图像的直方图均衡化。
[0010]作为本专利技术的进一步方案，步骤4具体包括以下内容：使用高斯核对整幅图像进行加权平均消除前述图像处理过程中的高斯噪声。
[0011]作为本专利技术的进一步方案，步骤5具体包括以下内容：使用高斯金字塔和拉普拉斯金字塔对图像进行采样和重构，使获得的图像分辨率更协调。
[0012]作为本专利技术的进一步方案，步骤6具体包括以下内容：利用基于高斯差分的多尺度特征检测子和最邻近方法进行图像的特征点检测和匹配。
[0013]作为本专利技术的进一步方案，步骤7具体包括以下内容：根据RANSAC算法去除所得匹配点集中的误匹配点，再用纯特征点进行单应矩阵的求解。
[0014]作为本专利技术的进一步方案，步骤8具体包括以下内容：利用小波变换对拼接图像间的结合线进行滤波和融合最终所需图像。
[0015]与现有技术相比，本专利技术方法的有益效果是：本专利技术方法将昼夜图像的细节层和基础层分离后再进行图形拼接，使用小波变换对两拼接图像间的缝合线进行融合，在小波域内进行图像拼接，利用了小波变换能根据缝合线的灰度变换进行自适应滤波的特点，能有效消除直接拼接产生的明显拼缝，使昼夜图像更好地拼接。
附图说明
[0016]图1为本专利技术的流程图。
具体实施方式
[0017]下面结合流程图对本专利的技术方案作进一步详细说明。
[0018]本专利技术涉及一种基于深度学习和边缘计算的多图像拼接方法，按照以下步骤具体实施。
[0019]（1）本专利技术使用Pytorch框架和OxFlower17对MobileNetV3深度神经网络进行训练，并将训练好的MobileNetV3深度神经网络植入边缘计算系统中，从而使边缘计算系统能对多图像进行预处理。
[0020]（2）使用乘性分解法将昼夜图像分别分离出细节层和基础层，获取基础层的过程为：B=f(I) 其中I表示待分解的图像，f(I)表示对图像I进行低通滤波操作，B为提取到的基础层；获取细节层的过程为：其中
ϵ
是很小的常数，在OpenCV中为epsilon。
[0021]（2）根据各分量的重要性和其他指标要求，图像的RGB三个分量进行加权后平均，
其过程为：Gray(i,j)=0.299*R(i,j)+0.578*G(i,j)+0.114*B(i,j)其中，R(i,j)、G(i,j)、B(i,j)分别为图像的红、绿、黄分量，Gray(i,j)为所得的灰度图。
[0022]（3）所用到的直方图均衡化处理，是利用数学的累积分布函数变换法对过于灰度级过于集中的区域均衡分摊到各个灰度级中，映射函数表示为：其中，n为图像中像素总和，n
i
为灰度层级为k的像素总和。
[0023]（4）使用高斯核滤波函数对整幅图像进行加权平均进行线性平滑，用以消除图像处理中的高斯噪声。
[0024]（5）使用高斯金字塔和拉普拉斯金字塔对图像进行采样和重构，利用了高斯核对图像进行卷积平滑操作并进行下采样，依次迭代最后形成多分辨率的高斯金字塔，卷积操作的过程为：L(x,y,δ)=G(x,y,δ)*I(x,y)其中G(x,y,δ)为高斯函数，I(x,y)为所要卷积的灰度图像；拉普拉斯金字塔的层由高斯金字塔的同层和上一层的图像作差得到的，转换过程为：L
i
=G
i
‑
PyrUp(G
i+1
)其中PyrUp(G
i+1
)表示对高斯金字塔进行上采样操作。
[0025]（6）利用基于高斯差分的多尺度特征检测子进行特征点的检测，可以使特征点具有尺度不变性；采用最邻近方法，对计算某特征点与领一幅图中所有特征点之间的欧氏距离值大小进行排列，找出最小值和次小值并进行计算，小于某个阈值则为匹配点，欧氏距离的计算公式为：其中x
i
和y
i
分别为点X和点Y相对应的分量，在本专利技术中，欧式距离阈值取0.6。
[0026]（7）由于使用RANSAC算法寻找最佳单应性矩阵H，对于3*3的矩阵而言，该单应性矩阵就有8个未知参数，一组点本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习和边缘计算的多图像拼接方法，其特征在于，具体步骤如下：（1）使用经典图像集对轻量级的深度学习神经网络进行训练，并将训练好的神经网络植入边缘计算系统中；（2）将多幅图像分配到边缘计算系统中进行图像分离，计算出各图像的细节层和基础层；（3）对分离后的图像进行灰度化处理，得到各自的灰度图；（4）对所得灰度图进行直方图均衡化处理，使两幅图像内的细节层更清晰；（5）使用高斯滤波对直方图均衡化后的图像的噪声进行滤除；（6）对滤波后的图像使用高斯内核卷积进行下采样，形成多分辨率的高斯金字塔图像结构，对于分辨率过低的图像部分使用拉普拉斯金字塔进行重构；（7）对采样和重构后的图像进行特征点检测和匹配；（8）利用RANSAC算法去除特征点集中的误匹配点并求出待拼接两图像间的单应矩阵；（9）将图像根据单应矩阵拼接在一起，并对结合线使用小波变换进行滤波处理，最后利用小波反变换得到所需图像。2.根据权利要求1所述的一种基于深度学习和边缘计算的多图像拼接方法，其特...

【专利技术属性】
技术研发人员：张彤，廖家设，辛敏，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：