【技术实现步骤摘要】
一种图像融合方法、装置及可读存储介质
本专利技术涉及人图像融合
，尤其涉及一种图像融合方法、装置及可读存储介质。
技术介绍
红外传感器对目标区域的红外热特征敏感，它可以昼夜工作并克服光照的困难来发现目标，但是其往往缺乏丰富的细节信息，背景模糊；而可见光图像包含更为丰富的纹理特征和细节信息，但其成像条件对光照的要求较高。若将红外图像与可见光图像的互补信息进行有效融合，获得的融合图像信息更丰富、鲁棒性更强，为后续的图像分割、检测、识别奠定了良好的基础。因此红外和可见光图像融合技术被广泛应用于军事和安全监控领域。图像融合分为：像素级、特征级和决策级。像素级的图像融合最为基础且融合的图像信息更丰富。基于多尺度变换(MST)和稀疏表示(SR)的图像融合方法是像素级图像融合方法中最普遍的方法，该类方法中图像特征提取器是需要手动设计的，运算效率低；同时提取到的单一的图像特征并非能很好的应用于各类复杂的图像环境，容易在灰度均匀的区域误判。
技术实现思路
本专利技术实施例的目的在于提供一种图像融合方法、装置及可读存储介质，通过双通道卷积神经网络得到红外与可见光图像的融合图像，卷积...
【技术保护点】
1.一种图像融合方法，其特征在于，包括：对红外图像与可见光图像进行配准，得到配准后的第一图像和第二图像，其中，所述第一图像为所述红外图像中的部分图像、所述第二图像为可见光图像为所述可见光图像中的部分图像；将所述第一图像和所述第二图像输入到训练好的卷积神经网络中，经过所述卷积神经网络训练后分类输出第一得分图和第二得分图；对所述第一得分图和所述第二得分图的对应像素进行比较，得到二值图；基于所述二值图、所述第一图像和所述第二图像，得到第一融合图像；计算所述第一图像与所述第一融合图像的第一结构相似度图，以及计算第二图像与所述第一融合图像的第二结构相似度图；获得所述第一结构相似度图和...
【技术特征摘要】
1.一种图像融合方法，其特征在于，包括：对红外图像与可见光图像进行配准，得到配准后的第一图像和第二图像，其中，所述第一图像为所述红外图像中的部分图像、所述第二图像为可见光图像为所述可见光图像中的部分图像；将所述第一图像和所述第二图像输入到训练好的卷积神经网络中，经过所述卷积神经网络训练后分类输出第一得分图和第二得分图；对所述第一得分图和所述第二得分图的对应像素进行比较，得到二值图；基于所述二值图、所述第一图像和所述第二图像，得到第一融合图像；计算所述第一图像与所述第一融合图像的第一结构相似度图，以及计算第二图像与所述第一融合图像的第二结构相似度图；获得所述第一结构相似度图和所述第二结构相似度图的差异图；基于所述差异图、所述第一图像和所述第二图像，得到第二融合图像。2.根据权利要求1所述的一种图像融合方法，其特征在于，所述对所述第一得分图和所述第二得分图的对应像素进行比较，得到二值图的步骤，包括：针对所述第一得分图上的第一像素点，判断是否大于第二像素点的像素值，其中，所述第一像素点为所述第一得分图上的任意一个像素点，所述第二像素点为所述第二得分图上与所述第一像素点对应的像素点；如果是，则在所述二值图上第三像素点的像素值为1；否则，第三像素点的像素值为0，其中，所述第三像素点为所述二值图上与所述第一像素点对应位置的像素点。3.根据权利要求1或2所述的一种图像融合方法，其特征在于，所述第一融合图像的具体表达公式为：F1(x,y)＝D1(x,y)A(x,y)+(1-D1(x,y)B(x,y))其中，D1为二值图，A为第一图像，B为第二图像，F1为第一融合图像，x、y为构成像素点的坐标值。4.根据权利要求1或2所述的一种图像融合方法，其特征在于，所述获得所述第一结构相似度图和所述第二结构相似度图的差异图的步骤，包括：获得所述第一结构相似度图和所述第二结构相似度图的差值；将所述差值的绝对值作为所述第一结构相似度图和所述第二结构相似度图的差异图。5.根据权利要求1或2所述的一种图像融合方法，其特征在于，所述基于所述差异图、所述第一图像和所述第二图像，得到第二融合图像的步骤包括：基于目标区域，去除所述差异图中与目标无关的区域，得到目标特征提取图像；根据所述目标特征提取图像、所述第一图像和所述第二图像，得到第二融合图像。6.根据权利要求5所述的一种...
【专利技术属性】
技术研发人员：程永翔，刘坤，于晟焘，
申请(专利权)人：上海海事大学，
类型：发明
国别省市：上海,31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。