【技术实现步骤摘要】
本专利技术属于计算机视觉及图像处理，尤其是涉及一种用于红外和可见光图像的特征融合方法及系统。
技术介绍
1、通过不同的传感器捕获到的数据可以获取大量且丰富的多模态图像，例如可见光(vis)、红外(ir)、正电子发射断层扫描(pet)、磁共振成像(mri)和计算机断层扫描(ct)等。其中，红外传感器擅长捕捉热辐射信息，可见光传感器擅长捕获详细的纹理数据。但由于硬件的限制，只靠单个传感器无法捕捉完整的图像信息，而通过多模态图像融合可以对不同传感器的跨模态特征进行建模并将其聚合到输出图像中，使得融合后的图像保留不同模态图像的细节纹理信息，避免单一模态图像存在的缺陷，使得融合后的图像可以更详细地描述相应场景，更符合人类视觉捕捉或机器感知和识别。
2、专利技术人发现，传统的图像融合方法如基于小波变换、稀疏表示等方法存在以下不足：人工设计融合规则，泛化能力差；难以同时保留局部细节和全局特征；对复杂场景适应性不足；
3、其次，目前基于深度学习的方法虽取得进展，但存在以下缺陷：传统依赖于卷积神经网络的图像融合方法难以建模长程依赖...
【技术保护点】
1.用于红外和可见光图像的特征融合方法，其特征在于，包括：
2.如权利要求1所述的用于红外和可见光图像的特征融合方法，其特征在于，所述基于残差梯度密集块的局部编码器包括若干顺序连接的残差梯度密集块，所述残差梯度密集块采用双数据流融合结构设计，所述双数据流融合结构包括主流数据流分支和梯度数据流分支，通过将主流数据流分支和梯度数据流分支的输出进行融合，获得图像的局部特征表示。
3.如权利要求2所述的用于红外和可见光图像的特征融合方法，其特征在于，所述主流数据流分支采用密集连接与多尺度卷积的协同设计，获得主流数据流；所述梯度数据流通过显示提取图像的边...
【技术特征摘要】
1.用于红外和可见光图像的特征融合方法，其特征在于，包括：
2.如权利要求1所述的用于红外和可见光图像的特征融合方法，其特征在于，所述基于残差梯度密集块的局部编码器包括若干顺序连接的残差梯度密集块，所述残差梯度密集块采用双数据流融合结构设计，所述双数据流融合结构包括主流数据流分支和梯度数据流分支，通过将主流数据流分支和梯度数据流分支的输出进行融合，获得图像的局部特征表示。
3.如权利要求2所述的用于红外和可见光图像的特征融合方法，其特征在于，所述主流数据流分支采用密集连接与多尺度卷积的协同设计，获得主流数据流；所述梯度数据流通过显示提取图像的边缘和纹理信息，获得梯度数据流。
4.如权利要求1所述的用于红外和可见光图像的特征融合方法，其特征在于，所述基于轻量级注意力机制的全局编码器采用引入轻量级注意力机制的全局transformer编码器。
5.如权利要求4所述的用于红外和可见光图像的特征融合方法，其特征在于，所述轻量级注意力机制具体为：对输入的特征图进行深度卷积，生成查询矩阵、键矩阵以及值矩阵；分别对所述查询矩阵和键矩阵进行预设步长的卷积降维，获得降维后的查询矩阵和键矩阵；基于降维后的查询矩阵...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。