基于多层语义和多尺度自注意力的多聚焦图像融合方法技术

技术编号:43945801 阅读:19 留言:0更新日期:2025-01-07 21:35
本发明专利技术涉及基于多层语义和多尺度自注意力的多聚焦图像融合方法,其特征在于,包括:获取源图像,将所述源图像输入MSI‑Dtrans模型,利用Haar小波变换对所述源图像进行特征提取,获取不同尺度的特征信息,将所述不同尺度的特征信息输入动态Transformer进行处理,获取初始焦点图;其中,所述MSI‑Dtrans模型的网络架构采用U型网络的多级上下采样结构,通过训练集训练获得,所述训练集包括基于不同程度的模糊图像与训练标签生成的多幅图像对;将所述初始焦点图与所述源图像进行融合,获取最终融合图像。本发明专利技术有效地避免了图像失真并达到了较好的视觉效果。

【技术实现步骤摘要】

本专利技术涉及多聚焦图像融合,特别是涉及基于多层语义和多尺度自注意力的多聚焦图像融合方法


技术介绍

1、传统的多聚焦图像融合方法可大致分为两类:基于变化域的融合方法和基于空域的融合方法。虽然基于变化域的方法具有较强的适应性,但容易清晰与模糊区域之间的界限处理不当,进而在融合图像中产生边缘伪影或边缘模糊现象,导致融合后的图像质量不佳。虽然基于空域的方法计算效率较高,对于实时处理场景更为适用。但直接在像素级别进行操作可能会忽略像素之间的空间关系,导致融合图像中出现块状效应或边缘不连续等问题。

2、随着深度学习模型的发展,图像融合领域下的解决方法逐渐由统计法向深度学习转换。虽然基于深度学习的方法能自动提取图像中的语义信息,但目前仍存在训练数据需求量大,模型复杂度高,计算资源需求大等问题。为解决上述问题,本专利技术提出了基于多层语义和多尺度自注意力的多聚焦图像融合方法。


技术实现思路

1、本专利技术的目的是提供基于多层语义和多尺度自注意力的多聚焦图像融合方法,有效地避免了图像失真并达到了较好的视觉效果。本文档来自技高网...

【技术保护点】

1.基于多层语义和多尺度自注意力的多聚焦图像融合方法,其特征在于,包括:

2.根据权利要求1所述的基于多层语义和多尺度自注意力的多聚焦图像融合方法,其特征在于,利用Haar小波变换对所述源图像进行特征提取包括:

3.根据权利要求2所述的基于多层语义和多尺度自注意力的多聚焦图像融合方法,其特征在于,利用粗糙语义增强RSE模块对所述低频子带进行多层语义交互,获取低频特征包括:对所述低频子带的差异特性进行计算,将差异特征根据通道数进行拼接,并进行信息提取,将提取的信息与所述低频子带进行残差连接,输出低频特征图。

4.根据权利要求2所述的基于多层语义和多尺度自...

【技术特征摘要】

1.基于多层语义和多尺度自注意力的多聚焦图像融合方法,其特征在于,包括:

2.根据权利要求1所述的基于多层语义和多尺度自注意力的多聚焦图像融合方法,其特征在于,利用haar小波变换对所述源图像进行特征提取包括:

3.根据权利要求2所述的基于多层语义和多尺度自注意力的多聚焦图像融合方法,其特征在于,利用粗糙语义增强rse模块对所述低频子带进行多层语义交互,获取低频特征包括:对所述低频子带的差异特性进行计算,将差异特征根据通道数进行拼接,并进行信息提取,将提取的信息与所述低频子带进行残差连接,输出低频特征图。

4.根据权利要求2所述的基于多层语义和多尺度自注意力的多聚焦图像融合方法,其特征在...

【专利技术属性】
技术研发人员:翟浩欧阳云璨
申请(专利权)人:重庆师范大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1