【技术实现步骤摘要】
本申请涉及图像处理，具体而言，涉及一种多模态图像融合与去模糊模型及其训练方法和使用方法。
技术介绍
1、现实场景下，通常需要使用不同的传感器对目标场景进行检测和感知。例如，可见光传感器能够在良好环境下提供高清晰度高分辨率的图像信息，其缺点是抗干扰能力弱。而红外传感器具有通过热辐射识别物体的特性，因此在复杂环境下能很好地检测热目标信息，但是所提供图像的空间分辨率较低，成像场景细节信息较少。因此可以使用多模态图像融合技术从不同传感器拍摄的源图像中提取有效信息并消除冗余信息，以生成一张对场景解释更加丰富的融合图像，从而增加对真实场景的理解。如此，红外与可见光图像融合方法也就具备能够辅助高级视觉任务的能力，如目标追踪，无人驾驶和军事侦察等任务，已经被广泛研究并应用。
2、在真实拍摄过程中，常常会由于相机抖动或者物体快速运动，从而导致成像出现运动模糊问题，针对该问题，现有多模态图像融合算法通常使用两阶段处理的方式来解决，即先对源图像进行去模糊，再对去模糊后的源图像进行融合，这样的分离式处理方法显然存在两个问题。第一是处理效率较低，其次...
【技术保护点】
1.一种多模态图像融合与去模糊模型，其特征在于，包括第一输入层（1）、第二输入层（2）、第一编码器（3）、第二编码器（4）、多个可见光纹理增强模块（5）、多个高效特征交互融合模块（6）、解码器（7）和第一输出层（8）；
2.根据权利要求1所述的多模态图像融合与去模糊模型，其特征在于，所述第一编码器（3）包括多层第一编码层（301），所述第二编码器（4）包括多层第二编码层（401），所述解码器（7）包括多层解码层（701），所述第一编码层（301）、所述第二编码层（401）、所述解码层（701）、所述可见光纹理增强模块（5）和所述高效特征交互融合模块（6）的
<...【技术特征摘要】
1.一种多模态图像融合与去模糊模型，其特征在于，包括第一输入层（1）、第二输入层（2）、第一编码器（3）、第二编码器（4）、多个可见光纹理增强模块（5）、多个高效特征交互融合模块（6）、解码器（7）和第一输出层（8）；
2.根据权利要求1所述的多模态图像融合与去模糊模型，其特征在于，所述第一编码器（3）包括多层第一编码层（301），所述第二编码器（4）包括多层第二编码层（401），所述解码器（7）包括多层解码层（701），所述第一编码层（301）、所述第二编码层（401）、所述解码层（701）、所述可见光纹理增强模块（5）和所述高效特征交互融合模块（6）的数量相同；
3.根据权利要求1所述的多模态图像融合与去模糊模型，其特征在于，所述可见光纹理增强模块（5）包括第三输入层（501）、第四输入层（502）、第一卷积层（503）、ldc层（504）、sigmoid激活函数层（505）、第二卷积层（506）和第二输出层（507）；
...
【专利技术属性】
技术研发人员：李小松，黄敬学，陈璁，黄庄钒，方楚盛，
申请(专利权)人：佛山大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。