基于多尺度残差Swin Transformer的图像去模糊方法及相关产品技术

本申请提供了一种基于多尺度残差Swin Transformer的图像去模糊方法及相关产品，将模糊APS图像及相应的EVS数据输入至浅层特征提取模块分别进行浅层特征提取；将提取得到APS浅层特征及EVS浅层特征输入至特征融合模块进行特征融合；将融合特征作为多尺度深层特征提取网络中首个多尺度残差Swin Transformer模块的输入、将EVS浅层特征同时作为多个不同尺度的多尺度残差Swin Transformer模块的输入进行深层特征提取，得到深层特征；将APS浅层特征与深层特征叠加后输入至特征重建模块进行特征重建，输出对应于模糊APS图像的清晰APS图像。本申请方案充分利用了事件数据的高动态特性及多尺度残差Swin Transformer模型的全局信息捕捉能力，提高了APS图像的去模糊效果，可有效满足实际应用场景中的画质增强需求。

【技术实现步骤摘要】

本申请涉及人工智能，尤其涉及计算机视觉，可应用于aps(active-pixel sensor，有源像素传感器)图像的去模糊场景。更具体的，本申请公开了一种基于多尺度残差swin transformer的图像去模糊方法及相关产品。

技术介绍

1、在通过图像采集设备采集图像的过程中，若图像采集设备与拍摄目标之间存在相对运动，例如图像采集设备和/或拍摄目标处于运动状态，则会导致最终拍摄的图像成像模糊，基于此，图像去模糊技术应运而生，研发人员以期通过图像去模糊算法来对模糊图像进行画质增强。

2、在相关技术中，通常将aps图像输入至神经网络模型来进行aps图像去模糊处理，然而，相关技术所使用的神经网络模型通常采用普通卷积来实现，而普通卷积的感受野有限，并且，aps图像所能提供的引导信息较为有限，从而导致图像去模糊效果欠佳，难以满足实际应用中的画质增强需求。

3、值得注意的是，在此部分中描述的技术不一定是之前已经设想到或采用的技术。除非另有指明，否则不应假定此部分中描述的任何技术仅因其包括在此部分中就被认为为现有技术。类似地，除非另有指明，否本文档来自技高网...

【技术保护点】

1.一种基于多尺度残差Swin Transformer的图像去模糊方法，其特征在于，包括：

2.根据权利要求1所述的图像去模糊方法，其特征在于，所述将模糊APS图像以及相应的EVS数据输入至浅层特征提取模块分别进行浅层特征提取的步骤之前，还包括：

3.根据权利要求1所述的图像去模糊方法，其特征在于，所述依次利用多个不同尺度的多尺度残差Swin Transformer模块进行深层特征提取，得到深层特征的步骤，包括：

4.根据权利要求3所述的图像去模糊方法，其特征在于，所述利用所述残差SwinTransformer模块对输入特征进行特征提取，得到第一提取特...

【技术特征摘要】

1.一种基于多尺度残差swin transformer的图像去模糊方法，其特征在于，包括：

2.根据权利要求1所述的图像去模糊方法，其特征在于，所述将模糊aps图像以及相应的evs数据输入至浅层特征提取模块分别进行浅层特征提取的步骤之前，还包括：

3.根据权利要求1所述的图像去模糊方法，其特征在于，所述依次利用多个不同尺度的多尺度残差swin transformer模块进行深层特征提取，得到深层特征的步骤，包括：

4.根据权利要求3所述的图像去模糊方法，其特征在于，所述利用所述残差swintransformer模块对输入特征进行特征提取，得到第一提取特征的步骤，包括：

5.根据权利要求4所述的图像去模糊方法，其特征在于，所述依次利用所述残差swintransformer模块中多个不同尺度的swin transformer模块进行特征提取，得到第二提取特...

【专利技术属性】
技术研发人员：赵振兴，
申请(专利权)人：深圳锐视智芯科技有限公司，
类型：发明
国别省市：