【技术实现步骤摘要】
本专利技术涉及一种自监督视频去噪方法及系统，具体涉及一种能够充分利用当前帧和相邻帧信息，以及远距离相似时序特征的视频自监督去噪方法及系统，属于计算机视觉。
技术介绍
1、视频去噪是低层级计算机视觉任务中的一个基本且十分重要的任务。具体来说，噪音会大大降低视频的视觉质量，特别是在光照不足或受限的条件下。此外，噪声视频的视觉质量差会对下游的计算机视觉任务产生不利影响，如物体检测和分割等。近年来，随着强大的深度神经网络出现，有监督的视频去噪方法取得了令人瞩目的性能。但是，在有监督学习下，这些视频去噪方法的成功往往依赖于大规模的成对的有噪声/无噪声数据集，而收集涵盖各种类型的传感器和噪声水平的高质量成对视频是非常耗费人力的。在一些复杂的场景中，成对的视频几乎难以进行收集，例如显微镜视频或者包含动态场景的视频等。这是因为干净图像通常是基于长曝光时间或平均多个噪声图像收集的，在有运动的场景下，收集干净视频时将不可避免带来模糊等伪影，导致动态场景下的运动模糊，这严重降低了数据集的质量。干净的视频在许多应用中难以收集得到，因为物体可能会沿着时间维度移动。这两种拍摄成对数据的方式都无法将其解决。
2、受限于收集方式，现有的成对视频去噪数据集往往是在退化或简化的环境下捕获的，导致这些数据与真实世界的情况有很大差距。为了摆脱对大规模配对数据集的依赖，技术人员对自监督视频去噪做了一些尝试。现有的研究可以分为两类：基于帧的方法和基于级联的方法。然而，它们的性能分别受到参考帧或相邻帧上感受野信息不足的限制。
3、对于基于帧的方法，这
4、基于级联的方法是在基于图像的盲点网络上进行改进的。然而，现有方法对参考帧和相邻帧都进行了相同的盲点处理，这导致了相邻帧信息的严重损失。除了有限的感受野，现有方法的另一个不足是无法充分地利用时间信息。虽然远距离的时序特征已经被证明是视频修复性能的关键，但目前的滑动窗口策略是不够的，特别是对于长序列的视频。滑动窗口限制了时序信息的可用性，因为它只考虑局部窗口内的帧。此外，它导致了多余的计算，因为在显式或隐式对齐所有相邻帧时，其复杂度与视频长度成正比。
5、通过使用盲点网络，自监督视频去噪已经取得了不错的进展。然而，在盲点限制下，现有的自监督视频去噪方法没有充分考虑到对于输入数据的感受野，在整个参考帧或邻近帧中都存在明显的信息损失和纹理破坏。此外，滑动窗口的局部特征聚集也导致了远处帧信息的遗漏。
技术实现思路
1、本专利技术的目的是为了克服现有技术存在的问题和缺陷，为了有效解决现有方法对当前帧与相邻帧信息利用不足等技术问题，创造性地提出一种视频自监督去噪方法及系统。
2、首先，在对自监督的盲点要求的精细考虑下，本专利技术实现了一个更密集的感受野，使得本专利技术能够充分地利用参考帧和邻近帧中存在的信息，为改善细节重建提供有价值的信息。
3、其次，在盲点约束下，本专利技术采用了循环递归方式，大大增加了可用的时间信息，利用更多的帧间相似性来增强修复过程。
4、具体地，本专利技术包含两个平行的分支，分别侧重于远距离和近邻的时间信息的融合。对于长距离分支，本专利技术提出了一个时间特征融合模块，该模块以空间自适应的方式将参考盲点特征与时间上传播的非盲点特征相结合。对于局部分支，本专利技术提出了局部特征提取模块，该模块利用三维盲点卷积来充分利用空间和时间上的局部信息，同时缓解了普通递归框架中的错误积累。通过采用上述方案，每一个输出帧的恢复都能够得到远处和近处帧的综合利用。
5、有益效果
6、本专利技术，与现有技术相比，具有以下优点：
7、1.本专利技术方法在盲点要求下充分利用参考帧和邻接帧，使接收场更加密集，以实现信息的综合利用。
8、2.为了充分利用时间特征，本专利技术经常性地整合远处和近邻的时间特征，从而同时实现了稳健的长期信息聚合和错误积累缓解。
9、3.本专利技术在各种合成和现实世界的视频去噪数据集上取得了最先进的性能。
本文档来自技高网...【技术保护点】
1.一种自监督视频去噪方法，其特征在于，包括以下步骤：
2.如权利要求1所述的一种自监督视频去噪方法，其特征在于，步骤2中，通过以2为步长的空洞卷积来保持盲点要求。
3.一种自监督视频去噪系统，其特征在于，包括视频帧输入模块、近邻特征融合模块、远距离特征融合模块和特征融合模块，远距离特征融合模块内包括有特征调制模块；
【技术特征摘要】
1.一种自监督视频去噪方法，其特征在于，包括以下步骤：
2.如权利要求1所述的一种自监督视频去噪方法，其特征在于，步骤2中，通过以2为步长的空洞卷积来保持盲点要...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。