用于使用深度全色图像引导残余内插对多光谱图像去马赛克的系统和方法技术方案

本文描述了使用深度全色图像引导的残余内插的对多光谱图像进行去马赛克的系统和实施方式。公开了用于从多光谱滤波器阵列(MSFA)马赛克图像重构全分辨率全色图像的基于ResNet的深度学习模型的实施方式。在一个或多个实施方式中，将重构的深度全色图像(DPI)部署为引导，以使用双程引导残余内插方法来恢复全分辨率多光谱图像。实验结果表明，所公开的方法实施方式在定性和定量上都优于一些现有技术的传统的和深度学习的去马赛克方法。技术的传统的和深度学习的去马赛克方法。技术的传统的和深度学习的去马赛克方法。

【技术实现步骤摘要】
【国外来华专利技术】用于使用深度全色图像引导残余内插对多光谱图像去马赛克的系统和方法


[0001]本公开总体上涉及用于图像处理的系统和方法。更具体地，本公开涉及用于对多光谱图像去马赛克的系统和方法。

技术介绍

[0002]基于多光谱滤波器阵列(MSFA)的快照多光谱成像由于其尺寸和速度近来得到了普及。添加的光谱信息已使得其在广泛的应用领域(例如遥感和医学成像)中被使用。为了重建全分辨率多光谱图像，必须基于来自相邻像素的原始传感器测量来估计每个像素处的所有缺失光谱信息。这种恢复过程被称为去马赛克。
[0003]去马赛克是减少空间和频谱域中的伪影的最关键和最具挑战性的步骤之一。已经提出了用于MSFA相机的各种去马赛克方法，以不断地改进去马赛克的图像的质量。总是期望能够最小化在去马赛克的图像和原始高分辨率图像之间的误差。
[0004]因此，需要一种用于对多光谱图像进行去马赛克以提高性能的系统和方法。

技术实现思路

[0005]在第一方面，本公开本公开提供了一种用于对来自多光谱滤波器阵列(MSFA)传感器的具有多个子频带的多光谱图像进行去马赛克的计算机实施的方法，该方法包括：使用深度神经网络和多光谱图像重构多光谱图像的全分辨率深度全色图像(DPI)；对于多光谱图像的每个子频带，基于所重构的DPI执行至少一个引导残余内插来获得去马赛克的子频带图像；以及形成包括去马赛克的子频带图像的去马赛克的多光谱图像。
[0006]在第一方面，本公开本公开提供了一种计算机实施的方法，用于使用一个或多个处理器来对由多光谱滤波器阵列(MSFA)传感器捕获的多光谱图像中的子频带图像进行去马赛克，以导致包括以下的步骤被执行：使用深度神经网络和多光谱图像重构多光谱图像的全分辨率深度全色图像(DPI)；相对于子频带对DPI进行二次采样以获得二次采样的DPI；从子频带图像与二次采样的DPI的差值中获得二次采样的残余图像；使用DPI作为二次采样的残余图像上的引导内插中的引导图像来获得去马赛克的残余图像；以及将去马赛克的残余图像与DPI相加，以获得第一程去马赛克的子频带图像。
[0007]在第三方面，本公开提供了一种包括一个或多个指令序列的非暂时性计算机可读媒介或介质，一个或多个指令序列在由一个或多个处理器运行时导致对来自多光谱滤波器阵列(MSFA)传感器的具有多个子频带的多光谱图像进行去马赛克的步骤被执行，所述步骤包括：使用深度神经网络将多光谱图像重构为全分辨率深度全色图像(DPI)；对于多光谱图像的每个子频带，基于所重构的DPI执行至少一个引导残余内插来获得去马赛克的子频带图像；以及形成包括去马赛克的子频带图像的去马赛克的多光谱图像。
[0008]在第四方面，本公开提供了一种用于对来自多光谱滤波器阵列(MSFA)传感器的具有多个子频带的多光谱图像进行去马赛克的系统，该系统包括：至少一个处理器以及存储
有指令的存储器，指令在由至少一个处理器运行时导致至少一个处理器执行根据第一方面的方法。
[0009]在第五方面，本公开提供了一种用于对由多光谱滤波器阵列(MSFA)传感器捕获的多光谱图像中的子频带图像进行去马赛克的系统，该系统包括：至少一个处理器以及存储有指令的存储器，指令在由至少一个处理器运行时导致至少一个处理器执行根据第二方面的方法。
附图说明
[0010]将参考本专利技术的实施方式，其示例可以在附图中示出。这些附图旨在是说明性的，而不是限制性的。尽管在这些实施方式的上下文中总体性地描述了本专利技术，但是应当理解的是，这些实施方式并不旨在将本专利技术的范围限制于这些特定实施方式。图中的项目不是按比例绘制的。
[0011]图1描绘了根据本公开的实施方式的两步去马赛克系统的结构。
[0012]图2描绘了根据本公开的实施方式的深度全色图像网络(DPI
‑
Net)的结构。
[0013]图3描绘了根据本公开的实施方式的用于从多光谱马赛克图像恢复全分辨率全色图像的过程。
[0014]图4描绘了根据本公开的实施方式的用于去马赛克的引导内插的过程。
[0015]图5图示性地描绘了根据本公开的实施方式的DPI引导的残余内插(DGRI)去马赛克过程。
[0016]图6描绘了根据本公开的实施方式的使用DPI作为引导图像的第一程引导残余内插的过程。
[0017]图7描绘了根据本公开的实施方式的使用第一程去马赛克图像作为引导图像的第二程引导残余内插的过程。
[0018]图8描绘了根据本公开的实施方式的计算设备/信息处理系统的简化框图。
具体实施方式
[0019]在以下描述中，出于解释目的，阐明具体细节以便提供对本公开的理解。然而，将对本领域的技术人员显而易见的是，可在没有这些细节的情况下实践实施方式。此外，本领域的技术人员将认识到，下文描述的本公开的实施方式可以以各种方式(例如过程、装置、系统、设备或方法)在有形的计算机可读介质上实施。
[0020]附图中示出的组件或模块是本专利技术的实施方式的示例性说明，并且意图避免使本公开不清楚。还应理解，在本论述的全文中，组件可描述为单独的功能单元(其可包括子单元)，但是本领域的技术人员将认识到，各种组件或其部分可划分成单独组件，或者可集成在一起(包括集成在单个的系统或组件内)。应注意，本文论述的功能或操作可实施为组件。组件可以以软件、硬件、或它们的组合实施。
[0021]此外，附图内的组件或系统之间的连接并不旨在限于直接连接。相反，在这些组件之间的数据可由中间组件修改、重新格式化、或以其它方式改变。另外，可使用另外或更少的连接。还应注意，术语“联接”、“连接”、或“通信地联接”应理解为包括直接连接、通过一个或多个中间设备来进行的间接连接、和无线连接。
[0022]在本说明书中对“一个实施方式”、“优选实施方式”、“实施方式”或“多个实施方式”的提及表示结合实施方式所描述的具体特征、结构、特性或功能包括在本专利技术的至少一个实施方式中，以及可包括在多于一个的实施方式中。另外，在本说明书的各个地方出现以上所提到的短语并不一定全都是指相同的实施方式或多个相同实施方式。
[0023]在本说明书的各个地方使用某些术语目的在于说明，并且不应被理解为限制。服务、功能或资源并不限于单个服务、单个功能或单个资源；这些术语的使用可指代相关服务、功能或资源的分布式或聚合的分组。图像可能是静止图像或来自视频。
[0024]术语“包括”、“包括有”、“包含”和“包含有”应理解为开放性的术语，并且其后任何列出内容都是示例，而不旨在限于所列项目。本文所使用的任何标题仅是为了组织目的，并且不应被用于限制说明书或权利要求的范围。本专利文献中提到的每个参考文献以其全文通过引用并入本文。
[0025]此外，本领域的技术人员应认识到：(1)某些步骤可以可选地执行；(2)步骤可不限于本文中所阐述的特定次序；(3)某些步骤可以以不同次序执行；以及(4)某些步骤可同时地进行。
[0026]A.引言
[0027]本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算机实施的方法，用于对来自多光谱滤波器阵列(MSFA)传感器的具有多个子频带的多光谱图像进行去马赛克，所述方法包括：使用深度神经网络和所述多光谱图像重构所述多光谱图像的全分辨率深度全色图像(DPI)；对于所述多光谱图像的每个子频带，基于所重构的DPI执行至少一程引导残余内插来获得去马赛克的子频带图像；以及形成包括所述去马赛克的子频带图像的去马赛克的多光谱图像。2.根据权利要求1所述的计算机实施的方法，其中，对于所述多光谱图像的每个子频带，基于所重构的DPI执行至少一程引导残余内插以获得所述去马赛克的子频带图像的步骤包括：相对于所述子频带对所述DPI进行二次采样以获得二次采样的DPI；从与所述子频带对应的子频带图像与所述二次采样的DPI的差值中获得二次采样的残余图像；使用所述DPI作为所述二次采样的残余图像上的第一引导内插中的引导图像，以获得去马赛克的残余图像；以及将所述去马赛克的残余图像与所述DPI相加，以获得第一程去马赛克的子频带图像。3.根据权利要求2所述的计算机实施的方法，其中，对于所述MSFA图像的每个子频带，基于所重构的DPI执行至少一程引导残余内插以获得所述去马赛克的子频带图像的步骤还包括以下步骤：相对于所述子频带对所述第一程去马赛克的子频带图像进行二次采样，以获得第二程二次采样图像；从子频带图像与所述第二程二次采样图像的差值中获得第二程二次采样的残余图像；使用所述第一程去马赛克的子频带图像作为所述第二程二次采样的残余图像上的第二引导内插中的引导图像，以获得第二程去马赛克的残余图像；以及将所述第二程残余图像与所述第一程去马赛克的子频带图像相加，以获得第二程去马赛克的子频带图像。4.根据权利要求1所述的计算机实施的方法，其中，所述深度神经网络是卷积神经网络(CNN)，所述CNN包括：投影层，所述投影层将所述多光谱图像变换到多个通道；一个或多个中间块，所述一个或多个中间块基于所述多个通道生成中间输出，每个中间块具有两个层，每个层包括卷积和整流线性单元(Relu)滤波器以及每个中间块的输入和输出之间的跳跃连接；最终卷积层，所述最终卷积层将所述中间输出投影到2D残余图像；以及裁剪模块，所述裁剪模块将通过从所述多光谱图像中减除所述2D残余图像而获得的残余减除图像裁剪到所述DPI的有效像素值范围。5.根据权利要求4所述的计算机实施的方法，其中，对所述CNN使用训练数据集进行预训练，以最小化所重构的DPI与从地面真值多光谱图像的所有频带平均的参考全色图像之间的损耗。6.根据权利要求5所述的计算机实施的方法，其中，在所述预训练期间，在计算所述损
耗之前将锐化滤波器应用于所重构的DPI和所述参考全色图像两者。7.根据权利要求4所述的计算机实施的方法，其中，在所述第一块中使用填充方案以用于每一侧上的对第一MSFA图案的有限滚动移位。8.根据权利要求3所述的计算机实施的方法，其中，所述第一引导内插和所述第二引导内插包括以下步骤：对于m和n为正整数的m
×
n的MSFA图案，在所述MSFA图案中使用在对应方向上分别具有m和n滑动步长的大小为(m+1)
×
(n+1)的滑动窗口，所述MSFA图案对应于所述第一引导内插中的所述二次采样的残余图像或所述第二引导内插中的所述第二程二次采样的残余图像；对于所述滑动窗口的每个滑动步长，仅利用来自每个子频带中的稀疏网格的像素来估计系数；对于所述稀疏网格中的每个像素，使用所有滑动步长的估计系数的平均值来获得线性内插系数；使用双线性内插从所述稀疏网格中获得所述多光谱图像的所述子频带的全分辨率系数；以及从使用所重构的DPI作为引导图像的线性变换和在所述第一引导内插中所获得的全分辨率系数获得所述子频带的全分辨率图像，或者从使用所述第一程去马赛克的子频带图像作为引导图像的线性变换以及在所述第二引导内插中所获得的全分辨率系数获得所述子频带的全分辨率图像，所述全分辨率图像是在所述第一引导内插中的所述去马赛克的残余图像，或者在所述第二引导内插中的所述第二程去马赛克的残余图像。9.一种计算机实施的方法，用于使用一个或多个处理器来对由多光谱滤波器阵列(MSFA)传感器捕获的多光谱图像中的子频带图像进行去马赛克，以导致包括以下的步骤被执行：使用深度神经网络和所述多光谱图像重构所述多光谱图像的全分辨率深度全色图像(DPI)；相对于所述子频带对所述DPI进行二次采样以获得二次采样的DPI；从所述子频带图像与所述二次采样的DPI的差值中获得二次采样的残余图像；使用所述DPI作为所述二次采样的残余图像上的引导内插中的引导图像，以获得去马赛克的残余图像；以及将所述去马赛克的残余图像与所述DPI相加，以获得第一程去马赛克的子频带图像。10.根据权利要求9所述的计算机实施的方法，还包括：相对于所述子频带对所述第一程去马赛克的子频带图像进行二次采样，以获得第二程二次采样图像；从子频带图像与所述第二程二次采样图像的差值中获得第二程二次采样的残余图像；使用所述第一程去马赛克的子频带图像作为所述第二程二次采样的残余图像上的第二引导内插中的引导图像，以获得第二程去马赛克的残余图像；以及将所述第二程残余图像与所述第一程去马赛克的子频带图像相加，以获得第二程去马赛克的子频带图像。11.根据权利要求10所述的计算机实施的方法，其中，所述引导内插和所述第二引导内插包括以下步骤：
对于m和n为正整数的m
×
n的MSFA图案，在所述MSFA图案中使用在对应方向分别具有m和n滑动步长的大小为(m+1)
×
(n+1)的滑动窗口，所述MSFA图案对应于所述引导内插中的所述二次采样的残余图像或所述第二引导内插中的所述第二程二次采样的残余图像；对于所述滑动窗口的每个滑动步长，仅使用来自每个子频带中的稀疏网格的像素来估计系数；对于所述稀疏网格中的每个像素，使用所有滑动步长的估计系数的平均值获得线性内插系...

【专利技术属性】
技术研发人员：潘志宏，李宝普，包英泽，郑旭君，
申请(专利权)人：百度美国有限责任公司，
类型：发明
国别省市：