成像系统和图像处理方法技术方案

用于成像系统的系统和方法包括第一传感器，其获取第一模态的图像序列。存储器存储第一卷积存储器矩阵。其中，该第一卷积存储器矩阵的各个元素是第一模态的图像的卷积表示的系数矩阵的对应位置的元素的卷积函数，并且存储包括第一模态的图像的原子的第一字典矩阵。处理器将由第一传感器获取的场景的第一图像变换成第一字典矩阵和第一系数矩阵的卷积，利用第一系数矩阵的对应位置的非零元素的卷积函数来更新第一卷积存储器矩阵的元素，并利用经更新的第一卷积存储器矩阵来更新字典矩阵。

Imaging system and image processing method

【技术实现步骤摘要】
【国外来华专利技术】成像系统和图像处理方法
本公开涉及用于稀疏编码的系统和方法，更具体地，涉及使用卷积稀疏编码来更新图像的原子的字典的在线卷积字典学习。
技术介绍
在信号处理中，要测量的信号以及测量过程本身可包含噪声，以及促成一定量的噪声。噪声影响信号处理，因此最好消除噪声以获得更好的信号处理结果，例如更锐利的图像。通常，信号测量的过程需要大量的处理时间，这对于如今需要更少处理时间和给定结果质量的技术应用而言会是一个挑战。例如，如果所测量的信号要被传送至某一其它位置，则发送所测量的信号的一些优点可包括尽可能减少发送的数据量以降低所需带宽。发送所测量的信号的另一优点可包括增加发送所测量的信号(完成测量)的速率，例如视频信号传输的帧率。信号的稀疏表示是无法稀疏地表示的噪声可被滤除的信号处理技术。可从少量测量估计给定信号的稀疏表示，其中少是与信号的维度相比。另外，稀疏表示通常意指数据被压缩。存在本领域中已知的众多稀疏表示学习算法，其用于广泛的信号和/或图像处理应用。例如，稀疏表示可用于标记图像中的对象以标识和分类存在哪些对象。给定信号和字典矩阵D，稀疏编码是仅利用很少的非零条目来寻找稀疏表示x的逆问题，使得Dx≈s。达到这些标识的过程需要用于学习字典矩阵D的技术，本文中称为字典学习。此外，对于一些应用，使用稀疏表示来学习字典矩阵可能是有益的。然而，离线学习将字典矩阵限制为仅表示用于训练的图像。因此，对于可实时考虑的各种图像，离线学习的字典缺乏灵活性和适应性。另外，这些稀疏表示学习算法无法扩展到大数据维度输入，传统上被认为不适合于一些技术应用。存在用于在大的数据集合上操作的已知硬件设计，例如大矩阵乘法和神经网络仿真。神经网络仿真器是已知的，其通常使用混合的模数信号，但是这些使得更难扩大硬件。另外，在数字信号操作中，数据可被下载到硬件的带宽限制了硬件的实际大小。因此，需要适合于使用多个不同的感测模态来获取对象的测量的系统和方法。其中，从传感器获取的数据可被联合处理以改进一个或更多个所获取的模态下的成像质量。这可导致提供关于对象的补充信息源，克服硬件限制，或者减小由于各个单独的传感器导致的数据不确定性。
技术实现思路
本公开的实施方式提供了用于稀疏编码的系统和方法，更具体地，涉及使用卷积稀疏编码来更新图像的原子字典的在线卷积字典学习。多模态成像中的重要步骤是在多个模态下标识可用于改进多模态成像的质量的相关特征。具体地，使用多个不同的感测模态来获取特征的多个测量，并且从传感器获取的数据被联合处理以改进一个或更多个所获取的模态下的成像质量。然而，从多模态测量标识和提取那些特征具有挑战性。本公开的实施方式基于这样的认识：可利用变量分裂技术来重新规划卷积字典学习，然后允许将所有系数矩阵聚合为足够用于卷积字典学习的单个卷积存储器矩阵。然而，发现出于许多原因，修改CDL已被证明具有挑战性。例如，CDL将图像表示为字典和系数矩阵的卷积，旨在从表示对应图像集合的系数矩阵集合学习字典。系数矩阵是对应图像的稀疏表示。然而，用于CDL的多个系数矩阵需要足够大，这意味着分配用于CDL的大量存储器资源，即，使用稀疏表示需要大量存储器。并非所有装置均可将如此多存储器资源专用于这些学习方法。此外，CDL难以扩展至非常大的数据集(例如，流多模态视频序列)，因为学习成本与数据条目的数量(例如，视频帧的数量)成比例地扩大。例如，学习一百万像素帧的25fps的一分钟视频的字典矩阵所需的数据可占用约715GB的存储器。这意味着CDL方法仅可与小数据集一起使用，这限制了其对多模态传感器融合的适用性。目前，CDL仅可离线使用，并且不适合于实时融合。为此，我们需要克服上述限制以使得我们可使用CDL。我们发现，可通过利用变量分裂技术重新规划卷积学习来修改CDL，其然后允许将所有系数矩阵(在没有聚合的情况下对于1百万像素图像，715GB)聚合为足够用于学习的单个卷积存储器矩阵(1KB)。通过将图像的卷积表示的系数矩阵的对应位置的元素加性卷积来构造卷积存储器矩阵。例如，代替对系数矩阵集合(在一个示例中可花费高达715GB的存储器)执行CDL，我们确定得到单个卷积存储器矩阵(在对应示例中可花费一个KB的存储器)的那些系数矩阵的加性卷积并基于该卷积存储器矩阵学习字典矩阵。使用卷积存储器矩阵可显著减少分配用于CDL的存储器的量，并且可使得CDL适合于在线应用。例如，现在由于卷积学习的存储器效率，本公开的大规模CDL方法使得可利用联合卷积稀疏编码直接从流数据学习相关特征，这导致融合的数据的质量改进。本公开的规划的附加益处在于，其允许包含附加去噪机制以直接用于原始传感器数据。具体地，传统CDL的应用需要在无噪声图像或具有非常少量的噪声的图像上学习。这是因为学习算法试图将字典直接与图像相配，这意味着当图像有噪声时，算法以学习噪声结束。然而，本公开的规划通过使得可按照允许直接用于通常包含测量噪声的传感器数据的总变差(totalvariation)进一步调整解决方案来规避此(传统应用)。为此，一些实施方式公开了一种存储字典矩阵的成像系统，该字典矩阵包括第一模态的图像原子。卷积存储器矩阵的各个元素是图像的卷积表示的系数矩阵的对应位置的元素的卷积函数。为了更好地理解本公开，我们提供了可用于实现本公开的至少一种方法。该方法可包括在操作上连接到存储器的处理器，其被编码为将场景的图像变换成字典矩阵与第一系数矩阵的卷积。可以想到，所应用的图像可以是二维图像，或者具体地，三维图像(例如，CT扫描)。还要注意的是本公开的方法可用于语音处理等。例如，处理器可使用卷积稀疏编码来变换第一图像。接下来，处理器可利用第一系数矩阵的对应位置的非零元素的卷积函数来更新卷积存储器矩阵的元素，并且可使用经更新的卷积存储器矩阵来更新字典矩阵。以这种方式，利用从图像学习的信息来更新字典矩阵，而不会增加卷积存储器矩阵的大小。此外，成像系统可针对传感器所获取的图像序列中的不同图像迭代地执行卷积存储器矩阵和字典矩阵的更新。例如，在基于第一图像更新卷积存储器矩阵和字典矩阵之后，基于传感器所获取的第二图像进一步更新卷积存储器矩阵和字典矩阵。具体地，处理器将第二图像变换成经更新的字典矩阵和第二系数矩阵的卷积，并且利用第二系数矩阵的对应位置的非零元素的卷积函数进一步更新卷积存储器矩阵的元素。接下来，处理器使用经更新的卷积存储器矩阵来进一步更新经更新的字典矩阵。以这种方式，利用从第二图像学习的信息进一步更新字典矩阵，而不会增加卷积存储器矩阵的大小。一些实施方式基于另一认识：字典原子中的字典更新的线性允许将所有过去的系数矩阵聚合为紧凑卷积存储器矩阵。例如，通过将图像的卷积表示的系数矩阵的对应位置的元素加性卷积来构造卷积存储器矩阵。例如，可使用系数矩阵的对应位置的元素的卷积函数来迭代地更新卷积存储器矩阵。在各种实施方式中，卷积函数包括从卷积和的选择。例如，在一个实施方式中，卷积函数基于其中S是选择算子，是系数矩阵xm的翻转版本。在线卷本文档来自技高网...

【技术保护点】
1.一种成像系统，该成像系统包括：/n第一传感器，该第一传感器获取第一模态的图像序列；/n存储器，该存储器存储第一卷积存储器矩阵，其中，该第一卷积存储器矩阵的各个元素是所述第一模态的图像的卷积表示的系数矩阵的对应位置的元素的卷积函数，并且该存储器存储包括所述第一模态的图像的原子的第一字典矩阵；以及/n处理器，该处理器将由所述第一传感器获取的场景的第一图像变换成所述第一字典矩阵和第一系数矩阵的卷积，利用所述第一系数矩阵的对应位置的非零元素的卷积函数来更新所述第一卷积存储器矩阵的元素，并且利用经更新的第一卷积存储器矩阵来更新所述字典矩阵。/n

【技术特征摘要】
【国外来华专利技术】20170602 US 62/514,444;20170629 US 15/636,7951.一种成像系统，该成像系统包括：
第一传感器，该第一传感器获取第一模态的图像序列；
存储器，该存储器存储第一卷积存储器矩阵，其中，该第一卷积存储器矩阵的各个元素是所述第一模态的图像的卷积表示的系数矩阵的对应位置的元素的卷积函数，并且该存储器存储包括所述第一模态的图像的原子的第一字典矩阵；以及
处理器，该处理器将由所述第一传感器获取的场景的第一图像变换成所述第一字典矩阵和第一系数矩阵的卷积，利用所述第一系数矩阵的对应位置的非零元素的卷积函数来更新所述第一卷积存储器矩阵的元素，并且利用经更新的第一卷积存储器矩阵来更新所述字典矩阵。


2.根据权利要求1所述的成像系统，其中，所述第一传感器获取所述第一模态的第二图像，并且其中，所述处理器将所述第二图像变换成经更新的第一字典矩阵与所述第一模态下的卷积表示的第二系数矩阵的卷积，其中，所述处理器利用所述第一模态下的卷积表示的所述第二系数矩阵的对应位置的非零元素的卷积函数来进一步更新所述第一卷积存储器矩阵的元素，并且其中，所述处理器使用经更新的第一卷积存储器矩阵来进一步更新所述经更新的第一字典矩阵。


3.根据权利要求1所述的成像系统，其中，所述处理器使用卷积稀疏编码来变换所述第一图像。


4.根据权利要求1所述的成像系统，其中，所述卷积函数包括从卷积和的选择。


5.根据权利要求4所述的成像系统，其中，所述卷积函数基于


6.根据权利要求1所述的成像系统，该成像系统还包括：
第二传感器，该第二传感器获取第二模态的图像序列；
其中，所述存储器存储第二卷积存储器矩阵，其中，该第二卷积存储器矩阵的各个元素是所述第二模态下的卷积表示的系数矩阵的对应位置的元素的卷积函数；
其中，所述存储器存储包括所述第二模态的图像的原子的第二字典矩阵；
其中，所述处理器使用联合卷积稀疏编码来变换所述第一模态和所述第二模态下的对应图像，以生成表示所述第一模态下的所述第一图像的所述第一系数矩阵以及表示所述第二模态下的所述场景的第二图像的第二系数矩阵，
其中，所述处理器使用所述第一系数矩阵的对应元素利用卷积函数来更新所述第一卷积存储器矩阵，并且使用所述第二系数矩阵的对应元素利用卷积函数来更新所述第二卷积存储器矩阵；并且
其中，所述处理器基于所述第一卷积存储器矩阵来更新所述第一字典矩阵并基于所述第二卷积存储器矩阵来更新所述第二字典矩阵。


7.根据权利要求6所述的成像系统，其中，响应于接收到所述第一图像和所述第二图像，所述处理器被配置用于：
使用所述第一系数矩阵和所述第一字典矩阵的卷积来确定所述第一模态下的第一输出图像；并且
使用所述第二系数矩阵和所述第二字典矩阵的卷积来确定所述第二模态下的第二输出图像。


8.根据权利要求1所述的成像系统，其中，所述处理器使用关于所述第一图像的结构的先验信息来变换所述第一图像。


9.根据权利要求8所述的成像系统，其中，关于所述第一图像的结构的所述先验信息包括所述第一图像中的值的总变差。


10.根据权利要求6所述的成像系统，其中，所述第一图像的分辨率不同于所述第二图像的分辨率。


11.根据权利要求10所述的成像系统，其中，所述第一传感器是强度相机，所述第一图像是强度图像，所述第二传感器是深度相机，并且所述第二图像是深度图像。


12.一种用于图像处理的方法，其中，该方法使用处理器，该处理器联接到存储第一卷积存储器矩阵的存储器，其中，所述第一卷积存储器矩阵的各个元素是第一模态的图像的卷积表示的系数矩阵的对应位置的元素的卷积函数，所述存储器存储包括所述第一模态的图像的原子的第一字典矩阵，其中，所述处理器与所存储的实现所述方法的指令结合，其中，所述指令在由所述处理器执行时实现所述方法的至少一些步骤，该方法包括以下步骤：
将所述第一模态下的场景的第一图像变换成所述第一字典矩阵和第一系数矩阵的卷积；
利用所述第一系数矩阵的对应位置的非零元素的卷积函数来更新所述第一卷积存储器矩阵的元素；以及
使用经更新的第一卷积存储器矩阵来更新所述第一字典矩阵，其中，经更新的字典矩阵帮助例如利用...

【专利技术属性】
技术研发人员：U·卡米洛夫，K·德格洛克斯，P·T·布福诺斯，刘德红，
申请(专利权)人：三菱电机株式会社，
类型：发明
国别省市：日本;JP