一种跨时空映射超分辨光场成像方法、装置及设备制造方法及图纸

本申请提供一种跨时空映射超分辨光场成像方法、装置及设备，该方法包括：从已获得的至少两个图像序列中选取目标图像序列和参考图像序列；对所述目标图像序列进行三维卷积操作，得到与所述目标图像序列对应的目标特征集合；对所述参考图像序列进行三维卷积操作，得到与所述参考图像序列对应的参考特征集合；利用所述目标特征集合对所述参考特征集合进行调整，以得到与所述参考图像序列对应的对准特征集合；依据所述对准特征集合和所述目标特征集合确定融合特征集合；对融合特征集合进行反三维卷积操作，得到超分辨图像，所述超分辨图像的分辨率大于任一目标图像的分辨率。通过本申请的技术方案，有效提高图像的分辨率，分辨率的提升效果很好。

【技术实现步骤摘要】
一种跨时空映射超分辨光场成像方法、装置及设备
本申请涉及图像处理
，尤其是涉及一种跨时空映射超分辨光场成像方法、装置及设备。
技术介绍
图像的分辨率是指图像中存储的信息量，是每英寸图像内有多少个像素点，分辨率的单位为PPI（PixelsPerInch，像素每英寸），显然，分辨率越大，则图像的清晰度越高，分辨率越小，则图像的清晰度越低。在实际应用中，图像的分辨率、图像的宽尺寸和图像的高尺寸一起决定了图像的大小以及质量。随着图像处理技术的发展，在越来越多的应用场景中，如自动驾驶，监控，影视，医疗，AR（AugmentedReality，增强现实）/VR（VirtualReality，虚拟现实）等应用场景，需要对低分辨率的图像进行重建，得到高分辨率的图像。为了将低分辨率的图像重建为高分辨率的图像，需要采集低分辨率的图像，然后利用图像插值等算法对低分辨率的图像进行处理，得到高分辨率的图像。但是，采用图像插值等算法，分辨率的提升效果有限，无法达到高分辨率的要求，尤其是在自动驾驶，AR/VR等应用场景，图像的分辨率无法满足用户要求。
技术实现思路
本申请提供一种跨时空映射超分辨光场成像方法，所述方法包括：从已获得的至少两个图像序列中选取目标图像序列和参考图像序列；其中，同一图像序列中存在不同视角的至少两帧图像，所述目标图像序列中各目标图像的采集时刻晚于所述参考图像序列中各参考图像的采集时刻；对所述目标图像序列进行三维卷积操作，得到与所述目标图像序列对应的目标特征集合；以及，对所述参考图像序列进行三维卷积操作，得到与所述参考图像序列对应的参考特征集合；利用所述目标特征集合对所述参考特征集合进行调整，以得到与所述参考图像序列对应的对准特征集合；其中，所述对准特征集合与所述目标特征集合中对应同一对象的特征点的位置对应；依据所述对准特征集合和所述目标特征集合确定融合特征集合；对所述融合特征集合进行反三维卷积操作，得到超分辨图像，所述超分辨图像的分辨率大于任一目标图像的分辨率。本申请提供一种跨时空映射超分辨光场成像装置，所述装置包括：选取模块，用于从已获得的至少两个图像序列中选取目标图像序列和参考图像序列；其中，同一图像序列中存在不同视角的至少两帧图像，所述目标图像序列中各目标图像的采集时刻晚于参考图像序列中各参考图像的采集时刻；操作模块，用于对所述目标图像序列进行三维卷积操作，得到与所述目标图像序列对应的目标特征集合；以及，对所述参考图像序列进行三维卷积操作，得到与所述参考图像序列对应的参考特征集合；处理模块，用于利用所述目标特征集合对所述参考特征集合进行调整，以得到与所述参考图像序列对应的对准特征集合；其中，所述对准特征集合与所述目标特征集合中对应同一对象的特征点的位置对应；确定模块，用于依据所述对准特征集合和目标特征集合确定融合特征集合；所述操作模块，还用于对所述融合特征集合进行反三维卷积操作，得到超分辨图像，所述超分辨图像的分辨率大于任一目标图像的分辨率。本申请提供一种跨时空映射超分辨光场成像设备，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；所述处理器用于执行机器可执行指令，以实现如下步骤：从已获得的至少两个图像序列中选取目标图像序列和参考图像序列；其中，同一图像序列中存在不同视角的至少两帧图像，所述目标图像序列中各目标图像的采集时刻晚于所述参考图像序列中各参考图像的采集时刻；对所述目标图像序列进行三维卷积操作，得到与所述目标图像序列对应的目标特征集合；以及，对所述参考图像序列进行三维卷积操作，得到与所述参考图像序列对应的参考特征集合；利用所述目标特征集合对所述参考特征集合进行调整，以得到与所述参考图像序列对应的对准特征集合；其中，所述对准特征集合与所述目标特征集合中对应同一对象的特征点的位置对应；依据所述对准特征集合和所述目标特征集合确定融合特征集合；对所述融合特征集合进行反三维卷积操作，得到超分辨图像，所述超分辨图像的分辨率大于任一目标图像的分辨率。由以上技术方案可见，本申请实施例中，基于目标图像序列和参考图像序列获取与目标图像序列对应的超分辨图像，超分辨图像的分辨率大于目标图像序列中任一目标图像的分辨率，即该超分辨图像的分辨率更大，有效提高图像的分辨率，分辨率的提升效果很好，能够达到高分辨率的要求，即使在自动驾驶，AR/VR等应用场景，图像的分辨率也能够满足用户要求。目标图像序列包括不同视角的至少两帧图像，参考图像序列包括不同视角的至少两帧图像，在获取超分辨图像时，可以参考不同视角的图像信息，从而考虑图像空间位置来生成超分辨图像，使图像达到更高的分辨率要求。目标图像序列中各目标图像的采集时刻晚于参考图像序列中各参考图像的采集时刻，在获取超分辨图像时，可以参考比目标图像序列更早的参考图像序列，从而考虑图像时间信息来生成超分辨图像，使图像达到更高的分辨率要求。显然，上述方式能够有效利用空域冗余和时域冗余，充分考虑到多视角和多时序特性，对目标图像和参考图像进行校正和融合，能够更有效的利用图像信息，得到超分辨图像，提升光场超分辨质量，成像效果更好，具有很强的适应性、可扩展性，实现跨时空映射。附图说明图1是本申请一种实施方式中的跨时空映射超分辨光场成像方法的流程图；图2是本申请一种实施方式中的目标场景的图像采集示意图；图3是本申请一种实施方式中的跨时空映射光场成像的示意图；图4是本申请一种实施方式中的跨时空映射超分辨光场成像装置的结构图；图5是本申请一种实施方式中的跨时空映射超分辨光场成像设备的结构图。具体实施方式本申请实施例中提出一种跨时空映射超分辨光场成像方法，用于将低分辨率的图像转换为高分辨率的图像，从而提高图像的分辨率，满足应用场景的需求。参见图1所示，为该方法的流程示意图，该方法可以包括：步骤101，从已获得的至少两个图像序列中选取目标图像序列和参考图像序列。示例性的，针对已获得的至少两个图像序列，同一图像序列中可以存在不同视角的至少两帧图像，可以将该目标图像序列中的至少两帧图像称为目标图像，并将该参考图像序列中的至少两帧图像称为参考图像。该目标图像序列中各目标图像的采集时刻，可以晚于该参考图像序列中各参考图像的采集时刻。步骤101之前，还可以先获取至少两个图像序列，比如说，至少两个图像序列可以是通过光场相机采集。该光场相机在每个采集时刻采集不同视角的至少两帧图像，将同一采集时刻采集的至少两帧图像组成一个图像序列。比如说，光场相机在采集时刻1，采集视角a1的图像P11、视角a2的图像P12和视角a3的图像P13，将图像P11、图像P12和图像P13组成一个图像序列1。光场相机在采集时刻2，采集视角a1的图像P21、视角a2的图像P22和视角a3的图像P23，将图像P21、图像P22和图像P23组成一个图像序列2。光场相机本文档来自技高网...

【技术保护点】
1.一种跨时空映射超分辨光场成像方法，其特征在于，所述方法包括：/n从已获得的至少两个图像序列中选取目标图像序列和参考图像序列；其中，同一图像序列中存在不同视角的至少两帧图像，所述目标图像序列中各目标图像的采集时刻晚于所述参考图像序列中各参考图像的采集时刻；/n对所述目标图像序列进行三维卷积操作，得到与所述目标图像序列对应的目标特征集合；以及，对所述参考图像序列进行三维卷积操作，得到与所述参考图像序列对应的参考特征集合；/n利用所述目标特征集合对所述参考特征集合进行调整，以得到与所述参考图像序列对应的对准特征集合；其中，所述对准特征集合与所述目标特征集合中对应同一对象的特征点的位置对应；/n依据所述对准特征集合和所述目标特征集合确定融合特征集合；/n对所述融合特征集合进行反三维卷积操作，得到超分辨图像，所述超分辨图像的分辨率大于任一目标图像的分辨率。/n

【技术特征摘要】
1.一种跨时空映射超分辨光场成像方法，其特征在于，所述方法包括：
从已获得的至少两个图像序列中选取目标图像序列和参考图像序列；其中，同一图像序列中存在不同视角的至少两帧图像，所述目标图像序列中各目标图像的采集时刻晚于所述参考图像序列中各参考图像的采集时刻；
对所述目标图像序列进行三维卷积操作，得到与所述目标图像序列对应的目标特征集合；以及，对所述参考图像序列进行三维卷积操作，得到与所述参考图像序列对应的参考特征集合；
利用所述目标特征集合对所述参考特征集合进行调整，以得到与所述参考图像序列对应的对准特征集合；其中，所述对准特征集合与所述目标特征集合中对应同一对象的特征点的位置对应；
依据所述对准特征集合和所述目标特征集合确定融合特征集合；
对所述融合特征集合进行反三维卷积操作，得到超分辨图像，所述超分辨图像的分辨率大于任一目标图像的分辨率。


2.根据权利要求1所述的方法，其特征在于，
所述利用所述目标特征集合对所述参考特征集合进行调整，以得到与所述参考图像序列对应的对准特征集合，包括：
依据所述目标图像序列和所述参考图像序列，从所述目标特征集合和所述参考特征集合中选择特征点对；其中，所述特征点对包括所述目标特征集合中的目标特征点和所述参考特征集合中的参考特征点，且所述特征点对中的目标特征点和所述特征点对中的参考特征点对应同一对象；
依据所述特征点对中的目标特征点和参考特征点之间的关系，以及所述参考特征集合中的参考特征点上的特征值，对所述参考特征集合进行调整，以得到与所述参考图像序列对应的对准特征集合。


3.根据权利要求2所述的方法，其特征在于，
所述对所述目标图像序列进行三维卷积操作，得到与所述目标图像序列对应的目标特征集合；以及，对所述参考图像序列进行三维卷积操作，得到与所述参考图像序列对应的参考特征集合，包括：
依据N个不同尺度的三维卷积核对所述目标图像序列进行三维卷积操作，得到与所述目标图像序列对应的N个目标子特征集合，N为大于1的正整数；基于所述N个目标子特征集合确定与所述目标图像序列对应的目标特征集合；
依据所述N个不同尺度的三维卷积核对所述参考图像序列进行三维卷积操作，得到与所述参考图像序列对应的N个参考子特征集合；基于所述N个参考子特征集合确定与所述参考图像序列对应的参考特征集合；
其中，所述特征点对中目标特征点所处的目标子特征集合与所述特征点对中参考特征点所处的参考子特征集合的尺度相同。


4.根据权利要求3所述的方法，其特征在于，
所述依据N个不同尺度的三维卷积核对所述目标图像序列进行三维卷积操作，得到与所述目标图像序列对应的N个目标子特征集合，包括：
利用第一卷积核序列中的首个三维卷积核对所述目标图像序列进行三维卷积操作，得到目标子特征集合；其中，第一卷积核序列包括N个不同尺度的三维卷积核，所述N个不同尺度的三维卷积核按照尺度从大到小的顺序排列；
将首个三维卷积核更新为已遍历卷积核，将目标子特征集合更新为已遍历特征集合，确定该已遍历卷积核是否为第一卷积核序列中最后一个三维卷积核；
若是，则将已得到的所有目标子特征集合确定为所述N个目标子特征集合；
若否，则利用第一卷积核序列中的所述已遍历卷积核的后一个三维卷积核对所述已遍历特征集合进行三维卷积操作，得到目标子特征集合；
将所述已遍历卷积核的后一个三维卷积核更新为已遍历卷积核，将当前得到的该目标子特征集合更新为已遍历特征集合，返回执行确定该已遍历卷积核是否为第一卷积核序列中最后一个三维卷积核的操作。


5.根据权利要求3所述的方法，其特征在于，
所述依据所述目标图像序列和所述参考图像序列，从所述目标特征集合和所述参考特征集合中选择特征点对，包括：
对所述目标图像序列和所述参考图像序列进行光流估计，得到目标光流，所述目标光流用于表示同一视角下采集的所述参考图像序列中参考图像与所述目标图像序列中目标图像中同一对象对应的像素位置关系；
基于所述目标光流从所述目标特征集合和所述参考特征集合中选择特征点对，所述特征点对包括所述同一对象在所述目标特征集合中的目标特征点和所述同一对象在所述参考特征集合中的参考特征点。


6.根据权利要求5所述的方法，其特征在于，
所述目标光流包括N个不同尺度的子光流，所述子光流的尺度与执行三维卷积操作所使用的三维卷积核的尺度对应。


7.根据权利要求2所述的方法，其特征在于，所述依据所述特征点对中的目标特征点和参考特征点之间的关系，以及所述参考特征集合中的参考特征点上的特征值，对所述参考特征集合进行调整，包括：
确定所述目标特征点在所述目标特征集合中的目标位置；
依据所述特征点对中的目标特征点和参考特征点之间的关系，从所述参考特征集合中确定出与所述目标特征点对应的参考特征点上的特征值；

【专利技术属性】
技术研发人员：方璐，王滨，季梦奇，王星，林克章，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江;33