一种亚像素级超分辨成像方法、装置、设备、系统及介质制造方法及图纸

本发明专利技术实施例公开了一种亚像素级超分辨成像方法、装置、设备、系统及计算机可读存储介质。其中，方法包括分别对安装方向相互正交垂直的两个TDI CCD探测器在预设压缩感知编码方法驱动下采集目标图像的两组采样数据进行一维超分辨图像恢复，然后采用图像融合算法将得到的两幅一维超分辨图像进行融合，得到二维超分辨图像，实现对目标图像的亚像素级超分辨成像。其中，压缩感知编码方法为电荷每转移整数拍，快门同步曝光编码一次，直至量化读出所有数据。本申请提供的技术方案简单易于操作，克服了现有超分辨成像系统的诸多瓶颈，有效的提升了图像分辨率，实现了亚像元级超分辨率成像。

【技术实现步骤摘要】
一种亚像素级超分辨成像方法、装置、设备、系统及介质
本专利技术实施例涉及计算成像
，特别是涉及一种亚像素级超分辨成像方法、装置、设备、系统及计算机可读存储介质。
技术介绍
根据奈奎斯特-香农采样定理可知，至少需要信号带宽两倍的采样频率，方可实现没有任何信息损失的完全采样信号。而在实际成像系统中，信号的空间采样频率取决于探测器的感光像元尺寸。若要实现高分辨率大尺寸规模成像，则需要更小的像元尺寸和更大的像元阵列规模。不仅对探测器的制造工艺提出了严苛的要求，还大幅的增加了数据的采集量，给硬件系统的数据存储和传输带来了沉重的负担。为了突破传统奈奎斯特采样定理的限制，压缩感知理论应用而生。该理论指出，若一个信号在某个变换域下是稀疏的，那么可以通过该信号在其它不相关变换域内的少量低维投影值高概率的精确恢复出原始信号。对信号采集设备的要求及数据量都大大降低，颠覆了传统一一对应的成像方式，广泛应用于空间遥感、医疗成像、雷达成像、数据压缩等
针对压缩感知理论中对信号混叠编码采样的需求，目前国内外相关学者已经提出了众多硬件系统实现方式，主要包括基于DMD(DigitalMicromirrorDevice，数字微镜器件)阵列的单像素成像方式、基于CMOS(ComplementaryMetalOxideSemiconductor，互补金属氧化物半导体)探测器架构的压缩成像方式、主动照明编码成像方式、运动随机曝光成像方式等。其中，作为压缩感知理论在成像系统中的典型应用，MarcoF.Duarte等人基于DMD编码方式搭建了单像素压缩感知成像系统，用单像素探测器替代了传统面阵探测器，降低了系统成本。但随着图像规模的增加，压缩编码观测时间及图像重构时间均急剧增加，系统实时性严重受限。作为单像素相机的改进，学者们提出了基于探测器阵列的并联块压缩感知成像系统，通过对目标场景进行分块处理，并行编码，大大缩减了编码观测时间，提高了系统的实时性。进一步地，学者们提出了互补编码的方式来提高观测矩阵的性能，从而提升图像恢复质量。但以上方式均是基于DMD器件来实现目标场景编码的，虽然降低了对探测器像元尺寸及规模的要求，但将其转嫁到了DMD器件上，其成像分辨率取决于DMD阵列的规模，而DMD的规模及尺寸也因制造工艺等原因存在约束限制。基于CMOS探测器架构的编码成像方式，其本质是对待采样的探测器输出信号进行压缩处理，能够降低后续AD转换器及数据传输及存储的负担，但对前端探测器无任何影响，因此仍然会受制于探测器像元尺寸及像元规模的问题，导致该成像方式不能适用于高分辨率大规模成像场景。石光明等人提出了基于运动随机曝光的高分辨率成像方法，实现了亚像元的高分辨率成像。采用运动控制与随机曝光结合的方式进行编码，成像方式只针对一维运动方向存在分辨率的提升。鉴于此，如何克服了上述系统中诸多瓶颈，有效的实现亚像素级超分辨率成像，是本领域技术人员亟待解决的问题。
技术实现思路
本专利技术实施例的目的是提供一种亚像素级超分辨成像方法、装置、设备、系统及计算机可读存储介质，有效的实现了亚像素级超分辨率成像。为解决上述技术问题，本专利技术实施例提供以下技术方案：本专利技术实施例一方面提供了一种亚像素级超分辨成像方法，包括：获取第一TDICCD探测器和与之相正交的第二TDICCD探测器在预设压缩感知编码方法驱动下采集目标图像的第一采样数据和第二采样数据；利用图像恢复算法分别对所述第一采样数据和所述第二采样数据进行一维超分辨图像的恢复；采用图像融合算法将相正交方向的一维超分辨图像进行融合，得到二维超分辨图像，以完成对所述目标图像的亚像素级超分辨成像；其中，所述压缩感知编码方法为电荷每转移整数拍，快门同步曝光编码一次，直至量化读出所有数据。可选的，所述采取预设压缩感知编码方法分别对所述第一TDICCD探测器和所述第二TDICCD探测器进行驱动编码采样包括：对n相的所述第一TDICCD探测器和所述第二TDICCD探测器的每列像元，电荷转移一拍所需时间为Δt，积分级数为m，电荷每转移一拍，快门同步曝光编码一次，采样过程中读出k行观测值，采样时间为2n*(m+k)*Δt；在第2n*m*Δt时刻后，每间隔2n*Δt个时间，移出一行电荷，并量化读出相应数据，直至[2n*(m+k)-1]*Δt时刻，读出k行数据，以作为每列像元的有效采样数据。可选的，所述采用图像融合算法将相正交方向的一维超分辨图像进行融合，得到二维超分辨图像包括：采用凸优化算法处理相正交方向的一维超分辨图像，得到二维超分辨图像，针对每个像元对应的目标场景的超分辨图像，所述采用凸优化算法处理相正交的方向的一维超分辨图像，得到二维超分辨图像包括：将当前像元对应的目标场景的超分辨图像逐行整合为第一列矩阵X'；将各一维超分辨图像整合为第二列矩阵Y'，则有Y'＝Φ'X'，Φ'中第i行第j列的元素为Φ'ij，其满足条件：式中，X'为4n2/p2行1列矩阵，Y'为4n/p行1列矩阵，Φ'为4n/p行4n2/p2列矩阵，n为所述第一TDICCD探测器或所述TDICCD探测器第二的相数，p为快门曝光一次时电荷转移的拍数。可选的，针对每个像元对应的目标场景的超分辨图像，所述采用图像融合算法将相正交方向的一维超分辨图像进行融合，得到二维超分辨图像包括：相正交方向的一维超分辨图像为第一超分辨图像和第二超分辨图像，所述第一超分辨图像为基本要素，所述第二超分辨图像为比例因子；根据下述公式计算所述二维超分辨图像中的每个像素点qi,j的灰度值：式中，Rx为所述第一超分辨图像的数据，Ry为所述第二超分辨图像的数据，n为所述第一TDICCD探测器或所述TDICCD探测器第二的相数，p为快门曝光一次时电荷转移的拍数。可选的，所述压缩感知编码方法利用下式表示为：Y＝ΦX，式中，快门随机曝光矩阵为E＝[e1e2…eS-1eS]，X为所述目标图像对应的矩阵，Y为采样数据矩阵，Φ为编码采样矩阵，n为所述第一TDICCD探测器或所述TDICCD探测器第二的相数，S为所述快门随机曝光次数，m为级数，k为读出电荷的行数，p为快门曝光一次时电荷转移的拍数。本专利技术实施例另一方面提供了一种亚像素级超分辨成像装置，包括：采样数据获取模块，用于获取第一TDICCD探测器和与之相正交的第二TDICCD探测器在预设压缩感知编码方法驱动下采集目标图像的第一采样数据和第二采样数据；所述压缩感知编码方法为电荷每转移整数拍，快门同步曝光编码一次，直至量化读出所有数据；一维超分辨图像恢复模块，用于利用图像恢复算法分别对所述第一采样数据和所述第二采样数据进行一维超分辨图像的恢复；二维超分辨图像合成模块，用于采用图像融合算法将相正交方向的一维超分辨图像进行融合，得到二维超分辨图像，以完成对所述目标图像的亚像素级超分辨成像。可选的，所述采样数据获取模块包括压缩感知编码采样子模块，所述压缩感知编码采样子模块为对n相的所述第一TDICCD探测器和所述第二TDICCD探测器的每列像元，电荷转移一拍所需时间为Δt，积分级数为m，电荷每转移一拍，快门同步曝光编码一次，采样过程中读出k行观测值，采样时间为2n*(m+k)*Δt；在第2n*m*Δt时刻后，每间隔2n*Δt个时间，移出一行电荷，并量化读出相应数本文档来自技高网...

【技术保护点】
1.一种亚像素级超分辨成像方法，其特征在于，包括：获取第一TDI CCD探测器和与之相正交的第二TDI CCD探测器在预设压缩感知编码方法驱动下采集目标图像的第一采样数据和第二采样数据；利用图像恢复算法分别对所述第一采样数据和所述第二采样数据进行一维超分辨图像的恢复；采用图像融合算法将相正交方向的一维超分辨图像进行融合，得到二维超分辨图像，以完成对所述目标图像的亚像素级超分辨成像；其中，所述压缩感知编码方法为电荷每转移整数拍，快门同步曝光编码一次，直至量化读出所有数据。

【技术特征摘要】
1.一种亚像素级超分辨成像方法，其特征在于，包括：获取第一TDICCD探测器和与之相正交的第二TDICCD探测器在预设压缩感知编码方法驱动下采集目标图像的第一采样数据和第二采样数据；利用图像恢复算法分别对所述第一采样数据和所述第二采样数据进行一维超分辨图像的恢复；采用图像融合算法将相正交方向的一维超分辨图像进行融合，得到二维超分辨图像，以完成对所述目标图像的亚像素级超分辨成像；其中，所述压缩感知编码方法为电荷每转移整数拍，快门同步曝光编码一次，直至量化读出所有数据。2.根据权利要求1所述的亚像素级超分辨成像方法，其特征在于，所述采取预设压缩感知编码方法分别对所述第一TDICCD探测器和所述第二TDICCD探测器进行驱动编码采样包括：对n相的所述第一TDICCD探测器和所述第二TDICCD探测器的每列像元，电荷转移一拍所需时间为Δt，积分级数为m，电荷每转移一拍，快门同步曝光编码一次，采样过程中读出k行观测值，采样时间为2n*(m+k)*Δt；在第2n*m*Δt时刻后，每间隔2n*Δt个时间，移出一行电荷，并量化读出相应数据，直至[2n*(m+k)-1]*Δt时刻，读出k行数据，以作为每列像元的有效采样数据。3.根据权利要求1所述的亚像素级超分辨成像方法，其特征在于，所述采用图像融合算法将相正交方向的一维超分辨图像进行融合，得到二维超分辨图像包括：采用凸优化算法处理相正交方向的一维超分辨图像，得到二维超分辨图像，针对每个像元对应的目标场景的超分辨图像，所述采用凸优化算法处理相正交的方向的一维超分辨图像，得到二维超分辨图像包括：将当前像元对应的目标场景的超分辨图像逐行整合为第一列矩阵X'；将各一维超分辨图像整合为第二列矩阵Y'，则有Y'＝Φ'X'，Φ'中第i行第j列的元素为Φ'ij，其满足条件：式中，X'为4n2/p2行1列矩阵，Y'为4n/p行1列矩阵，Φ'为4n/p行4n2/p2列矩阵，n为所述第一TDICCD探测器或所述TDICCD探测器第二的相数，p为快门曝光一次时电荷转移的拍数。4.根据权利要求1所述的亚像素级超分辨成像方法，其特征在于，针对每个像元对应的目标场景的超分辨图像，所述采用图像融合算法将相正交方向的一维超分辨图像进行融合，得到二维超分辨图像包括：相正交方向的一维超分辨图像为第一超分辨图像和第二超分辨图像，所述第一超分辨图像为基本要素，所述第二超分辨图像为比例因子；根据下述公式计算所述二维超分辨图像中的每个像素点qi,j的灰度值：式中，Rx为所述第一超分辨图像的数据，Ry为所述第二超分辨图像的数据，n为所述第一TDICCD探测器或所述TDICCD探测器第二的相数，p为快门曝光一次时电荷转移的拍数。5.根据权利要求1至3任意一项所述的亚像素级超分辨成像方法，其特征在于，所述压缩感知编码方法利用下式表示为：Y＝ΦX，式中，快门随机曝光矩阵为E＝[e1e2…eS-...

【专利技术属性】
技术研发人员：李云辉，
申请(专利权)人：中国科学院长春光学精密机械与物理研究所，
类型：发明
国别省市：吉林,22