时空联合优化重建方法及系统技术方案

本发明专利技术提供一种基于扫描光场显微成像系统的时空联合优化重建系统，包括：扫描光场采集模块、预处理模块及时空联合双向循环重建模块。本发明专利技术还提供一种基于扫描光场显微成像系统的时空联合优化重建方法。加入时空联合约束，优化了传统重建算法，大大加快了重建速度，有效降低三维重建时间，并恢复了体成像时间分辨率，即扫描所牺牲的时间分辨率，同时消除了由于样本过快变化带来的运动模糊和伪影，从而提升了扫描光场显微成像系统的性能，扩展其在生物组织高速捕捉等场景下的应用；对于整个时间延时三维视频，时间双向循环算法主要利用了四维信息在时间维度的连续性与冗余性，能够提升整体的信噪比。

The method and system of space-time joint optimization and reconstruction

【技术实现步骤摘要】
时空联合优化重建方法及系统
本专利技术属于图像三维重建
，尤其涉及一种基于扫描光场显微成像系统的时空联合优化重建方法及系统。
技术介绍
三维成像一直是显微成像研究领域中的热点前沿，对科学家探索生命奥秘、疾病机理均有重大意义。扫描光场显微成像系统是一项重要的三维成像技术。它将亚像素平移引入了传统光场显微成像系统中，克服了传统光场显微的低空间分辨率问题，达到衍射极限成像。同时，扫描光场显微成像系统的采集速度可达到100Hz，可被应用于众多亚细胞级别的三维动态观测之中。这是一项非常有前景的三维显微成像技术。而另一方面，扫描光场显微成像系统存在一定的缺陷。第一是采集速度快，但后处理重建速度缓慢，这对计算机性能带来很大的挑战，而且无法用于实时成像之中；第二是实际体成像帧率远低于图像采集帧率，体成像帧率只有约10Hz，因为扫描光场显微成像系统需要采集多张扫描光场数据，才能够重建出一个三维体积；第三是无法对超快运动的生物组织进行成像，当多张扫描光场数据所记录的样本形态差距过大时，扫描光场显微成像系统的重建结果容易出现运动模糊和伪影，造成了数据的不准确性。因此，扫描光场显微成像系统在高动态的成像环境中，表现出较大局限性。这些缺陷制约了扫描光场显微成像系统的进一步发展和应用。
技术实现思路
为解决上述技术问题，本专利技术旨在通过时空联合优化的方法提升扫描光场显微成像系统的三维重建性能，尽可能地恢复由扫描带来的时间分辨率损失，去除由于样本过快变化带来的运动模糊和伪影，并大幅提升重建速度。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。本专利技术采用如下技术方案：在一些可选的实施例中，提供一种时空联合优化重建系统，包括：扫描光场采集模块，用于将样本的信息转化为光信号，再转化为光场图像数据并采集所述光场图像数据，以获得扫描光场数据堆栈；预处理模块，用于将所述光场图像数据进行预处理，校正所述光场图像数据以符合物理模型，并按照时间顺序构建图像堆栈；时空联合双向循环重建模块，用于判定光场图像数据方向，依据所述光场图像数据方向滑动窗口读取数据，并根据样本运动速率确定时间权重，将加权后的光场图像数据进行像素重新排列并进行空间上采样以获取四维相空间数据，使用理查德森露西算法对空间三维体积进行重建。在一些可选的实施例中，所述时空联合双向循环重建模块，包括：数据方向判定单元，用于进行光场图像数据方向的判定，首先按照时间从前到后的顺序，确定数据输入方向，当输入到最后一帧时，再将时间反方向，数据方向为从最后一帧到第一帧；滑动窗口读取单元，用于滑动窗口读取数据，根据所述数据方向判定单元判定的数据方向，每次滑动读取对应于一个体积的扫描数据；时间权重交错单元，用于根据样本运动速率，确定时间权重；相空间数据提取单元，用于将加权后的光场图像数据进行像素重新排列，并进行空间上采样，获取四维相空间数据；空间三维初始化单元，用于对空间三维体积进行初始化；空间三维重建单元，用于使用理查德森露西算法对空间三维体积进行重建。在一些可选的实施例中，所述扫描光场采集模块包括：样本、扫描光场单元及图像传感器，所述样本的信息转化为光信号后通过所述扫描光场单元生成带有亚像素平移的光场图像数据，并经所述图像传感器进行采集，获得扫描光场数据堆栈。在一些可选的实施例中，所述预处理模块包括：数据修正单元，用于对所述光场图像数据进行校正，使其符合光场成像的物理模型；扫描光场时间排序单元，用于将校正后的光场图像数据按照时间顺序进行排序。在一些可选的实施例中，所述数据修正单元包括：旋转子单元，用于对所述光场图像数据进行基于插值算法的旋转，使其符合光场成像的物理模型；裁剪子单元，用于对所述光场图像数据进行裁剪，去除多余的边界；平移子单元，用于对所述光场图像数据进行像素平移或亚像素平移。在一些可选的实施例中，所述扫描光场时间排序单元，包括：扫描图像单张分离子单元，用于将对应一个体积的光场图像数据按不同扫描平移量分离；构建时序堆栈子单元，用于将所述扫描图像单张分离子单元分离后的二维数据按采集时间排序，组成时序堆栈。在一些可选的实施例中，所述时间权重交错单元包括：时间权重计算子单元，用于通过样本的运动速率估计时间权重；时间权重赋值子单元，用于将时间权重赋值给光场图像数据。在一些可选的实施例中，所述相空间数据提取单元包括：像素重新排列子单元，用于将光场图像数据转化为四维相空间数据；上采样插值子单元，用于将四维相空间数据进行上采样，以用于三维重建中孔径融合。在一些可选的实施例中，时空联合优化重建方法，包括：S1：将样本的信息转化为光信号，再转化为光场图像数据并采集所述光场图像数据，对所述光场图像数据进行预处理后，将对应一个体积的光场图像数据按不同扫描平移量分离，并将分离后的二维数据按采集时间排序，构建图像堆栈；S2：判定光场图像数据的方向，根据步骤S1的时间顺序从前到后的顺序，确定数据输入方向，当输入到最后一帧时，再将时间反方向，数据方向为从最后一帧到第一帧，并将当前数据流格式输入至步骤S3；S3：滑动窗口以读取数据，对步骤S2中确定的数据流和数据方向，进行数据读取；S4：根据样本运动速率，确定时间权重，将时间权重赋值给光场图像数据；S5：将加权后的光场图像数据进行像素重新排列，并进行空间上采样插值，转化成四维相空间数据；S6：使用理查德森露西算法对空间三维体积进行重建；S7：判断是否达到理查德森露西算法迭代上限，若是达到，则结束，否则返回步骤S3。本专利技术所带来的有益效果：加入时空联合约束，优化了传统重建算法，大大加快了重建速度，有效降低三维重建时间，并恢复了体成像时间分辨率，即扫描所牺牲的时间分辨率，同时消除了由于样本过快变化带来的运动模糊和伪影，从而提升了扫描光场显微成像系统的性能，扩展其在生物组织高速捕捉等场景下的应用；对于整个时间延时三维视频，时间双向循环算法主要利用了四维信息在时间维度的连续性与冗余性，能够提升整体的信噪比。附图说明图1是本专利技术时空联合优化重建系统的原理框图；图2是本专利技术时空联合优化重建方法的流程示意图；图3是线虫组蛋白有无时空联合优化的三维重建效果对比图。具体实施方式以下描述和附图充分地展示出本专利技术的具体实施方案，以使本领域的技术人员能够实践它们。其他实施方案可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。如图1所示，在一些说明性的实施例中，提供一种基于扫描光场显微成像系统的时空本文档来自技高网...

【技术保护点】
1.时空联合优化重建系统，其特征在于，包括：/n扫描光场采集模块，用于将样本的信息转化为光信号，再转化为光场图像数据并采集所述光场图像数据，以获得扫描光场数据堆栈；/n预处理模块，用于将所述光场图像数据进行预处理，校正所述光场图像数据以符合物理模型，并按照时间顺序构建图像堆栈；/n时空联合双向循环重建模块，用于判定光场图像数据方向，依据所述光场图像数据方向滑动窗口读取数据，并根据样本运动速率确定时间权重，将加权后的光场图像数据进行像素重新排列并进行空间上采样以获取四维相空间数据，使用理查德森露西算法对空间三维体积进行重建。/n

【技术特征摘要】
1.时空联合优化重建系统，其特征在于，包括：
扫描光场采集模块，用于将样本的信息转化为光信号，再转化为光场图像数据并采集所述光场图像数据，以获得扫描光场数据堆栈；
预处理模块，用于将所述光场图像数据进行预处理，校正所述光场图像数据以符合物理模型，并按照时间顺序构建图像堆栈；
时空联合双向循环重建模块，用于判定光场图像数据方向，依据所述光场图像数据方向滑动窗口读取数据，并根据样本运动速率确定时间权重，将加权后的光场图像数据进行像素重新排列并进行空间上采样以获取四维相空间数据，使用理查德森露西算法对空间三维体积进行重建。


2.根据权利要求1所述的时空联合优化重建系统，其特征在于，所述时空联合双向循环重建模块，包括：
数据方向判定单元，用于进行光场图像数据方向的判定，首先按照时间从前到后的顺序，确定数据输入方向，当输入到最后一帧时，再将时间反方向，数据方向为从最后一帧到第一帧；
滑动窗口读取单元，用于滑动窗口读取数据，根据所述数据方向判定单元判定的数据方向，每次滑动读取对应于一个体积的扫描数据；
时间权重交错单元，用于根据样本运动速率，确定时间权重；
相空间数据提取单元，用于将加权后的光场图像数据进行像素重新排列，并进行空间上采样，获取四维相空间数据；
空间三维初始化单元，用于对空间三维体积进行初始化；
空间三维重建单元，用于使用理查德森露西算法对空间三维体积进行重建。


3.根据权利要求2所述的时空联合优化重建系统，其特征在于，所述扫描光场采集模块包括：样本、扫描光场单元及图像传感器，所述样本的信息转化为光信号后通过所述扫描光场单元生成带有亚像素平移的光场图像数据，并经所述图像传感器进行采集，获得扫描光场数据堆栈。


4.根据权利要求3所述的时空联合优化重建系统，其特征在于，所述预处理模块包括：
数据修正单元，用于对所述光场图像数据进行校正，使其符合光场成像的物理模型；
扫描光场时间排序单元，用于将校正后的光场图像数据按照时间顺序进行排序。


5.根据权利要求4所述的时空联合优化重建系统，其特征在于，所述数据修正单元包括：
...

【专利技术属性】
技术研发人员：卢志，吴嘉敏，肖红江，
申请(专利权)人：北京优科核动科技发展有限公司，
类型：发明
国别省市：北京;11