使用FPGA加速处理结构光照明光切片荧光图像的方法技术

本发明专利技术公开了一种使用FPGA加速处理结构光照明光切片荧光图像的方法，其包括循环的以下步骤：1）PC端通过PCIE接口加载初始化配置文件到FPGA图像采集设备中，然后FPGA采集设备初始化后等待PC端发送采集触发信号；2）FPGA采集设备接收到PC端发送的采集触发信号后，进行图像采集，此时相机和空间光调制器进行同步，采集及存储相位的图像；3）将采集到相位的三张图像按以下公式（1.9）进行重建，然后存储到存储单元中；（1.9）；4）PC端将FPGA采集设备中的重建的图像通过DMA通道进行实时显示。本发明专利技术有效地提高了成像速度，解决了现有技术中层切重建速度慢，不利于分子动态过程的研究的问题。

【技术实现步骤摘要】

本专利技术涉及一种FPGA图形硬件加速重构的方法，特别涉及一种使用FPGA加速处理结构光照明光切片荧光图像的方法。
技术介绍
在研究生物分子动态过程方面，非侵入式的显微成像方法是一种不可或缺的技术手段，其中传统荧光显微镜在非侵入式显微成像被普遍应用到细胞生命活动过程的研究中。但是，随着生命科学的发展，对时间及空间的分辨率要求越来越高，存在信噪比差、成像深度小和成像速度低问题的荧光显微镜显微镜技术已经不能满足研究的需求。近年来，光切片显微镜的发展弥补了传统显微镜的缺陷。光片显微镜实际上通过在样品上加载周期性条纹进行光学调制，从光学上说，当聚焦准确时栅格能返回一个强信号，而离焦时则返回弱信号。光切片重构算法能以栅格的方式消除来自焦平面之上或之下的弱信号。这样得到的图像完全去除了杂散光以及离焦信息，从而重构出高信号比的荧光图像。传统的光切片荧光显微镜多采用相机直接成像，这样非焦平面的荧光使图像信噪比变差，而采用结构光照明的方法，再通过图像处理重构出层析图像，这样非焦平面的荧光信号被滤除掉，使得图像细节的信噪比大大提高。目前商用的显微镜公司有光切片荧光模块可以实现光切片功能，例如奥斯巴斯的OptiGrid及Zeiss公司的Apo Tome。然而图像重建仍然采用传统的在计算机上重构，这样不仅消耗了计算的资源，而且限制了成像速度。导致图像在时间上的延时，不利于生物分子动态过程方面的研究。同时，目前商用的层切荧光显微镜，通过在荧光显微镜中增加结构光模块的方式实现结构光照明，从而实现层切效果。例如奥斯巴斯的OptiGrid及Zeiss公司的Apo Tome。在图像重建过程中，加载栅格的线条投射到标本上并程控性地移动位置，栅格在标本上的移动垂直于栅格线条。一幅构造光学图像实际上是由瞬间获取的三幅不同栅格图像组成的。第一幅栅格图像在任意位置获取，然后栅格线性地移动相当于1/3栅格条纹间隔的距离获取第二幅图像，最后再重复一次1/3的移动获取第三幅图像。以上这些运作都在瞬间完成，生成一幅构造光学图像或单层光学切片。奥斯巴斯的OptiGrid光切片模块图像重建时间主要消耗在图像采集及图像重构过程中，虽然该方案采用了高速相机，但是层且图像重构速度依然很慢，大约需要1s。
技术实现思路
本专利技术的目的就是针对上述问题，提供一种使用FPGA加速处理结构光照明光切片荧光图像的方法，其可以有效地解决现有技术中层切重建速度慢，不利于分子动态过程的研究的问题。为了达到上述目的，本专利技术的技术方案如下：使用FPGA加速处理结构光照明光切片荧光图像的方法，其包括循环的以下步骤：1）PC端通过PCIE接口加载初始化配置文件到FPGA图像采集设备中，然后FPGA采集设备初始化后等待PC端发送采集触发信号；2）FPGA采集设备接收到PC端发送的采集触发信号后，进行图像采集，此时相机和空间光调制器进行同步，采集及存储相位的图像；3）将采集到相位的三张图像按以下公式（1.9）进行重建，然后存储到存储单元中；（1.9）4）PC端将FPGA采集设备中的重建的图像通过DMA通道进行实时显示。进一步地，上述公式（1.9）由以下过程获得：根据菲涅尔衍射公式及薄透镜成像公式，并略去常数项和位相因子，得到探测面上的光强为:(1.1)其中，激光照在透射光栅上所产生由投射光栅决定的结构光图案表示为；经过透镜放大率为（M1）的光路（L1）和光路（L2）后，该结构光图案成像在光路（L2）的焦面上，焦面上结构光图案由、照明光路（L1+L2）的调制传递函数MTF决定；处于光路（L2）的焦面上的荧光分子密度为；样品受激产生荧光，经过放大率为（M2）的荧光路（L1）和光路（L2）后，由位于光路（L3）焦平面的探测器探测，探测得到的荧光强度分布为；照明光路（L1+L2）的振幅点扩散函数为，探测光路（L2+L3）的振幅点扩散函数为；光栅面、样品面以及探测器面的坐标分别表示为、、；假设余弦光栅对应波矢方向为x轴方向，则激发光经过它所产生结构光强度分布可以表示为： (1.2)其中m为光栅的调制深度，f为光栅频率，为光栅相位；将公式（1.2）代入公式（1.1），得到：+（1.3）其中：（1.4a）（1.4b）从公式（1.4）可以看出，中第一项不随结构光图案的频率或者相位而变化，以下用表示这个常量，中第二项随着结构光图案的频率f及相位变化，以下表示为，由此将，改写成：（1.5）公式（1.5）中，能力，有层切能力，对公式（1.5）进一步分解：（1.6）那么层切项为：（1.7）由公式（1.6）可以看出，随光栅位相变化而变化，因此通过光栅在不同相位下对样品成像，求出和，进而求解出；沿光栅波矢方向移动光栅，使光栅相位分别为，得到三个像、、对应三个方程：=+ (1.8a)(1.8b)(1.8c)将公式（1.6）-（1.8a、b、c）方程联合，最终得到具有层切能力的图像：（1.9），即公式（1.9）。进一步地，上述步骤3）中，相机和空间光调制器进行同步即：空间光调制器加载的相位为的结构光时进行图像采集，然后把采集到图像存储到FPGA采集设备的存储单元中，以此类推，采集及存储相位的图像。本专利技术提供的使用FPGA加速处理结构光照明光切片荧光图像的方法，采用FPGA作为协处理器，通过硬件来加速层切图像的创建，经测试成像时间在10ms左右，相比较奥斯巴斯的OptiGrid成像时间可以提高100倍，从而有效地提高了成像速度，解决了现有技术中层切重建速度慢，不利于分子动态过程的研究的问题。附图说明图1为本专利技术的使用FPGA加速处理结构光照明光切片荧光图像的方法所涉及的荧光显微镜成像系统的硬件框图。图2为本专利技术的使用FPGA加速处理结构光照明光切片荧光图像的方法所涉及的程序执行流程图。图3为本专利技术的使用FPGA加速处理结构光照明光切片荧光图像的方法所涉及的结构光照明层切图像原理图。具体实施方式下面结合附图详细说明本专利技术的优选实施方式。分析传统的荧光显微镜的光学传递函数（OTF）可以知道，只有零频分量不会随着离焦距离的变化而变化。也就是说，传统的荧光显微镜获得的图像中除了零频分量以外，其余分量都具有层切能力。结构光照明实现层切就是建立在有效去除零频分量的基础上的方法。FPGA具有丰富的逻辑资源，算法模块及硬核模块，以全数据流的形式进行处理，使硬件以空间全面积并行的方法提升算法速度，同时它的可定制性和可重构性适合用来进行图像重建。荧光显微镜成像系统主要由相机、空间光调制器、FPAG图像采集处理单元及主控计算机组成。硬件总体结构框图如图1所示，相机主要负责采集荧光图像，空间光调制器用来产生相位可调节的结构光条纹，主控计算机用来发送采集命令、配置空间光调制器及实时显示图像等功能。FPGA图像采集处理单元用来采集图像及处理图像，并且实时的讲采集处理的图像回传给计算机进行显示。FPGA图像采集处理单元首先接收上位机PC图像采集指令，进行相机及空间光调制的参数配置，然后同步触发相机和空间光调制器进行结构光条纹相位分别为的图像采集，相机采集到的图像通过Camera Link接口将采集到的图像存储在FPGA的存储单元，FPGA首先将采集到的三个相位的荧光图像进行排序、滤波等图像预处理后，最后通过图像处理单元，根据公式（2.9）将本文档来自技高网...

【技术保护点】
使用FPGA加速处理结构光照明光切片荧光图像的方法，其特征在于：包括循环的以下步骤：1）PC端通过PCIE接口加载初始化配置文件到FPGA图像采集设备中，然后所述FPGA采集设备初始化后等待所述PC端发送采集触发信号；2）所述FPGA采集设备接收到所述PC端发送的所述采集触发信号后，进行图像采集，此时相机和空间光调制器进行同步，采集及存储相位的图像；3）将采集到相位的三张图像按以下公式（1.9）进行重建，然后存储到所述存储单元中；（1.9）4）所述PC端将所述FPGA采集设备中的重建的图像通过DMA通道进行实时显示。

【技术特征摘要】
1.使用FPGA加速处理结构光照明光切片荧光图像的方法，其特征在于：包括循环的以下步骤：1）PC端通过PCIE接口加载初始化配置文件到FPGA图像采集设备中，然后所述FPGA采集设备初始化后等待所述PC端发送采集触发信号；2）所述FPGA采集设备接收到所述PC端发送的所述采集触发信号后，进行图像采集，此时相机和空间光调制器进行同步，采集及存储相位的图像；3）将采集到相位的三张图像按以下公式（1.9）进行重建，然后存储到所述存储单元中；（1.9）4）所述PC端将所述FPGA采集设备中的重建的图像通过DMA通道进行实时显示。2.根据权利要求1所述的使用FPGA加速处理结构光照明光切片荧光图像的方法，其特征在于：所述公式（1.9）由以下过程获得：根据菲涅尔衍射公式及薄透镜成像公式，并略去常数项和位相因子，得到探测面上的光强为:(1.1)其中，激光照在透射光栅上所产生由投射光栅决定的结构光图案表示为；经过透镜放大率为（M1）的光路（L1）和光路（L2）后，该结构光图案成像在光路（L2）的焦面上，焦面上结构光图案由、照明光路（L1+L2）的调制传递函数MTF决定；处于光路（L2）的焦面上的荧光分子密度为；样品受激产生荧光，经过放大率为（M2）的荧光路（L1）和光路（L2）后，由位于光路（L3）焦平面的探测器探测，探测得到的荧光强度分布为；照明光路（L1+L2）的振幅点扩散函数为...

【专利技术属性】
技术研发人员：梁永，李思黾，陈小虎，金鑫，文刚，
申请(专利权)人：中国科学院苏州生物医学工程技术研究所，
类型：发明
国别省市：江苏;32