一种用于超分辨定位显微成像的数据处理装置及方法制造方法及图纸

本发明专利技术公开了一种用于超分辨定位显微成像的数据处理装置及方法，数据处理装置包括数据预处理电路和第一处理器。数据预处理电路包括探测器接口电路、多路复用电路、FPGA和第一接口电路。探测器接口电路快速获取并输出由探测器采集的荧光图。多路复用电路复制探测器采集的荧光图，至少一路为通路，不影响原电路结构。FPGA从荧光图中提取荧光分子子区域，并由第一接口电路将荧光分子子区域传输给第一处理器。第一处理器对荧光分子子区域进行定位处理，获得超分辨重建图。由于FPGA能够实现快速从荧光图中提取荧光分子子区域，并将其传输至第一处理器，由第一处理器获得超分辨重建图像，使得数据处理装置实现高精度超分辨图像实时重建。

【技术实现步骤摘要】
一种用于超分辨定位显微成像的数据处理装置及方法
本专利技术属于超分辨定位显微成像
，更具体地，涉及一种用于超分辨定位显微成像的数据处理装置及方法。
技术介绍
超分辨定位成像技术已可实现达到20nm的空间分辨率，可以从分子水平研究细胞内复杂的工作机制，已成为生命科学研究领域不可或缺的研究工具。随着探测器技术的快速发展，人们希望在不牺牲成像视场和空间分辨率的情况下，提高超分辨定位成像的时间分辨率。为提高超分辨定位显微成像的时间分辨率，快速发展的弱光探测器(sCMOS)已经做到理论420Mpixel/s的图像采集速率。然而，目前电脑对于采集到的数据计算速度却远不能做到实时处理。当前的主要系统架构是将sCMOS探测器采集到的数据，直接连接到计算机，由计算机的中央处理器(CPU)和图形处理器(GPU)联合计算，通过超分辨定位算法来实现图像的处理。依据不同的算法，所得到的超分辨图的精度和速度有很大差别。但均不能实现实时处理。对于sCMOS探测器而言，图像数据采集的速率远超算法的计算速率。即使是精度较低的代数算法，也需经过较长时间的数据处理才能得到一张超分辨重建图，极大地制约了超分辨定位显微成像技术的发展。因此，专利技术一种既能满足高精度的空间分辨率又能满足实时数据处理的方法成为本领域的迫切需求。
技术实现思路
针对现有技术的缺陷，本专利技术提供的一种用于超分辨定位显微成像的数据处理装置，旨在解决现有处理装置不能兼顾高精度的空间分辨率又能满足实时数据处理的技术问题。为实现上述目的，本专利技术提供了一种用于超分辨定位显微成像的数据处理装置，包括数据预处理电路以及第一处理器；数据预处理电路包括：探测器接口电路，用于采集并传输荧光图；FPGA，其输入端与探测器接口电路的输出端连接，用于从荧光图中提取荧光分子子区域；以及第一接口电路，其输入端与FPGA的输出端连接，用于将荧光分子子区域传输至第一处理器；第一处理器包括：存储器，其第一端与第一接口电路的输出端连接，用于存储荧光分子子区域；CPU，用于向GPU发送定位指令，并接收GPU输出的超分辨重建图；GPU，其第一端与CPU的第一端连接，其第二端与存储器的第二端连接，用于根据定位指令对荧光分子子区域进行定位处理，获得超分辨重建图，并将超分辨重建图传输至CPU，超分辨重建图由最终最终在图像显示器上显示出来。本专利技术提供的数据处理装置，由数据预处理电路从荧光图中提取荧光分子子区域，将荧光分子子区域传输至第一处理器，第一处理器中的CPU与GPU仅完成对荧光分子子区域的定位处理，能够提高第一处理器获得超分辨重建图的效率。通过探测器接口电路快速从探测器中获取荧光图，由FPGA内部提供的硬件电路，能够实时从大量的荧光图中提取小数据量的荧光分子子区域，并由第一接口电路将荧光分子子区域快速传输至第一处理器。因此，本专利技术提供的数据处理装置既能实现高精度超分辨图像实时重建。进一步地，数据预处理电路中还包括：多路复用电路，其输入端与探测器接口电路输出端连接，其第一输出端与FPGA的输入端连接，其第二输出端用于将荧光图传输至第二处理器，多路复用电路用于接收并将荧光图复制为两路荧光图输出。多路复用电路实现将荧光图分为多路荧光图，一路荧光图传送至数据预处理电路，一路荧光图传送至第二处理器，由第二处理器对荧光图进行超分辨定位处理，使得本专利技术提供的数据处理装置与现有的数据处理装置能够兼容，用户可以保留原图像处理方式。进一步地数据预处理电路中还包括：多路复用电路，其输入端与探测器接口电路输出端连接，其第一输出端与FPGA的输入端连接，其第二输出端用于将荧光图传输至第二处理器，其第三端至第N端用于作为扩展接口，多路复用电路用于接收并将荧光图复制为多路荧光图输出，其中，N≥3。进一步地，FPGA包括：荧光图读取模块，其输入端与探测器接口电路的输出端连接，用于获取荧光图，并将荧光图分为三路荧光图输出；降噪处理模块，其输入端与所述荧光图读取模块的第一输出端连接，用于对荧光图进行降噪处理，输出第一图像；去背景处理模块，其输入端与降噪处理模块的输出端连接，用于对第一图像进行去背景处理，输出第二图像；背景波动强度获取模块，包括第三子区域获取电路，其输入端与荧光图读取模块第二输出端连接，用于从荧光图中提取出第三当前处理子区域；背景波动强度获取电路，其输入端与第三子区域获取电路的输出端连接，用于获得第三当前处理子区域的局部标准差，并将第三当前处理子区域的局部标准差作为第三当前处理子区域的背景波动强度，用作荧光分子子区域判断的阈值；以及子区域判断与提取模块，包括第四子区域获取电路，其输入端与去背景处理模块的输出端连接，用于从第二图像中提取第四当前处理子区域；子区域判断电路，其第一输入端与第四子区域获取电路的输出端连接，其第二输入端与背景波动强度获取电路的输出端连接，将第三当前处理子区域的背景波动强度作为第四当前处理子区的背景波动强度，根据第四当前处理子区域的背景波动强度和第四当前处理子区域的信号强度确定第四当前处理子区域是否存在荧光分子，并输出子区域提取控制信号；备选子区域获取电路，其输入端与所述荧光图读取模块第三输出端连接，用于从荧光图中提取备选子区域；子区域提取电路，其输入端与备选子区域提取电路的输出端连接，其控制端与子区域判断电路输出端连接，根据子区域提取控制信号确定备选子区域是否为荧光分子子区域。背景波动强度获取模块中对第三当前处理子区域进行局部标准差处理，获得第三当前处理子区域的背景波动强度，仅用到局部的图像信息，使得每个子区域都有一个背景波动强度，而不是整个图像中所有子区域共享一个背景波动强度，可以在整幅图像具有不均匀背景的情况下使得所提取的荧光分子子区域更加准确，具有更好的适应性，由FPGA中电路完成从荧光图中提取荧光分子子区域，相较于现有的数据处理装置采用CPU与GPU联合处理荧光图，数据处理速率明显提升。进一步地，背景波动强度获取电路包括：像素比较器，其输入端与所述第三子区域获取电路的输出端连接，用于根据第三当前处理子区域各像素的灰度值从第三当前处理子区域中获得筛选像素；均值加法器，其输入端与所述像素比较器的输出端连接，用于获得筛选像素的平均值；减法器，其第一输入端与所述像素比较器的输出端连接，其第二输入端与均值加法器的输出端连接，用于获得各筛选像素与筛选像素的平均值的差值；以及局部标准差加法器，其输入端与减法器的输出端连接，用于将各筛选像素与筛选像素的平均值的差值求和，获得第三当前处理子区域的局部标准差。本专利技术提供的背景波动强度获取电路，通过像素比较器根据第三当前处理子区域的灰度值获得筛选像素，用筛选像素进行局部标准差计算，可以提高背景波动强度获取电路处理速度。进一步地，子区域判断电路包括：第一像素比较器，其输入端与所述第四子区域获取电路的输出端连接，用于判断第四当前处理子区域的中心像素灰度值是否为第四当前处理子区域各像素灰度值中最大值，并根据判断结果输出第一电平值；第二像素比较器，其一输入端与所述第四子区域获取电路输出端连接，其另一输入端与所述背景波动强度获取电路输出端连接，用于根据第四当前处理子区域的中心像素灰度值和第四当前处理子区域的背景波动强度输出第二电平值；四邻域像素加法器，其输入端与所述第四子区域本文档来自技高网...

【技术保护点】
一种用于超分辨定位显微成像的数据处理装置，其特征在于，包括：数据预处理电路以及第一处理器；所述数据预处理电路包括：探测器接口电路，用于采集并传输荧光图；FPGA，其输入端与所述探测器接口电路的输出端连接，用于从荧光图中提取荧光分子子区域；以及第一接口电路，其输入端与所述FPGA的输出端连接，用于将荧光分子子区域传输至第一处理器；所述第一处理器包括：存储器，其第一端与第一接口电路的输出端连接，用于存储荧光分子子区域；CPU，用于向GPU发送定位指令，并接收GPU输出的超分辨重建图；GPU，其第一端与所述CPU的第一端连接，其第二端与存储器的第二端连接，用于根据所述定位指令对荧光分子子区域进行定位处理，获得超分辨重建图，并将超分辨重建图传输至所述CPU，所述超分辨重建图由最终图像显示器显示。

【技术特征摘要】
1.一种用于超分辨定位显微成像的数据处理装置，其特征在于，包括：数据预处理电路以及第一处理器；所述数据预处理电路包括：探测器接口电路，用于采集并传输荧光图；FPGA，其输入端与所述探测器接口电路的输出端连接，用于从荧光图中提取荧光分子子区域；以及第一接口电路，其输入端与所述FPGA的输出端连接，用于将荧光分子子区域传输至第一处理器；所述第一处理器包括：存储器，其第一端与第一接口电路的输出端连接，用于存储荧光分子子区域；CPU，用于向GPU发送定位指令，并接收GPU输出的超分辨重建图；GPU，其第一端与所述CPU的第一端连接，其第二端与存储器的第二端连接，用于根据所述定位指令对荧光分子子区域进行定位处理，获得超分辨重建图，并将超分辨重建图传输至所述CPU，所述超分辨重建图由最终图像显示器显示。2.如权利要求1所述的数据处理装置，其特征在于，数据预处理电路中还包括：多路复用电路，其输入端与探测器接口电路输出端连接，其第一输出端与所述FPGA的输入端连接，其第二输出端用于将荧光图传输至第二处理器，多路复用电路用于接收并将荧光图复制为两路荧光图输出。3.如权利要求1所述的数据处理装置，其特征在于，数据预处理电路中还包括：多路复用电路，其输入端与探测器接口电路输出端连接，其第一输出端与所述FPGA的输入端连接，其第二输出端用于将荧光图传输至第二处理器，其第三端至第N端均用于作为扩展接口，多路复用电路用于接收并将荧光图复制为多路荧光图输出，其中，N≥3。4.如权利要求1所述的数据处理装置，其特征在于，所述FPGA包括：荧光图读取模块(5)，其输入端与探测器接口电路的输出端连接，用于获取荧光图，并将荧光图分为三路荧光图输出；降噪处理模块(1)，其输入端与所述荧光图读取模块(5)的第一输出端连接，用于对荧光图进行降噪处理，输出第一图像；去背景处理模块(2)，其输入端与降噪处理模块(1)的输出端连接，用于对第一图像进行去背景处理，输出第二图像；背景波动强度获取模块(3)，包括第三子区域获取电路(301)，其输入端与荧光图读取模块(5)第二输出端连接，用于从荧光图中提取出第三当前处理子区域；背景波动强度获取电路(302)，其输入端与第三子区域获取电路(301)的输出端连接，用于获得第三当前处理子区域的局部标准差，并将第三当前处理子区域的局部标准差作为第三当前处理子区域的背景波动强度，用作荧光分子子区域判断的阈值；以及子区域判断与提取模块(4)，包括第四子区域获取电路(401)，其输入端与去背景处理模块(2)的输出端连接，用于从第二图像中提取第四当前处理子区域；子区域判断电路(402)，其第一输入端与第四子区域获取电路(401)的输出端连接，其第二输入端与背景波动强度获取电路(302)的输出端连接，将第三当前处理子区域的背景波动强度作为第四当前处理子区的背景波动强度，根据第四当前处理子区域的背景波动强度和第四当前处理子区域的信号强度确定第四当前处理子区域是否存在荧光分子，并输出子区域提取控制信号；备选子区域获取电路(403)，其输入端与所述荧光图读取模块(5)第三输出端连接，用于从荧光图中提取备选子区域；子区域提取电路(404)，其输入端与备选子区域提取电路(403)的输出端连接，其控制端与子区域判断电路(402)输出端连接，根据子区域提取控制信号确定备选子区域是否为荧光分子子区域。5.如权利要求4所述的数据处理装置，其特征在于，所述背景波动强度获取电路(302)包括：像素比较器(3021)，其输入端与所述第三子区域获取电路(301)的输出端连接，用于根据第三当前处理子区域各像素的灰度值从第三当前处理子区域中获得筛选像素；均值加法器(3022)，其输入端与所述像素比较器(3021)的输出端连接，用于获得筛选像素的平均值；减法器(3023)，其第一输入端与所述像素比较器(3021)的输出端连接，其第二输入端与均值加法器(3022)的输出端连接，用于获得各筛选像素与筛选像素的平均值的差值；以及局部标准差加法器(3024)，其输入端与减法器(3023)的输出端连接，用于将各筛选像素与筛...

【专利技术属性】
技术研发人员：黄振立，桂丹，李路长，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北,42