用于改进从单分子定位显微术获取的衍射受限图像重构密集超分辨率图像的方法、设备和计算机程序技术

本发明专利技术涉及从至少一个低信息含量的图像，例如从通过单分子定位显微术获得的衍射受限图像序列，重构合成的密集超分辨率图像。在获得这样的衍射受限图像序列之后，根据单分子定位显微术图像处理，从所获得的衍射受限图像序列重构稀疏定位图像。将重构的稀疏定位图像和/或相应的低分辨率宽场图像输入到人工神经网络，并从人工神经网络获得合成的密集超分辨率图像，该人工神经网络是利用训练数据根据训练目标函数被训练的，该训练数据包括稀疏定位图像、至少部分对应的低分辨率宽场图像、和对应的密集超分辨率图像的三元组，该训练目标函数比较密集超分辨率图像和人工神经网络的对应输出。

【技术实现步骤摘要】
【国外来华专利技术】用于改进从单分子定位显微术获取的衍射受限图像重构密集超分辨率图像的方法、设备和计算机程序
本专利技术总体上涉及显微术和图像处理领域。更具体地，本专利技术涉及如下的方法、设备和计算机程序，其用于改进从通过单分子定位显微术获取的衍射受限图像到密集超分辨率图像(即，具有超出衍射限制的分辨率的图像)的重构，使得可以减少用于重构密集超分辨率图像的衍射受限图像的获取时间，而不会显著影响重构图像的质量和分辨率。
技术介绍
克服了分辨率的衍射限制(约200至300nm)的荧光显微术方法使得可以对具有接近分子尺度的分子特异性的生物结构进行成像。在超分辨率显微术方法中，基于单分子定位的那些方法(例如PALM(光激活定位显微术)，STORM(随机光学重构显微术)或PAINT(用于纳米拓扑成像的点累积))由于它们的极高空间分辨率且易于实施而特别有吸引力。在这些单分子定位显微术(SMLM)方法中，荧光团的小随机子集被成像于许多连续的衍射受限图像中，被高精度地计算检测和定位，并且组合的荧光团位置被用于生成例如被定义为独立位置(xi,yi)的2D直方图的密集超分辨率图像(或密集图像)。实际上，作为被表示为K的单个密集超分辨率图像的基础的衍射受限图像(也称为原始图像)的数量通常在1000到100000之间。此约束遵循必须同时满足以确保高空间分辨率的两个条件：-每个衍射受限图像的激活荧光团的数量(被用ρ指示)少，以避免衍射受限点之间重叠，并允许各个分子的精确定位。ρ的值通常在10到100之间(此数字取决于传感器的大小和分辨率，它必须足够小以使得来自激活荧光团的衍射受限光斑不会重叠或仅很少重叠)，并且-独立荧光团位置(即对应于不同荧光团的位置)的数量(被表示为N(其中N＝K×ρ))大，以确保对底层生物结构进行足够密集的采样。图1以STORM图像处理为例说明了从衍射受限图像重构密集超分辨率图像，每个衍射受限图像均包含少量的表现为衍射受限荧光点的活性荧光团。如图所示，包含分别在时间t1到tk拍摄的K个衍射受限图像(或原始图像)的集合105的图像100-1至100-K被用于根据被表示为110的STORM图像处理来重构密集超分辨率图像115(密集超分辨率图像115可以称为STORM图像)，该STORM图像处理即为荧光团检测、具有子像素和次衍射精度的荧光团定位，并显示独立位置(xi,yi)的2D直方图。为了说明起见，每个原始图像的表现为衍射受限荧光点的荧光团的平均数n可以大约等于15，并且用于重构一个STORM图像的原始图像数K可以等于80000。SMLM图像获取和处理特别在Betzig,E.等人的“imagingintracellularfluorescentproteinsatnanometerresolution(以纳米分辨率成像细胞内荧光蛋白)”，Science(科学)(80-.)，313，1642-1645(2006)中进行了描述。STORM图像的获取和处理特别地在Rust，M.J.，Bates，M.&Zhuang，X的“Sub-diffraction-limitimagingbystochasticopticalreconstructionmicroscopy(通过随机光学重构显微术(STORM)进行的亚衍射限制成像)”，NatMethods3，793-795(2006)中进行了描述。一项早期研究已将由于采样引起的分辨率限制定义为最接近的独立位置之间的平均距离的两倍。为了实现表示为R的给定分辨率，奈奎斯特准则会产生表示为NNyq(R)的最小数量的荧光团位置。但是，近期的重新分析和与电子显微镜数据的比较得出结论，实际上需要至少五倍以上的分子位置(N5×Nyq(R)＝5×NNyq(R))。上述两个条件所暗示的大的图像数量(K＝N/ρ)使单分子定位显微术固有地效率低下且速度慢，从而限制了其在高产量成像(其中，研究领域中的许多视场(FOV)要被成像)中以及对活细胞动态进行成像中的潜力。结果，大多数单分子定位显微术研究被局限于分析少量细胞(通常少于十个)以及与采集时间相比移动缓慢的活细胞成像。已经探索了多种方法来加速定位显微术。使用具有快速切换动力学的明亮染料、高功率激光器和快速照相机使得可以在不损失信噪比的情况下最小化曝光时间，但是达到亚毫秒级曝光仍然具有挑战性，并且强辐射加剧了活细胞成像中的光毒性和光漂白，从而缩短了观察期。另一种方法是增加每个图像的表现为衍射受限荧光点的活性荧光团的数量ρ，从而有可能在不减少独立荧光团位置的数量N的情况下减少图像的数量K，并应用可以处理重叠荧光点的定位算法。但是，这些重叠必定会损害荧光团定位的检测精度，这意味着时间分辨率的任何提高都以降低空间分辨率为代价。因此，需要改进由单分子定位显微术获得的原始图像重构密集超分辨率图像，以减少总处理时间，尤其是减少获取用于重构密集超分辨率图像的原始图像所需的时间。
技术实现思路
面对这些限制和限制，专利技术人提供了用于改进从由单分子定位显微术获取的衍射受限图像重构密集超分辨率图像的方法、设备和计算机程序。本专利技术的一个宽泛的目的是弥补如上所述的现有技术的缺点。根据本专利技术的第一方面，提供了一种用于从至少一个低信息含量图像重构至少一个合成的密集超分辨率图像的计算机方法，该方法包括以下步骤：-获得至少一个低信息含量图像；-将所获得的至少一个低信息含量图像输入到人工神经网络，以及-从所述人工神经网络获得合成的密集超分辨率图像，其中，所述人工神经网络已经利用训练数据根据训练目标函数被训练，所述训练数据包括从由单分子定位显微术获取的衍射受限图像序列获得的稀疏定位图像、至少部分对应的低分辨率宽场图像和对应的密集超分辨率图像的三元组，该训练目标函数比较密集超分辨率图像和人工神经网络的对应输出。特别地，所要求保护的方法使得可能以数量小得多的原始图像重构与根据标准算法重构的密集超分辨率图像(例如密集SMLM图像)(例如根据STORM图像处理重构的密集SMLM图像)具有大致相同质量的合成的密集超分辨率图像(例如，合成密集SMLM图像)，导致获取周期短得多。重构的稀疏定位图像可以是重构的稀疏SMLM图像。根据实施例，所述至少一个低信息含量图像包括根据单分子定位显微术图像处理从衍射受限图像序列重构的稀疏定位图像。根据实施例，该方法进一步包括以下步骤：-获得衍射受限图像序列；以及-从所获得的衍射受限图像序列重构稀疏定位图像。根据实施例，所述至少一个低信息含量图像包括低分辨率宽场图像。根据实施例，低分辨率宽场图像至少部分地对应于用于重构稀疏定位图像的衍射受限图像。根据实施例，该方法还包括计算错误图的步骤，所述错误图表示作为合成的密集超分辨率图像中的位置的函数而发生的错误的概率。根据实施例，计算错误图的步骤包括以下步骤：从合成的密集超分辨率图像生成低分辨率图像，所生成的低分辨率图像被与输入到人工神经网本文档来自技高网...

【技术保护点】
1.一种用于从至少一个低信息含量图像(SMLM(k

【技术特征摘要】
【国外来华专利技术】20170731 EP 17306022.9;20180301 EP 18305225.71.一种用于从至少一个低信息含量图像(SMLM(ki)，Li)重构至少一个合成的密集超分辨率图像(ANNA-SMLM(ki))的计算机方法，至少一个低信息含量图像包括低分辨率宽场图像(Li)，该方法包括以下步骤：
-获得至少一个低信息含量图像；
-将所获得的至少一个低信息含量图像输入到人工神经网络(2000)，以及
-从所述人工神经网络获得合成的密集超分辨率图像，
其中，所述人工神经网络已经利用训练数据根据训练目标函数被训练，所述训练数据包括从通过单分子定位显微术获取的衍射受限图像序列获得的稀疏定位图像(SMLM(ki))、至少部分对应的低分辨率宽场图像(Li)和对应的密集超分辨率图像(SMLM(ki))的三元组，该训练目标函数比较密集超分辨率图像和人工神经网络的对应输出。


2.根据权利要求1所述的方法，其中，所述至少一个低信息含量图像还包括根据单分子定位显微术图像处理从衍射受限图像序列重构的稀疏定位图像(SMLM(ki))。


3.根据权利要求2所述的方法，进一步包括以下步骤：
-获得衍射受限图像的序列(200)；以及
-从所获得的衍射受限图像序列重构稀疏定位图像(210)。


4.根据权利要求2或3所述的方法，其中，所述低分辨率宽场图像至少部分地对应于用于重构稀疏定位图像的衍射受限图像。


5.根据权利要求4所述的方法，还包括计算错误图的步骤，所述错误图表示作为合成的密集超分辨率图像中的位置的函数而发生的错误的概率。


6.根据权利要求5所述的方法，其中，计算错误图的步骤包括以下步骤：从合成的密集超分辨率图像生成低分辨率图像(L'(k))，所生成的低分辨率图像被与输入到人工神经网络的低分辨率宽场图像进行比较。


7.根据权利要求1至6中任一项所述的方法，其中，所述训练目标函数包括用以选择要输入到人工神经网络中的训练数据的子集的至少一个参数。


8.根据权利要求1至7中的任一项所述的方法，其中，所述训练目标函数包括基于条件生成式对抗网络类型的人工神经网络的目标函数中的至少一个，并且其中输入人工神经网络的低分辨率宽场图像被用作所述条件生成式对抗网络的条件。


9.根据权利要求1至8中任一项所述的方法，其中，所述稀疏定位图像是3D稀疏定位图像，并且所述密集超分辨率图像是3D密集超分辨率图像。


10.根据权利要求1至8中任一项所述的方法，其中，所述稀疏定位图像是多色稀疏定位图像，并且所述密集超分辨率图像是多色密集超分辨率图像。


11.一种用于从通过单分子定位显微术获取的衍射受限图像序列重构至少一个合成的密集超分辨率图像(ANNA-SMLM’(ki))的计算机方法，该方法包括以下...

【专利技术属性】
技术研发人员：C·吉玛，欧阳伟，
申请(专利权)人：巴斯德研究所，
类型：发明
国别省市：法国;FR