使用深度学习将二维荧光波传播到表面上的系统和方法技术方案

荧光显微镜方法包括经训练的深度神经网络。将样本的至少一个2D荧光显微镜图像输入到经训练的深度神经网络，其中输入图像附加有数字传播矩阵(DPM)，该数字传播矩阵逐像素地表示样本内的用户定义或自动生成的表面距输入图像的平面的轴向距离。经训练的深度神经网络输出样本的荧光输出图像，该荧光输出图像被数字传播或重新聚焦到用户定义或自动生成的表面。该方法和系统交叉连接不同的成像模态，允许宽视场荧光图像的3D传播以匹配不同样本平面处的共焦显微镜图像。该方法可以用于输出样本内的2D或3D表面的图像的时间序列(例如，延时视频)。时视频)。时视频)。

【技术实现步骤摘要】
【国外来华专利技术】使用深度学习将二维荧光波传播到表面上的系统和方法
[0001]相关申请
[0002]本申请要求于2019年10月8日提交的第62/912,537号的和于2018年12月26日提交的第62/785,012号的美国临时专利申请的优先权，其全部内容通过引用并入本文。根据35 U.S.C.
§
119和任何其它适用的法规要求优先权。


[0003]本
总体上涉及用于获得样品或对象的荧光图像的系统和方法。更具体地，该
涉及荧光显微镜，其通过训练深度神经网络来使用数字图像传播框架，该深度神经网络使用显微图像数据固有地学习控制荧光波传播和时间反转的物理定律，以将2D荧光图像虚拟地重新聚焦到样品内的用户定义的3D表面上，从而使得能够使用单个二维(2D)图像对荧光样品进行三维(3D)成像，而无需任何机械扫描或附加硬件。该框架还可以用于校正样品漂移、倾斜和其他像差，所有这些都在获取单个荧光图像之后数字地执行。该框架还将不同的成像模态彼此交叉连接，使得单个宽场荧光图像的3D重新聚焦能够匹配在不同样品平面处获取的共焦显微镜图像。
背景本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种荧光显微镜方法，包括：提供使用一个或多个处理器由软件执行的经训练的深度神经网络；将样本的至少一个二维荧光显微镜输入图像输入到所述经训练的深度神经网络，其中至少一个输入图像附加有数字传播矩阵(DPM)，所述数字传播矩阵逐像素地表示所述样本内的用户定义或自动生成的表面距所述输入图像的平面的轴向距离；以及从所述经训练的深度神经网络输出所述样本的至少一个荧光输出图像，所述至少一个荧光输出图像被数字地传播或重新聚焦到由所述DPM限定的所述用户定义或自动生成的表面。2.根据权利要求1所述的方法，其中使用多个所述DPM的来自所述经训练的深度神经网络的多个所述荧光输出图像被数字组合，以创建所述样本的体积图像。3.根据权利要求1所述的方法，其中使用多个所述DPM的来自所述经训练的深度神经网络的多个所述荧光输出图像被数字组合，以创建所述样本的扩展景深(EDOF)图像。4.根据权利要求1所述的方法，其中使用至少一个所述DPM的来自所述经训练的深度神经网络的至少一个所述荧光输出图像，被用于创建所述样本的聚焦改善图像。5.根据权利要求1所述的方法，其中来自所述经训练的深度神经网络的多个所述荧光输出图像被数字组合，以在任意用户定义或自动生成的3D表面上创建所述样本的图像。6.根据权利要求1所述的方法，其中来自所述经训练的深度神经网络的多个所述荧光输出图像被数字组合，以扩展用于获得所述输入图像的显微镜的景深。7.根据权利要求1所述的方法，其中来自所述经训练的深度神经网络的所述荧光输出图像，使得能够减少样本体积上的光子剂量或光暴露。8.根据权利要求1所述的方法，其中来自所述经训练的深度神经网络的所述荧光输出图像，使得能够减少样本体积的光漂白。9.根据权利要求1所述的方法，其中将所述样本的所述二维荧光显微镜输入图像的时间序列输入到所述经训练的深度神经网络，其中每个图像附加有数字传播矩阵(DPM)，所述数字传播矩阵逐像素地表示所述样本内的所述用户定义或自动生成的表面距所述输入图像的平面的轴向距离，并且其中从所述经训练的深度神经网络输出所述样本的所述荧光输出图像的时间序列，所述荧光输出图像的时间序列被数字地传播到对应于所述输入图像的所述DPM的所述用户定义或自动生成的表面。10.根据权利要求9所述的方法，其中来自所述经训练的深度神经网络的所述荧光输出图像的时间序列中的一个或多个被组合，以创建样本体积的延时视频。11.根据权利要求9所述的方法，其中来自所述经训练的深度神经网络的所述荧光输出图像的时间序列中的一个或多个被组合，以在任意的用户定义或自动生成的3D表面上创建所述样本的延时视频。12.根据权利要求9所述的方法，其中使用流或视频模式用相机获得所述样本的所述二维荧光显微镜输入图像的时间序列，并且其中与所述二维荧光显微镜输入图像相比，所述样本的所述荧光输出图像的时间序列具有相同或改善的帧速率。13.根据权利要求1至12中任一项所述的方法，其中所述用户定义或自动生成的表面包括位于所述样本内的平面、弯曲表面、任意表面或轴向深度范围。14.根据权利要求1至12中任一项所述的方法，其中所述样本包括活的生物体、固定的
生物体、活的细胞、固定的细胞、活的组织、固定的组织、病理载玻片、活组织检查、液体、体液和其他微观物体中的至少一种。15.根据权利要求1至12中任一项所述的方法，其中，使用空间设计的点扩散函数来获取至少一个所述输入图像。16.根据权利要求1至12中任一项所述的方法，其中使用以下匹配的对：(1)轴向聚焦在不同深度处并附加有不同DPM的多个荧光图像和(2)在由对应DPM限定的正确/目标聚焦深度处捕获的对应的地面实况荧光图像，利用生成对抗网络(GAN)来训练所述经训练的深度神经网络。17.根据权利要求1至12中任一项所述的方法，其中一个或多个所述用户定义或自动生成的表面各自定义二维平面。18.根据权利要求1至12中任一项所述的方法，其中一个或多个所述用户定义或自动生成的表面各自定义倾斜平面或弯曲表面。19.根据权利要求1至12中任一项所述的方法，其中一个或多个所述用户定义或自动生成的表面各自定义任意三维表面。20.根据权利要求1至12中任一项所述的方法，其中，所述DPM是空间均匀的。21.根据权利要求1至12中任一项所述的方法，其中，所述DPM是空间非均匀的。22.根据权利要求1至12中任一项所述的方法，其中，所述输入图像具有与地面实况图像相同或基本相似的数值孔径和分辨率。23.根据权利要求1至12中任一项所述的方法，其中，与地面实况图像相比，所述输入图像具有较低的数值孔径和较差的分辨率，其中，所述经训练的深度神经网络学习并执行荧光输入图像的虚拟重新聚焦和超分辨率两者。24.根据权利要求1至12中任一项所述的方法，其中，通过使用以下类型的显微镜之一来获得所述经训练的深度神经网络的所述输入图像，和/或通过使用以下类型的显微镜之一来训练所述经训练的深度神经网络：超分辨率显微镜、共焦显微镜、具有单光子或多光子激发荧光的共焦显微镜、二次谐波或高次谐波发生荧光显微镜、光片显微镜、结构化照明显微镜、计算显微镜、重叠关联显微镜。25.根据权利要求1至12中任一项所述的方法，其中二维显微镜输入图像用第一类型的荧光显微镜模态获得，并且所述荧光输出图像类似于并且基本上等同于使用第二类型的荧光显微镜模态获得的相同样本的荧光显微镜图像。26.根据权利要求1至12中任一项所述的方法，其中所述样本的所述二维荧光显微镜输入图像包括宽视场图像，并且所述荧光输出图像类似于并且基本上等同于相同样本的共焦显微镜图像。27.根据权利要求1至12中任一项所述的方法，其中使用以下匹配对：(1)轴向聚焦在不同深度处并附加有...

【专利技术属性】
技术研发人员：阿伊多根，
申请(专利权)人：加利福尼亚大学董事会，
类型：发明
国别省市：