用于将全息显微图像转换成各种模态的显微图像的系统和方法技术方案

经训练的深层神经网络将利用全息显微镜获得的样本的图像转换成与利用具有不同显微图像模态的显微镜获得的显微图像基本上类似的图像。不同成像模态的示例包括明场、荧光和暗场。对于明场应用，深度学习将明场显微术对比度带入样本的全息图像、将全息术的体积成像能力与明场显微术的无散斑和无伪影图像对比度联系起来。利用全息显微镜获得的全息显微图像被输入到经训练的深层神经网络中，以执行从与样本体积内的特定深度相对应的数字反向传播全息图到与利用具有不同显微图像模态的显微镜在相同特定深度获得的样本的显微图像类似的图像的跨模态图像转换。似的图像的跨模态图像转换。似的图像的跨模态图像转换。

【技术实现步骤摘要】
【国外来华专利技术】用于将全息显微图像转换成各种模态的显微图像的系统和方法
[0001]相关申请
[0002]本申请要求于2018年11月15日提交的美国临时专利申请号62/768,040的优先权，其全部内容通过引用结合于此。根据35U.S.C.
§
119和任何其他适用法规要求优先权。
[0003]关于联邦资助的研发的声明
[0004]根据国家科学基金会授予的基金号码1533983，本专利技术由政府资助。政府对这项专利技术具有一定的权利。


[0005]本
通常涉及用于将全息图像转换成与使用其他显微成像方式获得的图像(例如包括非相干明场、荧光和暗场显微图像)类似的图像的方法和系统。

技术介绍

[0006]数字全息显微术能够在没有任何机械扫描的情况下，从单次全息测量重建体积样本。然而，对于大多数实际应用来说，全息图像无法与非相干明场显微镜的无散斑和无伪影图像对比度相匹配。这些全息伪像中的一些包括与丢失的相位信息有关的孪生像和自干涉噪声，而由于照明源的长相干长度/直径而出现额外的伪像，这产生了来自光束路径内的离焦或不需要的物体/表面的散斑和背景干涉。另一方面，因为相干成像系统的点扩散函数沿横向和轴向都具有非递减的波纹，所以离焦对象将在全息重建中产生与对焦对象重叠的干涉条纹，这在重建体积样本时降低了图像对比度。使用不同的全息重建方法，有时也使用额外的测量以可以部分地缓解这些问题。然而，需要额外的方法和系统来提高用全息显微镜获得的图像的图像质量和有用性，而无需额外的测量和复杂的重建算法。r/>
技术实现思路

[0007]在一个实施例中，描述了一种系统和方法，该系统和方法使用由使用计算装置的软件执行的经训练的深层神经网络，来执行从与样本体积内给定深度相对应的数字反向传播全息图(或原始全息图)到基本上与在相同深度获取的不同显微图像模态类似的图像的跨模态图像转换。在一个实施例中，不同的显微图像模态是明场、荧光和暗场显微图像中的一种。因为单个全息图用于数字地传播到样本体积内的不同部分或平面(例如，高度)，以虚拟地生成基本上与每个部分的不同显微图像模态类似的图像，所以该方法将数字全息术的体积成像能力与明场显微术(或者在其他实施例中的荧光显微术或暗场显微术)的无散斑和无伪影图像对比度联系起来。在其训练之后，深层神经网络学习全息成像系统与期望的不同显微图像模态(例如，在一个特定实施例中的非相干明场显微镜)之间的统计图像转换。在这方面，深度学习通过融合全息与非相干明场成像模式的优势，将两界的优点结合在一起。
[0008]用全息或干涉显微镜获得的全息显微图像输入到经训练的深层神经网络，以执行
从与样本体积内特定深度相对应的数字反向传播全息图到与利用在相同深度获得的不同显微图像模态获得的图像类似的图像的跨模态图像转换。在本专利技术的一个优选方面，不同的显微图像模态是明场显微图像。全息术与明场显微术之间的该深度学习使能图像转换取代了机械扫描体积样本的需求。此外，可以使用经训练的深层神经网络将使用全息显微镜获得的单个单色图像转换成具有与等效明场图像基本相同的颜色分布的彩色图像。
[0009]在一个实施例中，一种将利用全息显微镜获得的样本图像转换成与利用不同显微图像模态获得的显微图像基本类似的图像的方法包括利用全息显微镜获得样本的单个全息图像。然后，样本的全息图像利用图像处理软件数字反向传播到特定深度。然后，反向传播的全息图像输入到包含在软件中的经训练的深层神经网络中，使用一个或多个处理器在计算装置上执行该软件。经训练的深层神经网络输出特定深度的样本图像，其中，在一个实施例中，输出图像基本上与样本的在相同特定深度处获得的明场显微图像类似。在另一实施例中，经训练的深层神经网络输出特定深度处的样本图像，其中，输出图像基本上与样本的在相同特定深度处获得的荧光显微图像类似。在另一实施例中，经训练的深层神经网络输出特定深度处的样本图像，其中，输出图像基本上与样本的在相同特定深度处获得的暗场显微图像类似。
[0010]在另一实施例中，将利用全息显微镜获得的样本图像转换成与利用具有不同显微图像模态的显微镜获得的显微图像基本类似的图像的方法包括利用全息显微镜获得样本的单个全息图像的操作。样本的全息图像(未反向传播)输入到由计算装置执行的经训练的深层神经网络。经训练的深层神经网络从经训练的深层神经网络输出特定深度处的样本图像，其中，输出图像基本上与利用具有不同显微图像模态的显微镜在相同特定深度处获得的样本显微图像类似。
[0011]在另一实施例中，显微系统包括全息显微镜(或使用导致干涉伪影的相干光源的其他成像模态)和计算装置，该计算装置具有被配置为执行经训练的深层神经网络的软件，该经训练的深层神经网络接收利用全息显微镜(或其他成像模态)获得的样本的原始和/或反向传播全息图像，作为输入，并且输出样本内任意深度处的样本的一个或多个输出图像，其中，一个或多个输出图像基本上与在相同的样本内任意深度处获得/获取的样本的明场显微图像类似。
附图说明
[0012]图1A示意性地示出根据一个实施例的系统，该系统用于将利用全息或干涉显微镜获得的样本图像转换成一个或多个深度(在如本文所解释的z方向上)处的输出图像，该输出图像基本上与利用具有不同显微图像模态的显微镜获得的显微图像类似；
[0013]图1B示意性地示出用于获得样本的全息图像的全息显微镜(例如，在本实施例中无透镜)的一个实施例；
[0014]图2示出流程图，示出将利用全息显微镜获得的样本图像转换成基本上与利用具有不同显微图像模态的显微镜获得的显微图像类似的图像的方法的操作；
[0015]图3示出根据一个实施例的神经网络结构的结构。数字代表每个块的大小和通道，ReLU：整流线性单元、Conv：卷积层；
[0016]图4示出根据一个实施例的用于训练神经网络的图像配准和数据预处理的流程
图，该过程用于将不同平面上的明场图像对与用于训练深层神经网络的全息显微镜所获得的反向传播全息图配准；
[0017]图5示出在基板上捕获的花粉混合物的成像过程。每个输入全息图或全息图像都以较大的FOV显示，以更好地说明条纹。使用均方根误差(RMSE)、结构相似性指数(SSIM)和与显微镜比较图像接近的通用图像质量指数(UIQI)，将每个网络输出图像与对应的明场显微镜基准真实图像进行定量比较；
[0018]图6示出由GAN和CNN执行的样本重建图像以及基准真实图像。使用均方根误差(RMSE)、皮尔逊相关系数(Corr.)、结构相似性指数(SSIM)和通用图像质量指数(UIQI)，将图像与在相同深度处获得的对应显微图像基准真实进行比较。每个图像的每个标准的更好值以粗体突出显示；
[0019]图7A示意性地示出包含在PDMS 3D基板(厚度为～800μm)中的花粉混合物；
[0020]图7B是包含在PDMS 3D基板中的花粉混合物的照片图像；
[0021]图7C示出利用全息显微镜拍摄的PDMS基板的全息图像；
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种将利用全息显微镜获得的样本的图像转换成与利用具有不同显微图像模态的显微镜获得的显微图像基本上类似的图像的方法，包括：利用所述全息显微镜获得所述样本的单个全息图像；使用在计算装置上使用一个或多个处理器来执行的图像处理软件，将所述样本的所述全息图像反向传播到特定深度；将所述样本的所述特定深度处的反向传播的全息图像输入到由所述计算装置执行的经训练的深层神经网络；并且从经训练的所述深层神经网络输出所述样本的所述特定深度处的图像，其中，输出的图像与利用具有所述不同显微图像模态的所述显微镜在相同的所述特定深度处获得的所述样本的所述显微图像基本上类似。2.根据权利要求1所述的方法，其中，所述全息图像包括单色图像，并且所述输出的图像包括彩色图像。3.根据权利要求1所述的方法，其中，所述样本包括三维样本，并且所述输出的图像包括3D图像叠层。4.根据权利要求1所述的方法，其中，所述全息显微镜包括相干光源或者部分相干光源。5.根据权利要求1所述的方法，其中，所述输出的图像基本上没有散斑和干涉伪影、和/或孪生图像噪声。6.根据权利要求1所述的方法，其中，使用利用所述全息显微镜获得的多个训练图像以及利用具有不同图像模态的所述显微镜获得的与所述训练图像相对应的基准真实图像，来训练所述深层神经网络。7.根据权利要求6所述的方法，其中，所述不同图像模态包括明场显微图像。8.根据权利要求6所述的方法，其中，所述不同图像模态包括荧光显微图像。9.根据权利要求6所述的方法，其中，所述不同图像模态包括暗场显微图像。10.根据权利要求6所述的方法，其中，通过匹配来自相应的所述训练图像与所述基准真实图像的视场、然后进行金字塔弹性配准操作，来将相应的所述训练图像与所述基准真实图像彼此配准。11.根据权利要求6所述的方法，其中，所述输出的图像的横向和/或轴向分辨率超过利用具有所述不同图像模态的所述显微镜获得的输入图像和/或所述基准真实图像的横向和/或轴向分辨率。12.根据权利要求1所述的方法，其中，所述计算装置包括一个或多个图形处理单元(GPU)。13.根据权利要求1所述的方法，包括从经训练的所述深层神经网络输出所述样本的不同深度处的多个图像，其中，多个输出的图像与利用具有所述不同显微图像模态的所述显微镜在相同的各个深度处获得的所述样本的对应显微图像基本上类似。14.根据权利要求1所述的方法，其中，所述全息显微镜包括无透镜显微镜。15.根据权利要求1所述的方法，其中，所述全息显微镜包括便携式显微镜。16.一种将利用全息显微镜获得的样本的图像转换成与利用具有不同显微图像模态的显微镜获得的显微图像基本上类似的图像的方法，包括：
利用所述全息显微镜获得所述样本的单个全息图像；将所述样本的所述全息图像输入到由计算装置执行的经训练的深层神经网络；并且从经训练的所述深层神经网络输出所述样本的特定深度处的图像，其中，输出的图像与利用具有所述不同显微图像模态的所述显微镜在相同的特定深度处获得的所述样本的所述显微图像基本上类似。17.根据权利要求16所述的方法，其中，所述全息图像包括单色图像，并且所述输出的图像包括彩色图像。18.根据权利要求16所述的方法，其中，所述样本包括三维样本，并...

【专利技术属性】
技术研发人员：阿伊多根，
申请(专利权)人：加利福尼亚大学董事会，
类型：发明
国别省市：