一种用于执行单个超分辨的全息样本图像的彩色图像重建的方法，包括通过在多个颜色通道同时照明，使用图像传感器获得样本的多个子像素移位的较低分辨率全息图像。基于较低分辨率全息图像，数字生成每个颜色通道的超分辨的全息强度图像。利用图像处理软件将每个颜色通道的超分辨的全息强度图像反向传播到物平面，以生成每个颜色通道的样本的真实和虚拟输入图像。提供经训练的深度神经网络，并由图像处理软件使用计算装置的一个或多个处理器来执行，并且被配置为接收每个颜色通道的样本的真实输入图像和虚拟输入图像，并生成样本的彩色输出图像。输出图像。输出图像。
【技术实现步骤摘要】
【国外来华专利技术】基于深度学习的彩色全息显微镜的系统和方法
[0001]相关申请
[0002]本申请要求2019年4月22日提交的美国临时专利申请号62/837,066的优先权，该申请的全部内容通过引用结合于此。根据美国法典第35编第119节和任何其他适用法规要求优先权。
[0003]关于联邦赞助的研究与开发的声明
[0004]本专利技术是在政府支持下由国家科学基金会授予的授予号EEC 1648451的资助下完成的。政府对这项专利技术有一定的权利。
[0005]
通常涉及用于使用经训练的深度神经网络，使用单个超分辨的全息图来执行高保真彩色图像重建的方法和系统。具体而言，该系统和方法使用从样本获得的单个超分辨的全息图作为经训练的深度神经网络的输入，同时以多个不同的波长照明该样本，该深度神经网络输出样本的高保真彩色图像。
技术介绍
[0006]安装在载玻片上的固定薄组织切片的组织学染色是诊断各种医学状况所需的一个基本步骤。组织学染色用于通过增强细胞和亚细胞成分的比色对比度来突出组织组成部分，以进行显微镜检查。因此，染色病理切片的准确颜色表示是做出可靠和一致诊断的重要前提。与明场显微镜不同，另一种用于使用相干成像系统从样本中获取颜色信息的方法需要在可见光谱的红色、绿色和蓝色部分采集至少三个全息图，从而形成用于重建合成彩色图像的红
‑
绿
‑
蓝(RGB)颜色通道。然而，在相干成像系统中使用的这种彩色化方法存在颜色不准确的问题，并且对于组织病理学和诊断应用来说可能被认为是不可接受的。
[0007]为了使用相干成像系统提高颜色精度，可以使用计算超光谱成像方法。然而，这种系统通常需要工程照明，例如，可调谐激光器，以有效地对可见光波段进行采样。先前的贡献已经证明，为了生成准确的彩色图像，成功地减少了可见光波段所需采样位置的数量。例如，Peercy等人演示了一种波长选择方法，该方法使用高斯求积或黎曼求和来重建在反射模式全息术中成像的样本的彩色图像，由此提出至少需要四个波长来生成自然物体的精确彩色图像。参见Peercy等人的“真彩色全息术的波长选择”，应用光学33，6811
‑
6817(1994)。
[0008]后来，演示了一种基于维纳估计的方法来量化物体在四个固定波长下的光谱反射率分布，从而提高了自然物体的颜色精度。参见P.Xia等人的“使用光谱估计技术的数字全息术”，Display Technol.，JDT10，235
‑
242(2014)。最近，Zhang等人提出了一种基于最小均方误差估计的吸收光谱估计方法，专门用于利用同轴全息术创建病理切片的精确彩色图像。参见Zhang等人的“利用组织化学染色的全息术和吸收光谱估计对病理切片进行精确的彩色成像”，Journal of Biophotonics e201800335(2018)。因为染色组织病理学载玻片内的颜色分布受到所用比色染料组合的限制，所以该方法成功地将所需的波长数减少到三个，同时仍然保持准确的颜色表示。然而，由于双像伪影引入的失真和单位放大率片上全息
系统的有限分辨率，实现了多高度相位恢复和像素超分辨率(PSR)技术，以获得可接受的图像质量。在Zhang等人的方法中，在四个不同的样本至传感器(z)距离处收集四个(或更多)超分辨全息图。这需要一个可移动台，该可移动台不仅允许用于获取PSR图像的横向(x，y)运动，还需要在垂直或z方向上移动，以获取多高度图像。
技术实现思路
[0009]在一个实施例中，公开了一种基于深度学习的精确彩色全息显微系统和方法，其使用在波长复用照明(即，同时照明)下获取的单个超分辨的全息图像。与相干成像系统中使用的传统超光谱成像方法相比，基于深度神经网络的彩色显微系统和方法显著简化了数据采集程序、相关的数据处理和存储步骤以及成像硬件。首先，这种技术只需要在同时照明下获得一个超分辨的全息图。正因为如此，该系统和方法实现了与Zhang等人的最先进的吸收光谱估计方法相似的性能，该方法使用了在四个样本到传感器的距离上用顺序或多路复用的照明波长收集的四个超分辨的全息图，因此在数据吞吐量方面表现出超过四倍的增强。此外，不需要在z方向上移动的更复杂的可移动台，这增加了成本、设计的复杂性，并且花费额外的时间来获得彩色图像。
[0010]使用两种类型的病理学载玻片证明了该方法和系统的成功：用Masson三色染色的肺组织切片和用苏木精和伊红(H&E)染色的前列腺组织切片，尽管应该理解，也可以使用其他染色和染料。使用结构相似性指数(SSIM)和颜色距离，重建高保真度和颜色精确的图像，并与使用超光谱成像方法获得的黄金标准图像进行比较。还将所提出的框架的整体时间性能与传统的20
×
明场扫描显微镜进行了比较，从而证明了图像采集和处理的总时间是相同的。这种基于深度学习的彩色成像框架将有助于将相干显微技术用于组织病理学应用。
[0011]在一个实施例中，一种执行样本的单个超分辨的全息图像的彩色图像重建的方法包括通过在多个颜色通道同时照明，使用图像传感器获得样本的多个子像素移位的较低分辨率全息图像。然后，基于多个子像素移位的较低分辨率全息图像，数字生成多个颜色通道中的每一个的超分辨率的全息强度图像。利用图像处理软件将多个颜色通道中的每一个的超分辨的全息强度图像反向传播到物平面，以生成多个颜色通道中的每一个的样本的振幅输入图像和相位输入图像。提供经训练的深度神经网络，该深度神经网络由图像处理软件使用计算装置的一个或多个处理器来执行，并被配置为接收多个颜色通道中的每一个的样本的振幅输入图像和相位输入图像，并输出样本的彩色输出图像。
[0012]在另一实施例中，一种用于执行样本的超分辨全息图像的彩色图像重建的系统包括：计算装置，在计算装置上执行图像处理软件，该图像处理软件包括使用计算装置的一个或多个处理器执行的经训练的深度神经网络。利用来自样本图像的超分辨全息图的多个训练图像或图像块以及相应的基本事实或目标彩色图像或图像块来训练该经训练的深度神经网络。图像处理软件(即，经训练的深度神经网络)被配置为从通过以多个照明波长同时照明样本而获得的样本的多个低分辨率图像，接收由图像处理软件生成的样本的一个或多个超分辨的全息图像，并且输出样本的重建彩色图像。
[0013]在另一实施例中，一种用于对样本的一个或多个超分辨的全息图像执行彩色图像重建的系统包括：无透镜显微镜装置，包括用于保持样本的样本保持器、彩色图像传感器、以及耦合到相应不同颜色光源的一根或多根光纤或电缆，不同颜色光源被配置为同时发射
多个波长的光。显微镜装置包括可移动台和光源阵列中的至少一个，可移动台或光源阵列被配置为获得样本的子像素移位的较低分辨率全息强度图像。该系统还包括计算装置，在计算装置上执行图像处理软件，该图像处理软件包括使用计算装置的一个或多个处理器执行的经训练的深度神经网络，其中，利用来自样本图像的超分辨的全息图的多个训练图像或图像块以及从超光谱成像或明场显微术生成本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种用于执行样本的单个超分辨的全息图像的彩色图像重建的方法，包括：通过在多个颜色通道同时照明，使用图像传感器获得所述样本的多个子像素移位的较低分辨率全息图像；基于所述多个子像素移位的较低分辨率全息图像，数字生成所述多个颜色通道中的每一个的超分辨的全息强度图像；利用图像处理软件将所述多个颜色通道中的每一个的所述超分辨的全息强度图像反向传播到物平面，以生成所述多个颜色通道中的每一个的所述样本的振幅输入图像和相位输入图像；并且提供经训练的深度神经网络，所述经训练的深度神经网络由图像处理软件使用计算装置的一个或多个处理器来执行，并被配置为接收所述多个颜色通道中的每一个的所述样本的所述振幅输入图像和所述相位输入图像，并输出所述样本的彩色输出图像。2.根据权利要求1所述的方法，其中，所述多个颜色通道包括三个颜色通道。3.根据权利要求2所述的方法，其中，所述三个颜色通道包括红色通道、绿色通道和蓝色通道。4.根据权利要求1所述的方法，其中，同时照明所述样本包括用三种不同波长的照明同时照明所述样本。5.根据权利要求4所述的方法，其中，所述三种不同的波长包括450nm、540nm和590nm。6.根据权利要求1所述的方法，其中，通过在耦合到可移动台的x、y平面中移动所述图像传感器，获得所述多个子像素移位的较低分辨率全息强度图像。7.根据权利要求1所述的方法，其中，通过在x、y平面中移动保持所述样本的样本保持器，获得所述多个子像素移位的较低分辨率全息强度图像。8.根据权利要求1所述的方法，其中，通过对来自光源阵列的光源进行选择性照明，获得所述多个子像素移位的较低分辨率全息强度图像。9.根据权利要求1所述的方法，其中，通过在平面中移动照明源或者通过使用来自多个照明源的照明，获得所述多个子像素移位的较低分辨率全息强度图像。10.根据权利要求1至7中任一项所述的方法，其中，所述样本包括染色或标记的组织。11.根据权利要求1至7中任一项所述的方法，其中，所述样本包括染色的细胞学载玻片。12.根据权利要求1所述的方法，还包括利用图像处理软件将多个彩色输出图像数字拼接成较大的输出图像。13.根据权利要求12所述的方法，其中，所述较大的输出图像包括包含至少10mm2的视场，并且其中，所述较大的输出图像在不到10分钟内生成。14.根据权利要求12所述的方法，其中，所述经训练的深度神经网络在接收所述样本的所述振幅输入图像和所述相位输入图像的几分钟内输出所述样本的所述彩色输出图像。15.根据权利要求1所述的方法，其中，使用生成对抗网络(GAN)模型来训练所述经训练的深度神经网络。16.一种用于执行样本的超分辨的...
【专利技术属性】
技术研发人员：阿伊多根，
申请(专利权)人：加利福尼亚大学董事会，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。