用于数字组织病理学分析的基于注意力的学习制造技术

本公开的实施方案利用分层编码和自监督学习(SSL)目标以为数字组织病理学分析提供深度学习网络的预训练部分。本公开的一些实施方案利用不同的训练方法来训练网络的不同部分。一些实施方案使用DINOv2目标来预训练补丁级编码器和/或预训练区域级编码器。一些实施方案使用对比学习目标(诸如simCLR)来预训练补丁级编码器，但是使用不同的学习目标来预训练区域级编码器。本文更全面地详细描述了本公开的这些和其他方面。

【技术实现步骤摘要】
【国外来华专利技术】

技术介绍

1、本公开整体涉及用于从患者医学图像进行计算机化推断的技术。

技术实现思路

1、典型的全载片数字组织病理学图像(wsi)中的像素数据量是显著的。这对用于从wsi进行推断、对wsi执行回归分析和对wsi进行分割的有效且实用的计算机化分析提出了挑战。

2、本公开的实施方案利用分层编码和自监督学习(ssl)目标以为数字组织病理学分析提供深度学习网络的预训练部分。本公开的一些实施方案利用不同的训练方法来训练网络的不同部分。一些实施方案使用dinov2目标来预训练补丁级编码器和/或预训练区域级编码器。一些实施方案使用对比学习目标(诸如simclr)来预训练补丁级编码器，但是使用不同的学习目标来预训练区域级编码器。下面更全面地详细描述本公开的这些和其他方面。

【技术保护点】

1.一种获得深度学习网络的预训练部分的方法，所述深度学习网络被配置为在一个或多个计算机上执行以处理组织病理学图像，从而提取能够用于分析与所述组织病理学图像相对应的组织的表示，所述方法包括：

2.根据权利要求1所述的方法，其中，所述第一SSL学习目标包括DINOv2，并且所述第一编码器包括视觉变换器(ViT)编码器。

3.根据权利要求1所述的方法，其中，所述第一SSL学习目标包括DINOv1，并且所述第一编码器包括视觉变换器(ViT)编码器。

4.根据权利要求1所述的方法，其中，所述第一SSL学习目标包括对比学习目标。

5.根据权利要求4所述...

【技术特征摘要】
【国外来华专利技术】

1.一种获得深度学习网络的预训练部分的方法，所述深度学习网络被配置为在一个或多个计算机上执行以处理组织病理学图像，从而提取能够用于分析与所述组织病理学图像相对应的组织的表示，所述方法包括：

2.根据权利要求1所述的方法，其中，所述第一ssl学习目标包括dinov2，并且所述第一编码器包括视觉变换器(vit)编码器。

3.根据权利要求1所述的方法，其中，所述第一ssl学习目标包括dinov1，并且所述第一编码器包括视觉变换器(vit)编码器。

4.根据权利要求1所述的方法，其中，所述第一ssl学习目标包括对比学习目标。

5.根据权利要求4所述的方法，其中，所述对比学习目标包括simclr。

6.根据权利要求4至5中任一项所述的方法，其中，所述第一编码器包括卷积神经网络。

7.根据权利要求2至6中任一项所述的方法，其中，所述第二ssl学习目标包括dinov2。

8.根据权利要求2至6中任一项所述的方法，其中，所述第二ssl学习目标包括dinov1。

9.根据权利要求2至6中任一项所述的方法，其中，所述第二ssl学习目标包括视觉变换器掩码自动编码(vitmae)。

10.根据权利要求1至9中的任一项所述的方法，其中，所述第一多个组织病理学图像与所述第二多个组织病理学图像相同。

11.根据权利要求1至9中的任一项所述的方法，其中，所述组织病理学图像中的所述第一多个组织病理学图像与所述第二多个组织病理学图像不同。

12.根据权利要求1至9中的任一项所述的方法，其中，所述组织病理学图像中的所述第一多个组织病理学图像与所述第二多个组织病理学图像重叠。

13.根据权利要求1至12中任一项所述的方法，其中，图像区域与图像的为图像补丁的至少100倍的部分相对应。

14.根据权利要求1至12中任一项所述的方法，其中，图像区域与图像的为图像补丁的至少200倍的部分相对应。

15.根据权利要求1至12中任一项所述的方法，其中，图像区域与图像的为图像补丁的至少400倍的部分相对应。

16.一种计算机可执行深度学习网络，所述计算机可执行深度学习网络存储在非暂时性计算机可读介质中并且被配置为在一个或多个计算机的一个或多个处理器上执行以处理组织病理学图像并分析与所述组织病理学图像相对应的组织，所述计算机可执行深度学习网络包括：

17.根据权利要求16所述的计算机可执行深度学习网络，其中，所述机器学习分析器包括一个或多个前馈神经网络层。

18.根据权利要求16所述的计算机可执行深度学习网络，其中，所述机器学习分析器包括视觉变换器(vit)编码器。

19.根据权利要求16所述的计算机可执行深度学习网络，其中，所述机器学习分析器包括基于逻辑回归的分析器。

20.根据权利要求16所述的计算机可执行深度学习网络，其中，所述机器学习分析器包括机器学习分类器，并且分析结果包括被表达为类别概率的分类。

21.一种计算机可执行深度学习网络，所述计算机可执行深度学习网络存储在非暂时性计算机可读介质中，并且被配置为在一个或多个计算机的一个或多个处理器上执行以处理全载片组织病理学图像(wsi)并分析与所述wsi相对应的组织，所述计算机...

【专利技术属性】
技术研发人员：C·帕玛，A·J·雷蒙，K·斯坦迪什，
申请(专利权)人：杨森研发有限责任公司，
类型：发明
国别省市：