【技术实现步骤摘要】
一种基于层次图的病理图像中原发肿瘤分期多示例学习方法、框架、设备及介质
[0001]本专利技术属于医学图像处理与计算机视觉
，涉及一种基于层次图的病理图像中原发肿瘤分期多示例学习方法、框架、设备及介质。
技术介绍
[0002]原发肿瘤分期(pT stage)是癌症研判的重要指标，有利于判断患者预后和指导临床治疗方案的选择。在临床常规检查中，原发肿瘤分期主要包括对肿瘤大小的测量和肿瘤浸润正常组织的识别。其中，前者可以很容易地用巨检来衡量，但后者需要病理医生对病理切片进行详尽且耗时的显微镜检查。通常，病理学家需要首先在低倍镜下识别出组织的分层结构，然后在高倍镜下通过检查肿瘤与其他正常组织的连接处，以寻找最深的浸润区域。此外，一些微小的癌细胞簇往往远离原发肿瘤，这也给分期关键特征的定位和识别带来了较大困难。
[0003]随着数字病理的迅速发展，许多病理识别判断过程可以被建模为由深度学习算法处理的机器学习任务。对于原发肿瘤分期来说，可以将其看作一个全视野数字病理切片的分类任务，其类别由肿瘤与其他正常组织之间的浸润关系确...
【技术保护点】
【技术特征摘要】
1.一种基于层次图的病理图像中原发肿瘤分期多示例学习方法，其特征在于：具体步骤包括：步骤一、构建结构感知层次图，将金字塔结构的全视野数字病理切片表示为一个异质的结构感知层次图，包括两种类型的子图：位于顶层的组织图和位于低层的多个补丁图，分别建立在低倍率和相对较高倍率的切片上；并在不同放大倍数视野间的切换过程中，通过关联矩阵结构来确定不同放大倍数下补丁图节点与相应的组织图节点之间的从属关系；步骤二、构建基于分层注意力的图表征网络：对步骤一构建的结构感知层次图用补丁图卷积神经网络，编码高倍率补丁图中节点的局部上下文特征；用分层注意力层利用交叉注意力机制将高倍率的补丁特征融合到其对应的低倍率组织图节点中；融合后的组织图输入组织图卷积神经网络中，用于编码全局空间组织结构特征，捕获肿瘤与正常组织之间的浸润关系；最终，全局注意力层聚合组织图所有的节点，得到切片级别的特征表示，用于分期类别的预测。2.根据权利要求1所述的一种基于层次图的病理图像中原发肿瘤分期多示例学习方法，其特征在于：步骤一所述构建结构感知层次图，具体实施步骤如下：1)数据预处理1.1)对于一张具有金字塔结构的全视野数字病理切片，从低分辨率到高分辨率分别表示为w
t
，w1，w2，
…
w
n
,w
n+1
将w
t
的分辨率下采样到一半，采用大津二值化算法将组织与背景分割开来，获得二值分割掩膜，再对分割掩码分别进行21、22、23，
…2n
，2
n+1
，2
n+2
倍次的上采样以分别匹配w
t
，w1，w2，
…
w
n
,w
n+1
的分辨率；1.2)采用滑动窗口的方法将步骤一第1.1)步得到的不同倍数的切片裁剪成不重叠的补丁，分别生成补丁集P
t
，P1，P2，
…
P
n
,P
n+1
；在分割掩膜的指导下，切片的背景被忽略，补丁只包含了含有组织的前景区域；1.3)在w
t
上使用简单线性迭代聚类算法将步骤一第1.2)步处理后的图像分割成不同的组织块；2)特征提取提取步骤一第1.2)步得到的补丁集P
t
，P1，P2，
…
P
n
,P
n+1
节点的特征；将P
t
，P1，P2，
…
P
n
,P
n+1
中所有补丁拼接在一起，输入特征编码器中，得到n+1个补丁图的初始化的节点特征X1，X2，
…
X
n
,X
n+1
；对于组织图，由于其中每一个组织块t
i
都覆盖补丁图P
t
中的若干补丁，可将t
i
覆盖的补丁输入特征编码器中，再进行平均池化操作，即可得到组织块t
i
的特征；最终得到组织图的节点特征X
t
；3)构建结构感知层次图G根据步骤一第2)步得到的组织块和组织图的节点特征，构建结构感知层次图G；图G包含三种类型的边，其中E
t
用于建模组织图中相邻组织块的邻接关系，建模了每个补丁图中补丁与其八近邻的邻接关系，建模了组织图与补丁图中节点的从属关系；同时，根据边的连接关系生成邻接矩阵和关联矩阵A
t
，，在A
t
中，若组织t
i
，t
j
之间存在边，则矩阵中元素反之为0，其余矩阵同理；最终，结构感知层次图G可表示为
3.根据权利要求1所述的一种基于层次图的病理...
【专利技术属性】
技术研发人员：李辰，唐璐斐，时江波，龚铁梁，王春宝，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。