基于全局特征和局部特征的组织切片分类方法和系统技术方案

本申请涉及基于全局特征和局部特征的组织切片分类方法和系统，其中，该方法通过将全切片数字图像输入分类模型中，获取全局特征，将全切片数字图像中的局部特征图像输入分类模型中，获取局部特征，通过注意力机制将全局特征和局部特征进行融合，获取融合特征，基于融合特征，通过分类模型中的池化层和全连接层处理，输出局部组织切片标签，基于局部组织切片标签，选取目标局部组织切片标签，确定组织切片类别

【技术实现步骤摘要】
基于全局特征和局部特征的组织切片分类方法和系统


[0001]本申请涉及图像处理
，特别是涉及基于全局特征和局部特征的组织切片分类方法和系统
。

技术介绍

[0002]病理诊断是疾病诊断的金标准，而病理诊断需要依赖于病理切片的观察
。
通常医生需要借助显微镜来观察病理切片，通过移动玻片逐视野进行诊断
。
随着切片的数字化，医生可以通过切片的扫描获得数字图像，从而借助电脑观察切片情况
。
对于组织病理切片来说，其
40X
镜下图像尺寸巨大，每张图像包含上亿个像素点，需要综合病理图像所有局部特征的诊断来达到阅片的目的
。
为了利用计算机来辅助阅片，也需要将一张切片切成很多个局部特征图像，（也可以称为补丁），才能输入模型进行训练
。
[0003]针对组织病理的诊断（分类）问题，现有的有监督学习技术方案主要有2种标注方式，一种是精细的区域轮廓分割，一种则是局部特征图像类别的标注
。
前者标注精细，需要花费更多的时间和成本，而后者标注相对简单，只需要借助标注工具打标签即可
。
在后一种标注方式的情况下，一般的做法是构建一个分类网络，通过输入局部特征图像
,
输出分类类别，训练各种不同的网络以达到网络学习的目的，最后选择全切片数字图像中最有代表性的局部特征图像或者整合所有局部特征图像的类别来表示当前切片的类别
。
中国专利申请号为：
202210980903 .5 提出肿瘤微环境感知模块将当前局部特征图像的周边相邻的
c
圈小图像块特征提取出来并进行融合，其将相邻图像块堆叠并卷积获得了特征，进行了特征融合，但并没有保留全切片在原始维度上的全局结构特征，也就是说这种做法以及常规的分类网络均忽视了全局特征，尤其对于组织病理图像来说，首先需要了解全局组织特特征，再结合少量局部特征和细胞形态信息，才能捕获到最佳的切片类别
。
[0004]目前，分类网络忽视了全局视野和组织切片的全局特征，只有少量局部特征和细胞形态信息，更没能将这种组织切片的全局特征很好地融合到局部特征当中，不能达到最佳的观察状态，导致病理组织切片分类精确度低
。

技术实现思路

[0005]本申请实施例提供了一种基于全局特征和局部特征的组织切片分类方法和系统，以至少解决相关技术中病理组织切片分类精确度低的问题
。
[0006]第一方面，本申请实施例提供了一种基于全局特征和局部特征的组织切片分类方法，所述方法包括：将全切片数字图像输入分类模型中，获取全局特征；将所述全切片数字图像中的局部特征图像输入分类模型中，获取局部特征；通过注意力机制将所述全局特征和所述局部特征进行融合，获取融合特征，基于所述融合特征，通过所述分类模型中的池化层和全连接层处理，输出局部组织切片标签；
基于所述局部组织切片标签，选取目标局部组织切片标签，确定组织切片类别
。
[0007]在一实施例中通过注意力机制将所述全局特征和所述局部特征进行融合，获取融合特征，包括：将所述全局特征与所述局部特征进行点乘操作，获取第一特征；将池化处理后的所述全局特征与所述局部特征进行矩阵乘法操作，获取第二特征；将所述局部特征
、
所述第一特征和所述第二特征进行拼接，获取第三特征；将所述第三特征依次进行卷积层
、
挤压
‑
激励层和卷积层的特征重组操作，获取融合特征
。
[0008]在一实施例中所述分类模型包括：第一支路，所述第一支路依次包括调整尺寸
、
卷积
、
池化
、
阶段层
、
最大池化和全连接层操作，其中，所述第一支路输入为所述全切片数字图像，输出为组织切片类别；第二支路，所述第二支路依次包括卷积
、
池化
、
阶段层
、
注意力机制融合模块
、
最大池化和全连接层操作，其中，所述第二支路输入为局部特征图像和全切片数字图像，输出为局部组织切片标签，所述注意力机制融合模块用于将所述第一支路的全局特征和所述第二支路的局部特征进行融合，所述第一支路的输出通过所述局部组织切片标签得到
。
[0009]在一实施例中，在将全切片数字图像输入分类模型中之前，所述方法包括：获取全切片数字图像及全切片数字图像中的局部特征图像，其中对所述局部特征图像进行分类标注；基于阈值分割方法筛选包含组织区域的所述局部特征图像；基于病案号对所述全切片数字图像和包含组织区域的所述局部特征图像划分训练集
、
验证集和测试集；对所述训练集的全切片数字图像和所述局部特征图像进行数据扩增处理；基于扩增处理后的所述训练集对所述分类模型进行训练；基于所述验证集对训练后的所述分类模型进行验证，得到训练好的所述分类模型；基于所述测试集对训练好的所述分类模型进行测试，得到测试结果
。
[0010]在一实施例中，所述基于扩增处理后的所述训练集对所述分类模型进行训练，包括：第一阶段，将所述全切片数字图像和全局组织切片标签作为训练样本，对所述分类模型的第一支路进行训练；第二阶段，将局部特征图像作为训练样本，对所述分类模型的第二支路进行训练，输出所述局部组织切片标签，其中，所述分类模型的第一支路中的卷积
、
池化和阶段层的参数不变；第三阶段，将局部特征图像和全切片数字图像作为训练样本，对第一支路和第二支路进行训练，输出所述局部组织切片标签，其中，所述分类模型的第一支路中的最大池化层和全连接层的参数不变
。
[0011]在一实施例中，基于阈值分割方法筛选包含组织区域的所述局部特征图像；获取所述局部特征图像的像素灰度值；
响应于所述像素灰度值大于或等于预设值，筛选出包含组织区域的所述局部特征图像
。
[0012]在一实施例中，基于所述验证集对训练后的所述分类模型进行验证，得到训练好的所述分类模型，包括：基于所述验证集对所述分类模型进行验证，响应于所述分类模型达到预设迭代次数或所述验证集损失超出预设值，得到训练好的分类模型
。
[0013]第二方面，本申请实施例提供了一种基于全局特征和局部特征的组织切片分类系统，所述系统包括获取全局特征模块
、
获取局部特征模块
、
获取融合特征模块
、
获取局部组织切片标签模块和确定组织切片类别模块；其中：所述全局特征模块，用于将全切片数字图像输入分类模型中，获取全局特征；所述获取局部特征模块，用于将所述全切片数字图像中的局部特征图像输入分类模型中，获取局部特征；所述获取融合特征模块，用于通过注意力机制将所述全局特征和所述局部特征进行融合，获取融合特征；所述局部组织切片标签模块，基于所述融合特征，通过所述分类模型中的池化层和全连接层处理，输出局部组织切本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于全局特征和局部特征的组织切片分类方法，其特征在于，所述方法包括：将全切片数字图像输入分类模型中，获取全局特征；将所述全切片数字图像中的局部特征图像输入分类模型中，获取局部特征；通过注意力机制将所述全局特征和所述局部特征进行融合，获取融合特征；基于所述融合特征，通过所述分类模型中的池化层和全连接层处理，输出局部组织切片标签；基于所述局部组织切片标签，选取目标局部组织切片标签，确定组织切片类别
。2.
根据权利要求1所述的方法，其特征在于，通过注意力机制将所述全局特征和所述局部特征进行融合，获取融合特征，包括：将所述全局特征与所述局部特征进行点乘操作，获取第一特征；将池化处理后的所述全局特征与所述局部特征进行矩阵乘法操作，获取第二特征；将所述局部特征
、
所述第一特征和所述第二特征进行拼接，获取第三特征；将所述第三特征依次进行卷积层
、
挤压
‑
激励层和卷积层的特征重组操作，获取融合特征
。3.
根据权利要求1所述的方法，其特征在于，所述分类模型包括：第一支路，所述第一支路依次包括调整尺寸
、
卷积
、
池化
、
阶段层
、
最大池化和全连接层操作，其中，所述第一支路输入为所述全切片数字图像，输出为组织切片类别；第二支路，所述第二支路依次包括卷积
、
池化
、
阶段层
、
注意力机制融合模块
、
最大池化和全连接层操作，其中，所述第二支路输入为局部特征图像和全切片数字图像，输出为局部组织切片标签，所述注意力机制融合模块用于将所述第一支路的全局特征和所述第二支路的局部特征进行融合，所述第一支路的输出通过所述局部组织切片标签得到
。4.
根据权利要求1所述的方法，其特征在于，在将全切片数字图像输入分类模型中之前，所述方法包括：获取全切片数字图像及全切片数字图像中的局部特征图像，其中，对所述局部特征图像进行分类标注；基于阈值分割方法筛选包含组织区域的所述局部特征图像；基于病案号对所述全切片数字图像和包含组织区域的所述局部特征图像划分训练集
、
验证集和测试集；对所述训练集的全切片数字图像和所述局部特征图像进行数据扩增处理；基于扩增处理后的所述训练集对所述分类模型进行训练；基于所述验证集对训练后的所述分类模型进行验证，得到训练好的所述分类模型；基于所述测试集对训练好的所述分类模型进行测试，得到测试结果

【专利技术属性】
技术研发人员：王晓梅，胡荷萍，
申请(专利权)人：杭州医策科技有限公司，
类型：发明
国别省市：