【技术实现步骤摘要】
本专利技术属于病理图像处理及机器学习的，具体涉及一种基于多分辨率融合的低级胶质瘤idh突变状态预测方法。
技术介绍
1、组织病理学图像的分析是肿瘤学中的关键步骤，因为病理学家对这些图像的解释是诊断、预后和治疗的金标准。随着幻灯片扫描技术的进步和数字存储容量成本的降低使得数字病理学在过去十年中得到了广泛采用；并且伴随着最近计算能力的急剧增长和深度学习的突破也推动了对组织病理学图像自动分析的研究。
2、近年来，一些研究已经调查了整个全幅病理图像是否可以用于idh突变预测，如：momeni等人在tcga-lgg和tcga-gbm数据集上应用深度复发注意模型对idh突变状态进行推断的尝试；liu等人将200个tcga 2至4级胶质瘤病例和66个私人胶质瘤病例组合在一起的数据集，经过gan增强后使用resnet预测idh突变；jiang等人提出一种端到端的深度学习模型，采用resnet进行训练和测试，从而进行idh突变状态分类。上述三个研究方法基本都符合以下流程：模型由特征提取器和分类器这两大结构组成，首先将病理图像送入深层神经网络中提取图像特征，随后将特征信息送入分类器来判断idh突变状态。
3、然而，上述研究大多都没考虑到idh突变状态在不同级别的胶质瘤上的分布差异是很大的。这些方法大多都是在2到4级胶质瘤数据上训练模型，因此可能无法很好区分同一级别内的高风险患者和低风险患者。另外利用低级别胶质瘤患者的全幅病理图像进行idh突变状态推断的研究有限，并且上述方法都是在一个放大倍率下进行idh突变状态的预测，未能利
技术实现思路
1、本专利技术的主要目的在于克服现有技术的缺点与不足，提供一种基于多分辨率融合的低级胶质瘤idh突变状态预测方法，通过构建双分支网络的低级别胶质瘤idh突变状态预测模型，考虑多个分辨率的特征信息并进行特征信息融合，使特征信息更加丰富，更有利于提升模型的分类效果，更好地利用数字病理图像的信息，实现低级胶质瘤idh突变状态的预测。
2、本专利技术第一目的在于提供一种基于多分辨率融合的低级胶质瘤idh突变状态预测方法，包括下述步骤：
3、步骤1、多放大倍数病理图像的采集与质量控制，包括：去除低级别胶质瘤患者wsi中不可用的部分，生成wsi可用区域的图像掩膜，并按照图像掩膜进行切块处理得到wsi图像块；
4、步骤2、构建双分支网络的低级别胶质瘤idh突变状态预测模型，包括多分辨率图像块特征编码模块、单分辨率图像块特征聚合模块及多分辨率特征融合模块；
5、所述多分辨率图像块特征编码模块基于多注意力机制，用于获取wsi图像块中全局特征信息；所述单分辨率图像块特征聚合模块通过聚合同一分辨率下不同图像块的特征进行特征嵌入表示，得到融合嵌入特征；所述多分辨率特征融合模块将聚合嵌入特征进行交换，通过多头自注意力机制计算，得到聚合嵌入特征后进行特征拼接，送入多层感知层进行类别预测；
6、步骤3、将待检测病理图像进行裁剪，得到图像块后输入低级别胶质瘤idh突变状态预测模型，预测得到idh突变状态。
7、作为优选的技术方案，所述多放大倍数病理图像的采集与质量控制，包括步骤：
8、1.1、利用histoqc工具除去wsi中包含笔画、裂缝、气泡、模糊的区域，同时自动识别并标注出wsi中可用区域的图像掩膜mask；
9、1.2、对wsi进行图像块提取，得到多个放大倍数的图像块；
10、1.3、使用图像块筛选算法对抽取的多个放大倍数图像块进行处理：将三通道rgb图像块转换成红色通道的单通道图像块；设定像素阈值，对于图像块中大于像素阈值的像素点设置为黑色，小于阈值的像素点设置为白色；对白色像素点进行统计，得到需要的组织、细胞核占图像块总面积的比例信息；
11、1.4、按照放大倍率需求运用5折交叉验证法，对筛选后的图像块进行划分得到wsi图像块。
12、作为优选的技术方案，所述多分辨率图像块特征编码模块以多个swin-transformer block为主干；所述swin-transformer block包含图像特征嵌入块、移动窗口自注意力计算块和特征聚合块；所述图像特征嵌入块含有特征嵌入层和线性层；所述移动窗口自注意力计算块包括一个基于移动窗口的sw-msa模块，后跟一个带有gelu非线性激活函数的多层感知机块mlp；在每个sw-msa模块和每个多层感知机块mlp之前都连接有layernorm层，之后均使用残差连接；
13、所述单分辨率图像块特征聚合模块以多个vision transformer block为主干；所述vision transformer block包含class token嵌入块和自注意力计算块；所述自注意力计算块包含一个msa模块和多层感知机块mlp；在每个msa模块和每个多层感知机块mlp之前都连接有layernorm层，之后均使用残差连接；
14、所述多分辨率特征融合模块以多个class token transformer block为主干；所述class token transformer block包含class token交换块和class token自注意力计算块；所述class token自注意力计算块包含一个msa模块和多层感知机块mlp；在每个msa模块和每个多层感知机块mlp之前都连接有layernorm层，之后均使用残差连接；
15、所述多分辨率特征融合模块后连接一个多层感知机块mlp作为输出。
16、作为优选的技术方案，所述多分辨率图像块特征编码模块基于多注意力机制，用于获取wsi图像块中全局特征信息，具体为：
17、设输入多分辨率图像块特征编码模块的一组数据为p∈r(b，h，w，c)，其中b为输入数据批次大小，包含k个患者的k×k个图像块，k为每个患者的wsi图像块数；(h，w)为图像块尺寸；c为图像块通道数；
18、图像特征嵌入块将每个wsi图像块(h，w，c)切分成更小的wsi图像块(m，m，c)进行特征嵌入，每个图像块进行特征嵌入后维度变成(1，n，c1)，通过线性层映射到c2维度，最终得到嵌入特征z：
19、z∈r(b，n，c2)＝linear(patchembedding(p))
20、其中，为更小图像块的数量；c1＝m×m×c为更小图像块展平后的维度；patchembedding为特征嵌入；linear为线性层映射；
21、移动窗口自注意力计算块对每个图像块的嵌入特征进行多头自注意力计算，计算公式为：
22、q＝zwq，k＝zwk，v＝zwv
23、
24、
25、
26、其中，q、k、v分别为自注意力机制的查询、键和值矩阵；wq、wk、wv分本文档来自技高网...
【技术保护点】
1.基于多分辨率融合的低级胶质瘤IDH突变状态预测方法，其特征在于，包括下述步骤：
2.根据权利要求1所述的基于多分辨率融合的低级胶质瘤IDH突变状态预测方法，其特征在于，所述多放大倍数病理图像的采集与质量控制，包括步骤：
3.根据权利要求1所述的基于多分辨率融合的低级胶质瘤IDH突变状态预测方法，其特征在于，所述多分辨率图像块特征编码模块以多个Swin-Transformer Block为主干；所述Swin-Transformer Block包含图像特征嵌入块、移动窗口自注意力计算块和特征聚合块；所述图像特征嵌入块含有特征嵌入层和线性层；所述移动窗口自注意力计算块包括一个基于移动窗口的SW-MSA模块，后跟一个带有GELU非线性激活函数的多层感知机块MLP；在每个SW-MSA模块和每个多层感知机块MLP之前都连接有LayerNorm层，之后均使用残差连接；
4.根据权利要求3所述的基于多分辨率融合的低级胶质瘤IDH突变状态预测方法，其特征在于，所述多分辨率图像块特征编码模块基于多注意力机制，用于获取WSI图像块中全局特征信息，具体为：
...【技术特征摘要】
1.基于多分辨率融合的低级胶质瘤idh突变状态预测方法，其特征在于，包括下述步骤：
2.根据权利要求1所述的基于多分辨率融合的低级胶质瘤idh突变状态预测方法，其特征在于，所述多放大倍数病理图像的采集与质量控制，包括步骤：
3.根据权利要求1所述的基于多分辨率融合的低级胶质瘤idh突变状态预测方法，其特征在于，所述多分辨率图像块特征编码模块以多个swin-transformer block为主干；所述swin-transformer block包含图像特征嵌入块、移动窗口自注意力计算块和特征聚合块；所述图像特征嵌入块含有特征嵌入层和线性层；所述移动窗口自注意力计算块包括一个基于移动窗口的sw-msa模块，后跟一个带有gelu非线性激活函数的多层感知机块mlp；在每个sw-msa模块和每个多层感知机块mlp之前都连接有layernorm层，之后均使用残差连接；
4.根据权利要求3所述的基于多分辨率融合的低级胶质瘤idh突变状态预测方法，其特征在于，所述多分辨率图像块特征编码模块基于多注意力机制，用于获取wsi图像块中全局特征信息，具体为：
5.根据权利要求...
【专利技术属性】
技术研发人员：陆铖，郭纪森，刘文斌，许鹏，韩楚，石镇维，刘再毅，
申请(专利权)人：广东省人民医院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。