胃癌神经浸润数字病理切片图像定位和分类方法及系统技术方案

本发明专利技术提出一种胃癌神经浸润数字病理切片图像定位和分类方法及系统，首先将整张病理图像采用滑动窗口的方式切分小patch训练图像块；其次，构建并将训练图像块输入训练分割模型，分割胃癌细胞区域并输出胃癌细胞生成掩模，同时构建并将训练图像块输入DETR模型，检测神经区域对神经进行定位和分类；而后，基于胃癌分割模型的输出结果和DETR网络输出结果，将胃癌分割掩膜和神经检测结果图输入神经浸润判别网络，对神经区域与胃癌区域进行像素级别的重叠判别，若不存在重叠区域，则对该神经区域判别为正常神经区域，不对其进行定位和类别的呈现；若存在重叠区域，则判别是神经浸润，输出神经浸润的定位和分类结果；最后，将小patch图像块拼回原始大小图像输出。patch图像块拼回原始大小图像输出。patch图像块拼回原始大小图像输出。

【技术实现步骤摘要】
胃癌神经浸润数字病理切片图像定位和分类方法及系统


[0001]本专利技术属于机器学习、医学图像处理
，尤其涉及一种胃癌神经浸润数字病理切片图像定位和分类方法及系统。

技术介绍

[0002]根据 2020 年全球癌症负担数据，胃癌是世界范围内发病率排名第五、病死率排名第四的恶性肿瘤。我国胃癌早期诊断率低，进展期占比大，导致胃癌5年生存率一直偏低，总体在35%左右，这主要与进展期胃癌易复发、转移有关。
[0003]TNM分期一直是胃癌预后评估的重要参考依据，但临床实践发现越来越不能满足临床需求，例如相同TNM分期的患者预后有时差异很大，或者不同分期的患者预后相似，这意味着除TNM分期外，还存在影响胃癌预后的其他因素。近年研究发现，神经旁浸润（perineural invasion，PNI）可能是胃癌继淋巴转移、血行转移和腹腔种植转移之后另一种重要的转移扩散途径，这种嗜神经侵袭特性与预后密切相关。
[0004]近年来计算机技术蓬勃发展，随着GPU算力的逐渐强大，人工智能已经走进各行各业，与人类生命健康息息相关的医疗行业也拥有潜力巨大的应用场景。基于智能化计算机技术的图像数据分析方法被广泛运用到医学领域的数据分析中，同时在深度学习的大背景下，算力和数据成为了算法领域的硬通货，一些国家部门和社会机构建立了不同的医学图像数据库，例如肝脏肿瘤数据库LiTS，肺结节数据库LIDC
‑
IDRI，老年痴呆症数据库ADNI等，推动了很多科研学者专注于研究医学图像处理方法，并取得了诸多成果。
[0005]但机器学习在胃癌神经浸润的识别和定位的应用中，尚无深入的研究和成果，在现有的临床应用中，还需要人工肉眼去HE数字染色切片图像中寻找神经浸润的有效信息，过程耗时耗力，且准确性不容易保证。

技术实现思路

[0006]为了弥补现有技术的空白和不足，本专利技术提出一种胃癌神经浸润数字病理切片图像定位和分类方法及系统，实现输入一张病理切片，即可输出一张有着疑似神经浸润的神经定位和类别的识别结果图像，以自动化得到神经侵犯初步判读，能够大大减轻医生的阅片时间，提升医生的工作效率，具有非常重要的意义和广阔的前景。
[0007]为了实现上述目的，本专利技术方案首先将整张病理图像采用滑动窗口的方式，可以按照20倍镜视野切分为2048
×
2048的小patch训练图像块；其次，构建并将训练图像块输入训练分割模型，分割胃癌细胞区域并输出胃癌细胞生成掩模，同时构建并将训练图像块输入End
‑
to
‑
End Object Detection with Transformers(DETR)模型，检测神经区域对神经进行定位和分类；而后，基于胃癌分割模型的输出结果和DETR网络输出结果，将胃癌分割掩膜和神经检测结果图输入神经浸润判别网络，对神经区域与胃癌区域进行像素级别的重叠判别，若不存在重叠区域，则对该神经区域判别为正常神经区域，不对其进行定位和类别的呈现；若存在重叠区域，则判别是神经浸润，输出神经浸润的定位和分类结果；最后，将小
patch图像块拼回原始大小图像输出。
[0008]本专利技术具体采用以下技术方案：一种胃癌神经浸润数字病理切片图像定位和分类方法，其特征在于，包括以下步骤：步骤S1：将整张病理图像采用滑动窗口的方式，切分为小patch训练图像块；步骤S2：构建由EfficientnNet
‑
B3作为编码器、Unet++作为解码器的分割模型并将训练图像块输入进行训练，分割胃癌细胞区域并输出胃癌细胞生成掩模；并构建并将训练图像块输入DETR模型，检测神经区域，对神经进行定位和分类；步骤S3：基于胃癌分割模型的输出结果和DETR网络输出结果，将胃癌分割掩膜和神经检测结果图输入神经浸润判别网络，对神经区域与胃癌区域进行像素级别的重叠判别，输出神经浸润的定位和分类结果；步骤S4：将小patch图像块拼回原始大小图像输出。
[0009]进一步地，在步骤S1中，使用基于滑动窗口的采样策略，将大尺寸的WSI裁剪成较小的2048
×
2048块。
[0010]进一步地，在步骤S2中，EfficientnNet
‑
B3编码器部分在数据集ImageNet上预先训练；在U
‑
Net++解压器部分中，通过在解码器中使用并行挤压和激励SE块来提高性能，分割网络以分离胃癌各种基本病理切片的结构；所述SE块对不同的通道赋予不同的权值，以增强有用的特征，抑制无用的特征，每个中间层级连接到该层的起始节点，并将所有相关的特征图合并到该层的最终节点；最后，分割网络中连接层将前一层的转置卷积层与编码路径的匹配层的所有特征映射进行组合。
[0011]进一步地，在步骤S2中，将训练图像块输入DETR模型，检测神经区域对神经进行定位和分类的过程中，训练网络时添加若干正常的神经图像的训练数据集，根据胃癌的病理部分,使网络学习不同位置神经的特点，并提高检测网络识别的准确性；使用Resnet101作为骨架从图像中提取2D特征；位置编码模块使用不同频率的正弦和余弦函数对空间信息进行编码，将二维特征向量转换为一维特征图，转换后的一维特征图作为目标检测网络的输入，传输给6层编码器和解码器；在解码器输出后连接两个前向反馈网络，传输给6层编码器；编码器输出则连接两个前向反馈网络，分别预测神经区域及其类别。
[0012]进一步地，在步骤S3中，所述神经浸润识别网络通过分割模型得到癌变区域的分割掩膜，通过检测神经网络DETR模型得到神经检测结果图，在分割模型和DETR模型的配合下，对两个网络的输出通过判断语句，对结果图进行像素级重叠判别，若不存在重叠区域，则对该神经区域判别为正常神经区域，不对其进行定位和类别的呈现；若存在重叠区域，则判别是神经浸润，最终将神经浸润的定位和类别信息作为神经浸润判别网络的输出。
[0013]以及，一种胃癌神经浸润数字病理切片图像定位和分类系统，其特征在于，基于计算机系统，包括：图像切割模块，用于将整张病理图像采用滑动窗口的方式，切分为小patch训练图像块；分割模块，由EfficientnNet
‑
B3作为编码器、Unet++作为解码器，将训练图像块输入训练获得，用于分割胃癌细胞区域并输出胃癌细胞生成掩模；检测模块，由训练图像块输入DETR模型训练获得，用于检测神经区域，对神经进行
定位和分类；神经浸润判别网络，用于基于分割模块的输出结果和检测模块的输出结果，将胃癌分割掩膜和神经检测结果图输入神经浸润判别网络，对神经区域与胃癌区域进行像素级别的重叠判别，若不存在重叠区域，则对该神经区域判别为正常神经区域，不对其进行定位和类别的呈现；若存在重叠区域，则判别是神经浸润，输出神经浸润的定位和分类结果；图像拼接模块，用于将神经浸润判别网络输出的小patch图像块拼回原始大小图像输出。
[0014]进一步地，所述分割模块的EfficientnNet
‑
B本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种胃癌神经浸润数字病理切片图像定位和分类方法，其特征在于，包括以下步骤：步骤S1：将整张病理图像采用滑动窗口的方式，切分为小patch训练图像块；步骤S2：构建由EfficientnNet
‑
B3作为编码器、Unet++作为解码器的分割模型并将训练图像块输入进行训练，分割胃癌细胞区域并输出胃癌细胞生成掩模；并构建并将训练图像块输入DETR模型，检测神经区域，对神经进行定位和分类；步骤S3：基于胃癌分割模型的输出结果和DETR网络输出结果，将胃癌分割掩膜和神经检测结果图输入神经浸润判别网络，对神经区域与胃癌区域进行像素级别的重叠判别，输出神经浸润的定位和分类结果；步骤S4：将小patch图像块拼回原始大小图像输出。2.根据权利要求1所述的胃癌神经浸润数字病理切片图像定位和分类方法，其特征在于：在步骤S1中，使用基于滑动窗口的采样策略，将大尺寸的WSI裁剪成较小的2048
×
2048块。3.根据权利要求1所述的胃癌神经浸润数字病理切片图像定位和分类方法，其特征在于：在步骤S2中，EfficientnNet
‑
B3编码器部分在数据集ImageNet上预先训练；在U
‑
Net++解压器部分中，通过在解码器中使用并行挤压和激励SE块来提高性能，分割网络以分离胃癌各种基本病理切片的结构；所述SE块对不同的通道赋予不同的权值，以增强有用的特征，抑制无用的特征，每个中间层级连接到该层的起始节点，并将所有相关的特征图合并到该层的最终节点；最后，分割网络中连接层将前一层的转置卷积层与编码路径的匹配层的所有特征映射进行组合。4.根据权利要求1所述的胃癌神经浸润数字病理切片图像定位和分类方法，其特征在于：在步骤S2中，将训练图像块输入DETR模型，检测神经区域对神经进行定位和分类的过程中，训练网络时添加若干正常的神经图像的训练数据集，根据胃癌的病理部分,使网络学习不同位置神经的特点，并提高检测网络识别的准确性；使用Resnet101作为骨架从图像中提取2D特征；位置编码模块使用不同频率的正弦和余弦函数对空间信息进行编码，将二维特征向量转换为一维特征图，转换后的一维特征图作为目标检测网络的输入，传输给6层编码器和解码器；在解码器输出后连接两个前向反馈网络，分别预测神经区域及其类别。5.根据权利要求1所述的胃癌神经浸润数字病理切片图像定位和分类方法，其特征在于：在步骤S3中，所述神经浸润识别网络通过分割模型得到癌变区域的分割掩膜，通过检测神经网络DETR模型得到神经检...

【专利技术属性】
技术研发人员：高钦泉，胡紫薇，兰俊林，陈刚，张和军，王健超，
申请(专利权)人：福建省肿瘤医院福建省肿瘤研究所，福建省癌症防治中心，
类型：发明
国别省市：