【技术实现步骤摘要】
本申请属于医学图像处理，特别涉及一种淋巴结转移分期预测方法、装置、计算机设备以及存储介质。
技术介绍
1、目前，胃癌患者普遍存在淋巴结转移情况，因此在对患者制定手术方案的时候，需要考察患者的淋巴结转移分期情况，不同的淋巴结转移分期对应不同范围的淋巴结清扫术。根据胃癌诊疗指南，通常将淋巴结转移数量作为分期的重要依据：没有淋巴结转移的患者分期为n0,存在1-2个淋巴结转移的患者分期为n1，存在3-6个淋巴结转移的患者分期为n2，存在7-15个淋巴结转移的患者分期为n3a,当淋巴结转移数量大于15个时患者分期为n3b。由于临床上虽然通过ct影像可以比较准确的判断是否存在淋巴结转移，但是对淋巴结转移数量通常难以确定，从而导致胃癌患者的淋巴结转移分期难以诊断。
2、现有技术中，针对胃癌患者的淋巴结转移预测研究主要是利用ct(computedtomography，即电子计算机断层扫描)，影像通过影像组学的方法建立淋巴结转移预测模型，但由于影像组学方法主要是人工设计特征提取算子来提取ct影像的特征信息，然后利用机器学习方法建立预测模型，这种手工提特征的方法导致模型性能有限。
3、目前虽然有一些学者提出一些影像与病理图像结合的辅助预测方法，但是大多数都集中在决策层融合，即分别由影像信息和病理图像分别给出预测结果，然后对预测结果进行综合分析，通常做法是对两种预测结果施加不同的权重。这种影像病理结合辅助诊断模型性能受权重系数影响非常大，因此非常依赖设计经验。且由于基于决策层的融合策略采用的两种模态数据单独建模，只是对结果进行
技术实现思路
1、本申请提供了一种淋巴结转移分期预测方法、装置、计算机设备以及存储介质，旨在至少在一定程度上解决现有技术中的上述技术问题之一。
2、为了解决上述问题，本申请提供了如下技术方案：
3、一种淋巴结转移分期预测方法，其特征在于，包括：
4、收集患者的ct图像以及数字病理图像；
5、利用resnet50网络和vit网络分别对所述ct图像以及数字病理图像进行深度特征提取，得到所述ct图像的第一特征向量和所述数字病理图像的第二特征向量；
6、将所述第一特征向量和第二特征向量进行合并，得到融合特征向量；
7、将所述融合特征向量输入全连接神经网络，通过所述全连接神经网络输出患者的淋巴结转移分期预测结果。
8、本申请实施例采取的技术方案还包括：所述收集患者的ct图像以及数字病理图像之后，还包括：
9、分别对所述ct图像和数字病理图像的肿瘤病灶区域进行勾画，并对所述肿瘤病灶区域进行标注；
10、基于所述肿瘤病灶区域的勾画结果，分别对所述ct图像和数字病理图像的肿瘤病灶区域进行提取，得到设定数量的第一肿瘤图像和第二肿瘤图像；
11、分别将所述第一肿瘤图像和第二肿瘤图像进行压缩，得到所述ct图像的第一张量和所述数字病理图像的第二张量。
12、本申请实施例采取的技术方案还包括：所述分别对所述ct图像和数字病理图像的肿瘤病灶区域进行提取包括：
13、获取所述ct图像中标注有肿瘤病灶区域的切片,将所述切片中的肿瘤病灶区域完整纳入一个设定大小的方形框中，所述方形框的边长等于所述肿瘤病灶区域在x或y轴上的最大长度；
14、按照等间隔抽取设定数量的切片,并将每张切片分别压缩为设定大小的第一肿瘤图像；
15、将所有第一肿瘤图像拼接为设定大小的第一张量，并保存为.npy格式。
16、本申请实施例采取的技术方案还包括：所述分别对所述ct图像和数字病理图像的肿瘤病灶区域进行提取还包括：
17、对所述数字病理图像的肿瘤病灶区域进行放大，并设计一个设定大小的滑动窗，通过所述滑动窗在放大后的肿瘤病灶区域内按照从左到右、从上到下的顺序依次滑动，每滑动一步提取所述滑动窗所覆盖的像素信息作为一张patch图像并进行保存；
18、分别将每张patch图像压缩成设定大小的肿瘤图像，并从所有压缩后的肿瘤图像中随机抽取设定数量的肿瘤图像作为第二肿瘤图像；
19、通过矩阵拼接将所述第二肿瘤图像转换成设定大小的第二张量，并保存成.npy格式。
20、本申请实施例采取的技术方案还包括：所述利用resnet50网络和vit网络分别对所述ct图像以及数字病理图像进行深度特征提取具体为：
21、分别将所述第一张量和第二张量输入经过预训练的resnet50网络和vit网络，并分别通过所述resnet50网络和vit网络输出ct图像的第一特征向量和数字病理图像的第二特征向量。
22、本申请实施例采取的技术方案还包括：所述resnet50网络的网络权重通过一个包含1000个ct图像的数据集预训练得到，其输出结果为1×2048维的第一特征向量；所述vit网络的网络权重通过一个10000张patch图像的数据集预训练得到，所述vit网络的输出结果为1×768维的第二特征向量。
23、本申请实施例采取的技术方案还包括：所述将所述融合特征向量输入全连接神经网络，通过所述全连接神经网络输出患者的淋巴结转移分期预测结果之后还包括：
24、对所述resnet50网络、vit网络和全连接神经网络中的全连接层权重系数进行迭代训练，得到最优网络参数的淋巴结转移分期预测模型。
25、本申请实施例采取的另一技术方案为：一种淋巴结转移分期预测装置，包括：
26、图像收集模块：用于收集患者的ct图像以及数字病理图像；
27、特征提取模块：用于利用resnet50网络和vit网络分别对所述ct图像以及数字病理图像进行深度特征提取，得到所述ct图像的第一特征向量和所述数字病理图像的第二特征向量；
28、特征融合模块：用于将所述第一特征向量和第二特征向量进行合并，得到融合特征向量；
29、预测模块：用于将所述融合特征向量输入全连接神经网络，通过所述全连接神经网络输出患者的淋巴结转移分期预测结果。
30、本申请实施例采取的又一技术方案为：一种计算机设备，所述计算机设备包括处理器、与所述处理器耦接的存储器，其中，
31、所述存储器存储有用于实现所述淋巴结转移分期预测方法的程序指令；
32、所述处理器用于执行所述存储器存储的所述程序指令以控制淋巴结转移分期预测方法。
33、本申请实施例采取的又一技术方案为：一种存储介质，存储有处理器可运行的程序指令，所述程序指令用于执行所述淋巴结转移分期预测方法。
34、相对于现有技术，本申请实施例产生的有益效果在于：本申请实施例的淋巴结转移分期预测方法、装置、计算机设备以及存储介质提出一种ct图像与数字病理图像的深度特征融合策略构建淋巴结转移分期预测模型，不仅可以利用ct图像的宏观表型信息本文档来自技高网...
【技术保护点】
1.一种淋巴结转移分期预测方法，其特征在于，包括：
2.根据权利要求1所述的淋巴结转移分期预测方法，其特征在于，所述收集患者的CT图像以及数字病理图像之后，还包括：
3.根据权利要求2所述的淋巴结转移分期预测方法，其特征在于，所述分别对所述CT图像和数字病理图像的肿瘤病灶区域进行提取包括：
4.根据权利要求2所述的淋巴结转移分期预测方法，其特征在于，所述分别对所述CT图像和数字病理图像的肿瘤病灶区域进行提取还包括：
5.根据权利要求3或4所述的淋巴结转移分期预测方法，其特征在于，所述利用ResNet50网络和Vi T网络分别对所述CT图像以及数字病理图像进行深度特征提取具体为：
6.根据权利要求5所述的淋巴结转移分期预测方法，其特征在于，所述ResNet50网络的网络权重通过一个包含1000个CT图像的数据集预训练得到，其输出结果为1×2048维的第一特征向量；所述ViT网络的网络权重通过一个10000张patch图像的数据集预训练得到，所述Vi T网络的输出结果为1×768维的第二特征向量。
7.根据权利要
8.一种淋巴结转移分期预测装置，其特征在于，包括：
9.一种计算机设备，其特征在于，所述计算机设备包括处理器、与所述处理器耦接的存储器，其中，
10.一种存储介质，其特征在于，存储有处理器可运行的程序指令，所述程序指令用于执行权利要求1至7任一项所述淋巴结转移分期预测方法。
...【技术特征摘要】
1.一种淋巴结转移分期预测方法，其特征在于，包括：
2.根据权利要求1所述的淋巴结转移分期预测方法，其特征在于，所述收集患者的ct图像以及数字病理图像之后，还包括：
3.根据权利要求2所述的淋巴结转移分期预测方法，其特征在于，所述分别对所述ct图像和数字病理图像的肿瘤病灶区域进行提取包括：
4.根据权利要求2所述的淋巴结转移分期预测方法，其特征在于，所述分别对所述ct图像和数字病理图像的肿瘤病灶区域进行提取还包括：
5.根据权利要求3或4所述的淋巴结转移分期预测方法，其特征在于，所述利用resnet50网络和vi t网络分别对所述ct图像以及数字病理图像进行深度特征提取具体为：
6.根据权利要求5所述的淋巴结转移分期预测方法，其特征在于，所述resnet50网络...
【专利技术属性】
技术研发人员：赵源深，李志成，梁栋，段静娴，孙秋畅，张泽宇，朱超凡，
申请(专利权)人：深圳先进技术研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。