【技术实现步骤摘要】
本专利技术涉及医学影像领域和深度学习领域，尤其涉及一种基于ct和病理切片的多模态先验知识引导的肺癌诊断方法及系统。
技术介绍
1、ct（computed tomography，计算机断层扫描）是一种医学成像技术，通过计算机处理多个x光图像的数据，生成高分辨率的三维图像，以便医生可以更好地诊断和治疗疾病。ct影像可以帮助医生发现身体内部的异常结构和病变。在肺癌诊断领域，ct影像是一种重要的诊断工具，可用于检测肺部异常、确定肺癌的类型和分期、评估肺癌治疗的效果等。
2、病理检查，即用以检查机体器官、组织或细胞中的病理改变的病理形态学方法，是所有检查之中诊断准确率最高的一种检查方法。病理科医生从患者身体的病变部位取出小块组织（根据不同情况可采用钳取、切除或穿刺吸取等方法）或通过手术切除标本制成病理切片，观察细胞和组织的形态结构变化，以确定病变性质，做出病理诊断，称为活体组织检查（biopsy），简称活体。病理检查是诊断肿瘤的方法中常用的而且较为准确的方法，被称为诊断的“金标准”。
3、深度卷积神经网络（convolutional neural network，cnn）是近年构建医学人工智能模型的常用方法之一，它通过多层的卷积处理提取图像的高阶特征信息，同时结合池化处理以降低特征的维度，所提取的高阶特征则输入后续特定网络进行特定任务，如分类、分割、配准、检测、降噪等。该方法的优势在于可通过大量样本自动学习对特定任务具有显著意义的高阶特征，但是对于用于训练的数据量具有一定的要求。
4、关于现有的基于ct
技术实现思路
1、本专利技术的目的在于针对现有技术的不足，提供一种基于病理ct多模态先验知识引导的肺癌诊断方法及系统，该方法基于对比学习理论，创新性提出多重三元组损失用以通过病理特征来对基于ct的肺癌诊断分类深度神经网络c进行优化，以提高网络的训练效率以及精度上限。而在临床应用过程中，只需要输入ct图像即可获得肺腺癌、肺鳞癌的诊断分类信息，无需病理信息的参与。
2、本专利技术的目的是通过以下技术方案来实现的：
3、一种基于病理ct多模态先验知识引导的肺癌诊断方法，具体包括：
4、获取患者的肺部ct图像并输入至训练好的基于ct的肺癌诊断分类深度神经网络c，获得预测的诊断结果；所述训练好的基于ct的肺癌诊断分类深度神经网络c通过如下方法训练获得：
5、构建数据集，所述数据集的每一样本包含患者对应的肺部ct图像、病理图像、病理图像特征真值及肺癌诊断结果真值；
6、构建基于ct的病理特征模拟生成网络b，所述基于ct的病理特征模拟生成网络b的输入为肺部ct图像，主任务输出为模拟的病理特征，辅助任务输出为预测的诊断结果；基于数据集，以最小化基于ct的病理特征模拟生成网络b的主任务和辅助任务的输出与对应真值的误差为目标构建损失函数进行训练，获得训练好的基于ct的病理特征模拟生成网络b；
7、建立基于ct的肺癌诊断分类深度神经网络c，所述基于ct的肺癌诊断分类深度神经网络c由病理特征提取网络c1和影像特征提取网络c2和输出层组成；基于ct的肺癌诊断分类深度神经网络c的输入为肺部ct图像，其中病理特征提取网络c1和影像特征提取网络c2分别用于提取对应的病理特征和影像特征，病理特征提取网络c1和影像特征提取网络c2在特征层沿着通道维度叠加后接入输出层，并最终输出预测的诊断结果；
8、将训练好的基于ct的病理特征模拟生成网络b的参数导入病理特征提取网络c1，并基于数据集，以最小化基于ct的肺癌诊断分类深度神经网络c的输出与对应真值的误差为目标构建损失函数进行训练，获得训练好的基于ct的肺癌诊断分类深度神经网络c。
9、本专利技术中要求诊断分类精度大于等于0.95；所述病理特征为基于病理图像的肺癌诊断分类网络a的特征提取层的输出。优选地，为神经网络a输出层的前一层输出。
10、进一步地，所述病理图像特征真值通过如下方法获得：
11、将病理图像输入至训练好的基于病理图像的肺癌诊断分类网络a，提取基于病理图像的肺癌诊断分类网络a输出层的前一层输出作为对应的病理图像特征真值；所述训练好的基于病理图像的肺癌诊断分类网络a是基于数据集，以病理图像作为输入，预测的诊断结果作为输出，通过最小化输出与对应真值的误差为目标进行训练获得的。
12、进一步地，所述基于病理图像的肺癌诊断分类网络a采用二维resnet-18结构、vision transformer多头注意力网络结构等。
13、优选地，所述以最小化基于ct的病理特征模拟生成网络b的主任务和辅助任务的输出与对应真值的误差为目标构建的损失函数具体如下：
14、
15、
16、
17、
18、
19、其中代表损失函数，和分别代表辅助任务输出的预测的诊断结果的损失以及对主任务输出的模拟的病理特征的损失；和分别代表辅助任务输出的预测的诊断结果；代表相同和不同肺癌病理亚型的特征对于结果的牵引以及推开作用，代表相同和不同患者的模拟的病理特征以及病理特征真值对结果的牵引以及推开作用，为超参数；i表示数据集，及分别为第i样本对应的相同肺癌病理亚型正例集合及不同肺癌病理亚型负例集合，表示集合的样本数量，代表第k例样本对应的主任务输出的模拟的病理特征，为超参数知识蒸馏温度；以及分别为同一患者对应的主任务输出的模拟的病理特征与病理特征真值之间的空间距离和不同患者对应的主任务输出的模拟的病理特征之间的空间距离，为超参数极限距离。
20、优选地，所述基于ct的病理特征模拟生成网络b的网络结构采用三维resnet-50结构。
21、优选地，所述基于ct的肺癌诊断分类深度神经网络c具体包括以下特征：
22、1. 网络仅有肺部ct图像一个输入，分别经过c1和c2后处理为模拟的病理特征及影像特征，沿着通道维度相加后进入之后的输出层。
23、2. 网络特征提取部分分为c1和c2两个，其中c1的参数已在b模型中训练完毕，在c模型的训练过程中固定不变，网络的参数更新仅更新c2以及c1与c2融合后的模型输出层部分。
24、进一步地，基于ct的病理特征模拟生成网络b的参数量应少于等于基于病理图像的肺癌诊断分类网络a的参数量，这是为了使基于ct的病理特征模拟生成网络b能够学习到基于病理图像的肺癌诊断分类网络a输出的诊断分类特征，而避免过拟合。
25、进一步地，所述基于本文档来自技高网...
【技术保护点】
1.一种基于病理CT多模态先验知识引导的肺癌诊断方法，其特征在于，具体包括：
2.根据权利要求1所述的方法，其特征在于，所述病理图像特征真值通过如下方法获得：
3.根据权利要求1所述的方法，其特征在于，所述以最小化基于CT的病理特征模拟生成网络B的主任务和辅助任务的输出与对应真值的误差为目标构建的损失函数具体如下：
4.根据权利要求1所述的方法，其特征在于，所述基于CT的病理特征模拟生成网络B的网络结构采用三维ResNet-50结构。
5.根据权利要求1所述的方法，其特征在于，所述病理特征提取网络C1和影像特征提取网络C2的网络结构采用三维ResNet-50结构。
6.根据权利要求1所述的方法，其特征在于，采用交叉熵以最小化基于CT的肺癌诊断分类深度神经网络C的输出与对应真值的误差为目标构建损失函数。
7.一种基于病理CT多模态先验知识引导的肺癌诊断系统，其特征在于，用于实现权利要求1-6任一项所述一种基于病理CT多模态先验知识引导的肺癌诊断方法；所述系统包括诊断模块，用于获取患者的肺部CT图像并输入至训练好
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-6任一项所述的一种基于病理CT多模态先验知识引导的肺癌诊断方法。
9.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时实现如权利要求1-6任一项所述的一种基于病理CT多模态先验知识引导的肺癌诊断方法。
10.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1所述一种基于病理CT多模态先验知识引导的肺癌诊断方法的步骤。
...【技术特征摘要】
1.一种基于病理ct多模态先验知识引导的肺癌诊断方法，其特征在于，具体包括：
2.根据权利要求1所述的方法，其特征在于，所述病理图像特征真值通过如下方法获得：
3.根据权利要求1所述的方法，其特征在于，所述以最小化基于ct的病理特征模拟生成网络b的主任务和辅助任务的输出与对应真值的误差为目标构建的损失函数具体如下：
4.根据权利要求1所述的方法，其特征在于，所述基于ct的病理特征模拟生成网络b的网络结构采用三维resnet-50结构。
5.根据权利要求1所述的方法，其特征在于，所述病理特征提取网络c1和影像特征提取网络c2的网络结构采用三维resnet-50结构。
6.根据权利要求1所述的方法，其特征在于，采用交叉熵以最小化基于ct的肺癌诊断分类深度神经网络c的输出与对应真值的误差为目标构建损失函数。
7.一种基于病理ct多模态先验知识...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。