一种基于多模态监督对比学习的头颈癌局部复发信息获取方法技术

一种基于多模态监督对比学习的头颈癌局部复发信息获取方法，具体包括：样本集划分及图像预处理、多视图数据增强、构建基于多模态监督对比学习的图像编码网络、训练构建的编码网络、视图池化融合图像编码、将临床数据按照基于属性的混合编码策略进行编码、构建基于多模态解耦双线性池化融合的分类器网络、对构建的分类器网络进行训练；本发明专利技术在原始对比学习方法的基础上增加了多模态的结构，共同优化模态内和模态间的对比损失，同时加入了标签信息，使用解耦双线性池化方式分别融合提取到的图像特征，以及图像和临床特征，提升了头颈癌复发信号获取结果的准确性。复发信号获取结果的准确性。复发信号获取结果的准确性。

【技术实现步骤摘要】
一种基于多模态监督对比学习的头颈癌局部复发信息获取方法


[0001]本专利技术属于临床辅助预测
，尤其涉及一种基于多模态监督对比学习的头颈癌局部复发信息获取方法。

技术介绍

[0002]局部区域复发是头颈部癌症治疗失败的主要原因之一。放化疗后15％
‑
50％的头颈癌患者仍会出现局部复发。准确地预测放疗后的局部复发对于通过制定个性化治疗策略为头颈癌患者获得更好的治疗结果至关重要。由于头颈癌解剖结构的异质性和复杂性，帮助医生进行临床决策的非侵入性人工智能工具会更好的帮助个性化医疗。
[0003]在进行头颈癌局部复发预测时，由于可用的标注好的医学数据量较少，使预测模型不能学习到更充足的特征，泛化能力不高。同时医学数据类型丰富，需要挖掘利用多模态医学影像的互补信息，设计出鲁棒、高效、精确的头颈癌预后预测模型。
[0004]现有的多模态头颈癌预后预测的方法中，对于多模态数据的使用，一般采用原始数据的简单叠加或者特征的简单叠加方法。这种简单的叠加的方式并不能有效提取出不同模态互补的特征，也容易提取到许多冗余特征，影响最终分类的结果。
[0005]一种基于多模态多视图卷积神经网络的头颈癌局部复发预测方法(期刊号：Guo,Jinkun,Rongfang Wang,Zhiguo Zhou,Kai Wang,Rongbin Xu,and Jing Wang."Multi
‑
Modality and Multi
‑
View 2DCNN to Predict Locoregional Recurrence in Head&Neck Cancer."In 2021International Joint Conference on Neural Networks(IJCNN),pp.1
‑
7.IEEE,2021.)，该方法利用了计算机断层扫描(CT)、正电子发射型计算机断层显像(PET)和临床数据三种模态的数据，首先从原始三维CT和PET影像数据中提取二维视图，然后将CT和PET的视图叠加，与临床数据一起输入到端到端的神经网络中进行训练。该方法的不足之处在于，对于不同模态的影像数据，简单的叠加不易有效提取出不同模态互补的特征。

技术实现思路

[0006]为了克服上述现有技术的不足，本专利技术的目的在于提出一种基于多模态监督对比学习的头颈癌局部复发信息获取方法，在原始对比学习方法的基础上增加了多模态的结构，共同优化模态内和模态间的对比损失，同时加入了标签信息，使用解耦双线性池化方式分别融合提取到的图像特征，以及图像和临床特征，提升了头颈癌复发信号获取的结果。
[0007]为实现上述目的，本专利技术采用的技术方案如下：
[0008]一种基于多模态监督对比学习的头颈癌局部复发信息获取方法，具体包括以下步骤：
[0009]S1、对头颈癌患者数据的样本集进行划分及CT和PET的图像进行预处理；
[0010]S2、对步骤S1处理后的图像进行多视图数据增强；
[0011]S3、构建基于多模态监督对比学习的图像编码网络；
[0012]S4、训练步骤S3中构建的编码网络；
[0013]S5、视图池化融合图像编码；
[0014]S6、将临床数据按照基于属性的混合编码策略进行编码；
[0015]S7、构建基于多模态解耦双线性池化融合的分类器网络；
[0016]S8、对步骤S7构建的分类器网络进行训练。
[0017]所述步骤S1具体方法为：利用Matlab软件对头颈癌患者数据中，发生局部复发的头颈癌患者的正样本和未发生局部复发的头颈癌患者的负样本，分别随机等分，然后分为训练集和验证集，进行多次交叉验证；
[0018]将CT和PET数据的灰度值分别转换成CT值和SUV值，并进行归一化，归一化公式如下：
[0019][0020]其中，R表示归一化处理后的CT图像或PET图像，I表示归一化处理前的CT图像或PET图像，max(I)，min(I)分别表示取最大值和最小值操作；对图像采用线性差值重新采样得到相同的分辨率。
[0021]所述步骤S2具体方法为：
[0022]对步骤S1处理后的图像进行数据增强来扩充训练数据，避免使用少样本训练引起过拟合现象；使用传统的随机数据增强，不会加入额外的信息；使用原始三维数据进行多视图提取，既扩充了训练样本，同时也获得了更多肿瘤的信息，具体包括如下步骤：
[0023]S201、分别将三维CT和PET的图像以及轮廓标签，沿Z轴即垂直轴旋转，获得不同角度的CT和PET的三维图像视图和对应的轮廓标签视图；
[0024]S202、将得到的三维图像视图和对应的轮廓标签视图分别沿水平轴，对所有切片的相应像素值求平均，将所有三维的图像视图和轮廓标签视图投影为二维图像；
[0025]S203、最终每个样本得到二维的图像视图和轮廓标签视图，以轮廓标签视图为依据，将图像视图截取为统一输入样本的尺寸；
[0026]所述步骤S3具体方法为：
[0027]输入S2处理后的图像，采用基于类的多模态对比学习方法，构建编码网络，具体包括如下步骤：
[0028]S301、构建多模态对比学习的输入处理模块，对于输入的CT或PET的二维的图像视图，通过随机的数据增强方式，如裁剪、旋转、翻转、灰度变化的一种或几种组合，生成增强的图像；
[0029]S302、构建多模态对比学习的编码器模块，CT和PET模态内均采用simCLR的“双塔”结构，以CT模态内对比学习网络为例，步骤S301中生成的增强图像分别输入到以层残差网络(ResNet50)为基础网络的编码器中，经过全局平均池化层，得到两个特征向量，PET模态的编码过程与CT模态相同；
[0030]S303、构建包含全连接层的特征降维模块，分别对CT和PET模态得到的两个特征进行降维，以在低维空间中计算损失
[0031]分别对CT和PET模态得到的两个特征进行降维，以计算模态内与模态间对比损失；其中，模态内以某个图像做为锚点，在同一批次中找到同一个类的所有图像，把它们作为正
样本，所有不同类的图像作为负样本，使正样本彼此靠近，同时使负样本更远离；模态间找出同一批次中不同类的所有图像，使不同类样本的图像距离大于同一样本图像的距离；在推理阶段只使用S302中的编码模块，不使用降维模块。
[0032]所述步骤S4具体方法为：
[0033]对步骤S3构建的基于多模态监督对比学的图像编码网络进行训练，分别得到CT和PET的编码网络；训练过程中，采用模态内与模态间监督对比损失函数的和作为目标函数；
[0034]模态内监督对比损失函数为：
[0035][0036]其中，N为样本总数，为样本的标签，l(
·
)为指示函数，当(
·
)中的条件满足时值为1，否则为0，i为当前样本，j为与i标签相同且不同本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态监督对比学习的头颈癌局部复发信息获取方法，其特征在于，具体包括以下步骤：S1、对头颈癌患者数据的样本集进行划分及CT和PET的图像进行预处理；S2、对步骤S1处理后的图像进行多视图数据增强；S3、构建基于多模态监督对比学习的图像编码网络；S4、训练步骤S3中构建的编码网络；S5、视图池化融合图像编码；S6、将临床数据按照基于属性的混合编码策略进行编码；S7、构建基于多模态解耦双线性池化融合的分类器网络；S8、对步骤S7构建的分类器网络进行训练。2.根据权利要求1所述的一种基于多模态监督对比学习的头颈癌局部复发信息获取方法，其特征在于，所述步骤S1具体方法为：利用Matlab软件对头颈癌患者数据中，发生局部复发的头颈癌患者的正样本和未发生局部复发的头颈癌患者的负样本，分别随机等分，然后分为训练集和验证集，进行多次交叉验证；将CT和PET数据的灰度值分别转换成CT值和SUV值，并进行归一化，归一化公式如下：其中，R表示归一化处理后的CT图像或PET图像，I表示归一化处理前的CT图像或PET图像，max(I)，min(I)分别表示取最大值和最小值操作；对图像采用线性差值重新采样得到相同的分辨率。3.根据权利要求1所述的一种基于多模态监督对比学习的头颈癌局部复发信息获取方法，其特征在于，所述步骤S2具体方法为：对步骤S1处理后的图像进行数据增强来扩充训练数据，具体包括如下步骤：S201、分别将三维CT和PET的图像以及轮廓标签，沿Z轴即垂直轴旋转，获得不同角度的CT和PET的三维图像视图和对应的轮廓标签视图；S202、将得到的三维图像视图和对应的轮廓标签视图分别沿水平轴，对所有切片的相应像素值求平均，将所有三维的图像视图和轮廓标签视图投影为二维图像；S203、最终每个样本得到二维的图像视图和轮廓标签视图，以轮廓标签视图为依据，将图像视图截取为统一输入样本的尺寸。4.根据权利要求1所述的一种基于多模态监督对比学习的头颈癌局部复发信息获取方法，其特征在于，所述步骤S3具体方法为：输入S2处理后的图像，采用基于类的多模态对比学习方法，构建编码网络，具体包括如下步骤：S301、构建多模态对比学习的输入处理模块，对于输入的CT或PET的二维的图像视图，通过随机的数据增强方式，如裁剪、旋转、翻转、灰度变化的一种或几种组合，生成增强的图像；S302、构建多模态对比学习的编码器模块，CT和PET模态内均采用simCLR的“双塔”结构，以CT模态内对比学习网络为例，步骤S301中生成的增强图像分别输入到以残差网络为
基础网络的编码器中，经过全局平均池化层，得到两个特征向量，PET模态的编码过程与CT模态相同；S303、构建包含全连接层的特征降维模块，分别对CT和PET模态得到的两个特征进行降维，以在低维空间中计算损失；分别对CT和PET模态得到的两个特征进行降维，以计算模态内与模态间对比损失；其中，模态内以某个图像做为锚点，在同一批次中找到同一个类的所有图像，把它们作为正样本，所有不同类的图像作为负样本，使正样本彼此靠近，同时使负样本更远离；模态间找出同一批次中不同类的所有图像，使不同类样本的图像距离大于同一样本图像的距离；在推理阶段只使用S302中的编码模块，不使用降维模块。5.根据权利要求1所述的一种基于多模态监督对比学习的头颈癌局部复发信息获取方法，其特征在于，所述步骤S4具体方法为：对步骤S3构建的基于多模态监督对比学的图像编码网络进行训练，分别得到CT和PET的编码网络；训练过程中，采用模态内与模态间监督对比损失函数的和作为目标函数；模态内监督对比损失函数为：其中，N为样本总数，为样本的标签，l(
·
)为指示函数，当(
·
)中的条件满足时值为1，否则为0，i为当前样本，j为与i标签相同且不同于i的样本，z为损失空间中的特征向量，k为所有样本中不同于i的样本，τ为温度参数；模态间监督对比损失函数为：其中，α为边缘参数，c表示CT样本，p表示PET样本，s(c，p)为CT样本与PET样本之间的相似度函数，计算方式如下：似度函数，计算方式如下：似度函数，计算方式如下：其中，f(c；W
f
，θ
φ
)和分别为CT与PET的联合嵌入空间映射，φ(c；θ
φ
)和分别为CT和PET提取的特征表示，θ
φ
和表示网络参数，W
f
和W
g
为权重；最终的总损失函数为：其中，λ1和λ2分别为模态内与模态间损失所占的比重；训练过程中，...

【专利技术属性】
技术研发人员：王蓉芳，郭瑾坤，牟钊汕，缑水平，郝红侠，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：