基于跨模态融合级联的癌症分期预测模型建模系统及方法技术方案

本发明专利技术属于基于人工智能的医疗信息处理领域，公开了一种基于跨模态融合级联的癌症分期预测模型建模系统及方法，系统包括：依次连接的数据获取模块、浅层次特征提取模块、多个级联模块和预测输出模块；浅层次特征提取模块用于根据各个模态的标注数据，分别提取各个模态的浅层次特征并形成各个模态间浅层次特征；各个级联模块依次连接，包括：模态内特征提取器、模态间特征提取器、多模态癌症分期预测器、精度判别模块和特征重组模块，预测输出模块：用于输出癌症分期预测模型。本发明专利技术可以提高模型的预测精度和泛用性。型的预测精度和泛用性。型的预测精度和泛用性。

【技术实现步骤摘要】
基于跨模态融合级联的癌症分期预测模型建模系统及方法


[0001]本专利技术属于基于人工智能的医疗信息处理领域，具体涉及一种基于跨模态融合级联的癌症分期预测模型建模系统及方法。

技术介绍

[0002]癌症分期任务是指通过对癌症的各种病理指标、影像学检查、临床表现等进行综合评估，将癌症划分为不同的阶段或分期，以便指导医生选择合适的治疗方案和预测患者的预后。根据世界卫生组织(WHO)制定的TNM分期系统，癌症一般划分为I、II、III和IV期。如果癌症被诊断为早期，则可以通过较为简单的手术或药物进行治疗，并可避免癌症扩散到其它部位；但是如果癌症被诊断为晚期，则目前还没有有效的手段进行治疗，并且即使进行了系统治疗，其预后效果仍然很差。因此，癌症分期预测在临床实践中具有重要的意义，能够对患者的治疗方案、预后和生存期进行重要的指导。随着医疗技术的不断进步和大数据分析的应用，癌症分期预测的准确性和可靠性也得到了不断提高。
[0003]不同模态的数据往往具有不同的信息，能够更好地实现癌症分期预测任务。与癌症相关的数据包括：临床文本数据、基因组学数据、影像组学数据和病理组学数据。临床文本数据是在诊疗过程中产生的文字记录，如病历、检查报告和处方等。在临床文本数据中记录了病人的病情、治疗方案和效果等信息。基因组学数据是指研究生物体基因组的数据，如DNA序列、基因表达和基因突变等。基于这些数据可以探究疾病的遗传基础和个体差异；影像组学数据是指医学影像学中的数据，包括X光、CT和MRI等图像数据。这些数据经常被用来诊断疾病、指导治疗和评估疗效。病理组学数据是指病理学研究中的数据，包括组织切片和细胞学检查等。这些数据可以用来研究疾病的组织学特征、病理机制和预后预测。
[0004]有人提出了一种基于基因组分析的癌症分期预测系统，其基于基因组数据对癌症分期进行预测，但是，通过单模态的训练和预测限制了系统的精度和泛用性，因此，如何通过多模态数据进行预测，成为本领域亟待解决的技术问题。

技术实现思路

[0005]本专利技术克服现有技术存在的不足，所要解决的技术问题为：提供一种基于跨模态融合级联的癌症分期预测模型建模系统及方法，以提高系统预测的精度和泛用性。
[0006]为了解决上述技术问题，本专利技术采用的技术方案为：一种基于跨模态融合级联的癌症分期预测模型建模系统，包括：依次连接的数据获取模块、浅层次特征提取模块、多个级联模块和预测输出模块；
[0007]所述数据获取模块用于获取多种模态的标注数据发送给浅层次特征提取模块；
[0008]所述浅层次特征提取模块用于根据各个模态的标注数据，分别提取各个模态的浅层次特征；
[0009]各个级联模块依次连接，所述级联模块包括：
[0010]模态内特征提取器：用于根据各个模态的浅层次特征或上一个级联模块输出的重
组特征对各个模态分别进行特征提取，得到模态内深层次特征；
[0011]模态间特征提取器：用于对任意两个模态的浅层次特征或上一个级联模块输出的任意两个模态的重组特征进行模态间特征提取，得到各个模态两两之间的深层次特征；
[0012]多模态癌症分期预测器：用于分别根据模态内特征提取器输出的各个模态内深层次特征和模态间特征提取器输出的各个模态间深层次特征，输出预测精度和各种癌症分期的预测概率；还用于根据当前层的所有癌症分期预测器的输出预测概率，进行加权融合，获得当前层的预测概率；
[0013]精度判别模块：用于根据当前层的预测概率确定预测标签，再计算当前层的精度，并判断精度是否满足输出条件，若否，则发送信号至特征重组模块，若是，则发送输出信号至预测输出模块；
[0014]特征重组模块：用于根据精度判别模块发送的重组命令，对各个模态进行特征重组，将得到的各个模态的重组特征发送给下一个级联模块作为其输入；特征重组的方法为：将各个模态的浅层次特征或上一级联模块输出的重组特征、对应模态的模态内深层次特征、、相关的模态间深层次特征拼接在一起作为对应模态的重组特征；
[0015]预测输出模块：用于保留最后一个级联模块内的多模态癌症分期预测器，去掉其它所有级联模块中的多模态癌症分期预测器，将所述浅层次特征提取模块和多个级联模块作为癌症分期预测模型。
[0016]所述数据获取模块用于获取多种模态的标注数据包括临床文本数据、基因组学数据、影像组学数据；浅层次特征提取模块对各中模态的数据获取浅层次特征的具体方法为：
[0017](1)对于临床文本数据，采用BERT模型对其进行向量化，得到临床文本向量矩阵作为其浅层次特征；
[0018](2)对于基因组学数据，采用两阶段的方式获取对应基因，两阶段方法是指在第一阶段中使用多种基因筛选算法获取多组候选基因；在第二阶段中基于多组候选基因使用交集、并集或投票法获得与癌症相关的基因作为其浅层次特征；
[0019](3)对于影像组学数据，提取其统计量特征、形状特征、纹理特征、灰度共生矩阵特征、灰度级大小区域矩阵特征、灰度游程矩阵特征、邻域灰度差矩阵特征和灰度依赖矩阵特征，并通过训练过的编码
‑
解码器模型提取其深度特征，将得到所有特征拼接起来形成向量矩阵，作为其浅层次特征。
[0020]所述模态内特征提取器包括多个第一特征提取器，所述第一特征提取器为基于门控注意力机制的双线性模型训练得到，模型结构为：输入特征x
i
首先经过一个Relu激活函数的全连接层，得到一个特征向量然后，将输入特征x
i
分别经过一个Relu激活函数全连接层和Sigmoid激活函数的全连接层，再将输出的两个特征向量逐元素相乘，得到一个特征向量然后，将特征向量和逐元素相乘，得到模态内的深层次特征：最后，基于模态内的深层次特征使用Softmax激活函数的全连接层进行预测；
[0021]所述模态间特征提取器包括多个第二特征提取器，所述第二特征提取器为基于门控注意力机制的双线性模型训练得到，模型结构为：两个模态的输入特征x
i
和x
j
分别经过Relu激活函数的全连接层和Sigmoid激活函数的全连接层，再将输出特征向量逐元素相乘，得到两个特征向量和然后，将两个特征向量和逐元素相乘，得到模态间的深层次
特征最后，基于模态间的深层次特征使用Softmax激活函数的全连接层进行预测。
[0022]所述第一特征提取器通过对应模态的输入特征对应的癌症分期标签进行训练，训练完成后，移出最后Softmax激活函数的全连接层，将得到模型作为对应模态的第一特征提取器；
[0023]所述第二特征提取器通过对应两个模态的输入特征对应的癌症分期标签进行训练，训练完成后，移出最后Softmax激活函数的全连接层，将得到模型作为对应模态的第二特征提取器。
[0024]所述多模态癌症分期预测器包括多个癌症分期预测器和概率特征融合器，每个癌症分期预测器用于根据其中一个深层次特征输出对应的预测概率，每个癌症分期预测器包括多个基本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于跨模态融合级联的癌症分期预测模型建模系统，其特征在于，包括：依次连接的数据获取模块、浅层次特征提取模块、多个级联模块和预测输出模块；所述数据获取模块用于获取多种模态的标注数据发送给浅层次特征提取模块；所述浅层次特征提取模块用于根据各个模态的标注数据，分别提取各个模态的浅层次特征；各个级联模块依次连接，所述级联模块包括：模态内特征提取器：用于根据各个模态的浅层次特征或上一个级联模块输出的重组特征对各个模态分别进行特征提取，得到模态内深层次特征；模态间特征提取器：用于对任意两个模态的浅层次特征或上一个级联模块输出的任意两个模态的重组特征进行模态间特征提取，得到各个模态两两之间的深层次特征；多模态癌症分期预测器：用于分别根据模态内特征提取器输出的各个模态内深层次特征和模态间特征提取器输出的各个模态间深层次特征，输出预测精度和各种癌症分期的预测概率；还用于根据当前层的所有癌症分期预测器的输出预测概率，进行加权融合，获得当前层的预测概率；精度判别模块：用于根据当前层的预测概率确定预测标签，再计算当前层的精度，并判断精度是否满足输出条件，若否，则发送信号至特征重组模块，若是，则发送输出信号至预测输出模块；特征重组模块：用于根据精度判别模块发送的重组命令，对各个模态进行特征重组，将得到的各个模态的重组特征发送给下一个级联模块作为其输入；特征重组的方法为：将各个模态的浅层次特征或上一级联模块输出的重组特征、对应模态的模态内深层次特征、、相关的模态间深层次特征拼接在一起作为对应模态的重组特征；预测输出模块：用于保留最后一个级联模块内的多模态癌症分期预测器，去掉其它所有级联模块中的多模态癌症分期预测器，将所述浅层次特征提取模块和多个级联模块作为癌症分期预测模型。2.根据权利要求1所述的一种基于跨模态融合级联的癌症分期预测模型建模系统，其特征在于，所述数据获取模块用于获取多种模态的标注数据包括临床文本数据、基因组学数据、影像组学数据；浅层次特征提取模块对各中模态的数据获取浅层次特征的具体方法为：(1)对于临床文本数据，采用BERT模型对其进行向量化，得到临床文本向量矩阵作为其浅层次特征；(2)对于基因组学数据，采用两阶段的方式获取对应基因，两阶段方法是指在第一阶段中使用多种基因筛选算法获取多组候选基因；在第二阶段中基于多组候选基因使用交集、并集或投票法获得与癌症相关的基因作为其浅层次特征；(3)对于影像组学数据，提取其统计量特征、形状特征、纹理特征、灰度共生矩阵特征、灰度级大小区域矩阵特征、灰度游程矩阵特征、邻域灰度差矩阵特征和灰度依赖矩阵特征，并通过训练过的编码
‑
解码器模型提取其深度特征，将得到所有特征拼接起来形成向量矩阵，作为其浅层次特征。3.根据权利要求1所述的一种基于跨模态融合级联的癌症分期预测模型建模系统，其特征在于，所述模态内特征提取器包括多个第一特征提取器，所述第一特征提取器为基于
门控注意力机制的双线性模型训练得到，模型结构为：输入特征x
i
首先经过一个Relu激活函数的全连接层，得到一个特征向量然后，将输入特征x
i
分别经过一个Relu激活函数全连接层和Sigmoid激活函数的全连接层，再将输出的两个特征向量逐元素相乘，得到一个特征向量然后，将特征向量和逐元素相乘，得到模态内的深层次特征：最后，基于模态内的深层次特征使用Softmax激活函数的全连接层进行预测；所述模态间特征提取器包括多个第二特征提取器，所述第二特征提取器为基于门控注意力机制的双线性模型训练得到，模型结构为：两个模态的输入特征x
i
和x
j
分别经过Relu激活函数的全连接层和Sigmoid激活函数的全连接层，再将输出特征向量逐元素相乘，得到两个特征向量和然后，将两个特征向量和逐元素相乘，得到模态间的深层次特征最后，基于模态间的深层次特征使用Softmax激活函数的全连接层进行预测。4.根据权利要求3所述的一种基于跨模态融合级联的癌症分期预测模型建模系统，其特征在于，所述第一特征提取器通过对应模态的输入特征对应的癌症分期标签进行训练，训练完成后，移出最后Softmax激活函数的全连接层，将得到模型作为对应模态的第一特征提取...

【专利技术属性】
技术研发人员：岳俊宏，姜连成，贾利叶，刘雪宇，郝芳，李心宇，
申请(专利权)人：太原理工大学，
类型：发明
国别省市：