【技术实现步骤摘要】
本领域涉及智能医疗领域，具有涉及一种基于多模态数据融合的直肠癌预测方法、系统、设备、计算机可读存储介质。
技术介绍
1、直肠癌是一种严重威胁人类健康的恶性肿瘤，早期诊断和治疗对于改善患者生存率具有重要意义。然而，传统的诊断方法，如影像学和生物标志物检测，往往缺乏足够的灵敏度和特异性，导致很多直肠癌患者在初次诊断时已经发展到了晚期。此外，由于直肠癌的发病与多种因素相关，包括基因变异、生活方式和环境因素等，因此，需要一种能够综合分析多源数据的方法来提高直肠癌的早期诊断率。传统的数据分析方法往往局限于单一数据源，难以充分挖掘不同类型数据中的相关信息。而多模态分析涉及来自各种模态的信息处理，这些模态表现出不同的形成方法和内部结构。这种方法涉及研究每种模态的不同数据集之间的相关性。
技术实现思路
1、针对上述问题，本专利技术提出一种基于多模态数据融合的直肠癌预测方法，利用深度学习和数据融合技术综合分析微阵列图像和临床参数，提高直肠癌的早期诊断精度和可靠性，旨在促进直肠癌患者有效、无创、准确的预后预测和个体化治疗，具体方法包括：
2、获取直肠癌临床数据；
3、将所述直肠癌临床数据输至训练好的预测模型中得到直肠癌的预测结果；
4、所述训练好的预测模型构建过程包括：
5、获取临床图像、文本数据集及标签；
6、所述临床图像、文本数据集及标签通过对应的特征提取模块提取特征得到图像特征、文本特征；
7、所述图像特征、文本特征通过特征
8、所述融合特征通过分类器进行分类预测得到直肠癌预测结果。
9、进一步，所述临床数据由直肠癌图像数据和临床文本数据组成，其中，所述直肠癌图像数据是指直肠癌组织病理学图像数据，所述临床文本数据是指直肠癌患者的病历数据。
10、进一步，所述临床图像数据由直肠癌图像以及癌旁组织图像组成，所述癌旁组织图像选取癌组织边缘3cm以上的正常组织。
11、所述特征提取模块中采用resnet网络对直肠癌及癌旁组织图像数据集进行特征提取得到图像特征，所述resnet网络由n个残差神经单元组成，n为大于等于1的自然数，所述残差神经单元包括输入层、两个卷积层、两个线性整流单元、输出层，所述输入层将数据输至卷积层，所述两个卷积层与所述两个线性整流单元依次交叠连接得到卷积后的输出，所述卷积后的输出与输入层的输入相加融合后输出得到残差神经单元的输出；
12、进一步，基于所述残差神经单元调整组成结构得到增强残差神经单元，所述增强残差神经单元由两个部分组成，第一部分由输入层、1×1卷积层组成，数据从所述输入层流入经过1×1卷积层得到卷积后的数据，第二部分由输入层、m个串连的堆栈、输出层组成，m为大于等于1的自然数，所述堆栈依次由一个批标准化层、一个激活函数层、一个卷积层组成，输入层将数据输至所述堆栈中得到处理后的数据，所述处理后的数据与所述卷积后的数据相加拼接得到所述增强残差神经元的输出。
13、进一步，所述增强残差神经单元的输出xk表示公式为：
14、
15、其中，xn为网络中间任意一层增强残差神经单元的输出；
16、进一步，基于增强残差神经元的resnet网络在计算损失函数时是通过预设的分类函数得到的。
17、所述特征提取模块中采用mlp网络对临床文本数据集进行特征提取得到文本特征，所述mlp网络通过梯度下降算法优化网络模型的参数；
18、进一步，采用晶体生长优化算法优化网络模型的参数，所述晶体生长优化算法基于晶体的生长规则模拟真实晶体的生长过程，通过计算生长晶体的当前解的适应度值的更新晶体结构，得到最优解并赋值给网络模型的参数。
19、所述特征融合模块采用多头注意力特征融合模型融合所述图像特征和文本特征，所述多头注意力特征融合模型基于晶体生长优化算法更新参数，通过模拟晶体生长方式更新参数的更新方向；
20、进一步，所述晶体生长模型的更新参数的公式表示为：
21、
22、
23、其中，wt+1和wt分别表示下一迭代和当前迭代的权重；bt+1和bt表示下一迭代和当前迭代的偏置；γ为衰减因子，控制每一步权重更新的速率；α是学习率，是晶体生长原理下的参数更新方向。
24、所述分类器采用随机森林进行分类，所述随机森林由k棵决策树组成，k为大于等于1的自然数，每棵决策树对数据进行分类，并根据投票决定最终的分类结果；
25、进一步，采用结果响应策略构建随机森林，所述结果响应策略使得随机森林既关注数据被分类为类别1的概率，又关注数据被分类为类别n的概率，n为大于等于1的自然数；
26、进一步，基于结果响应策略的随机森林分类结果f′(qx)表示为:
27、
28、其中，qλ是一个控制结果响应强度的参数，qx为输入数据，qc为数据qx的可能预测类别，qt为第qt个决策树，pqt(qc|qx)表示决策树qt将输入数据qx分类为类别qc的概率,qqt(qc|qx)表示决策树qt将输入数据qx分类为类别qc的结果响应概率，argmaxqc为类别qc的取值函数。
29、所述方法还包括对所述图像数据预处理，所述预处理是基于病理学分析对所述图像进行数据标注，所述图像被标注为直肠癌组织和/或直肠癌旁组织得到标注后的图像；
30、进一步，对所述标注后的图像进行数据归一化处理和数据标准化处理得到预处理后的数据；
31、进一步，对所述预处理后的数据进行数据扩充得到扩充后的图像数据集；所述数据扩充是采用生成对抗网络生成图像数据；所述生成对抗网络模型的构建过程为：所述生成对抗网络包括生成器和判别器，所述生成器基于真实图像数据特征生成模仿图像数据，所述模仿图像数据与真实图像数据混合输至所述判别器判别图像的真伪，将判别结果反馈至所述生成器，所述生成器优化自身参数，重复上述过程直至判别器无法判别图像真伪；
32、进一步，所述图像数据通过回声状态网络进行深度特征编码提取时序信息和动态信息后输至生成对抗网络；
33、进一步，所述回声状态网络编码得到的联合回声状态矩阵表示为：
34、
35、其中，r*为联合该批次下所有样本的回声状态矩阵，ωi为第i个样本的权重系数，f是加权求和函数，ri为回声状态矩阵。
36、本申请的目的在于提供一种基于多模态数据融合的直肠癌预测系统，包括：
37、数据获取单元：获取直肠癌临床数据；
38、分类预测单元：将所述直肠癌临床数据输至训练好的预测模型中得到直肠癌的预测结果；
39、所述训练好的预测模型构建过程包括：
40、获取临床图像、文本数据集及标签；
41、所述临床图像、文本数据集及标签通过对应的特征提取模块提取特征得到图像特征、文本特征；
4本文档来自技高网...
【技术保护点】
1.一种基于多模态数据融合的直肠癌预测方法，其特征在于，所述方法具体包括：
2.根据权利要求1所述的基于多模态数据融合的直肠癌预测方法，其特征在于，所述临床数据由直肠癌图像数据和临床文本数据组成，其中，所述直肠癌图像数据是指直肠癌组织病理学图像数据，所述临床文本数据是指直肠癌患者的病历数据；
3.根据权利要求1所述的基于多模态数据融合的直肠癌预测方法，其特征在于，所述特征提取模块中采用ResNet网络对直肠癌及癌旁组织图像数据集进行特征提取得到图像特征，所述ResNet网络由n个残差神经单元组成，n为大于等于1的自然数，所述残差神经单元包括输入层、两个卷积层、两个线性整流单元、输出层，所述输入层将数据输至卷积层，所述两个卷积层与所述两个线性整流单元依次交叠连接得到卷积后的输出，所述卷积后的输出与输入层的输入相加融合后输出得到残差神经单元的输出；
4.根据权利要求1所述的基于多模态数据融合的直肠癌预测方法，其特征在于，所述特征提取模块中采用MLP网络对临床文本数据集进行特征提取得到文本特征，所述MLP网络通过梯度下降算法优化网络模型的参数；>
5.根据权利要求1所述的基于多模态数据融合的直肠癌预测方法，其特征在于，所述特征融合模块采用多头注意力特征融合模型融合所述图像特征和文本特征，所述多头注意力特征融合模型基于晶体生长优化算法更新参数，通过模拟晶体生长方式更新参数的更新方向；
6.根据权利要求1所述的基于多模态数据融合的直肠癌预测方法，其特征在于，所述分类器采用随机森林进行分类，所述随机森林由k棵决策树组成，k为大于等于1的自然数，每棵决策树对数据进行分类，并根据投票决定最终的分类结果；
7.根据权利要求1所述的基于多模态数据融合的直肠癌预测方法，其特征在于，所述方法还包括图像数据预处理，所述预处理是基于病理学分析对所述图像进行数据标注，所述图像被标注为直肠癌组织和/或直肠癌旁组织得到标注后的图像；
8.一种基于多模态数据融合的直肠癌预测系统，其特征在于，包括：
9.一种基于多模态数据融合的直肠癌预测设备，其特征在于，包括：
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任意一项上述的一种基于多模态数据融合的直肠癌预测方法。
...【技术特征摘要】
1.一种基于多模态数据融合的直肠癌预测方法，其特征在于，所述方法具体包括：
2.根据权利要求1所述的基于多模态数据融合的直肠癌预测方法，其特征在于，所述临床数据由直肠癌图像数据和临床文本数据组成，其中，所述直肠癌图像数据是指直肠癌组织病理学图像数据，所述临床文本数据是指直肠癌患者的病历数据；
3.根据权利要求1所述的基于多模态数据融合的直肠癌预测方法，其特征在于，所述特征提取模块中采用resnet网络对直肠癌及癌旁组织图像数据集进行特征提取得到图像特征，所述resnet网络由n个残差神经单元组成，n为大于等于1的自然数，所述残差神经单元包括输入层、两个卷积层、两个线性整流单元、输出层，所述输入层将数据输至卷积层，所述两个卷积层与所述两个线性整流单元依次交叠连接得到卷积后的输出，所述卷积后的输出与输入层的输入相加融合后输出得到残差神经单元的输出；
4.根据权利要求1所述的基于多模态数据融合的直肠癌预测方法，其特征在于，所述特征提取模块中采用mlp网络对临床文本数据集进行特征提取得到文本特征，所述mlp网络通过梯度下降算法优化网络模型的参数；
5.根据权利...
【专利技术属性】
技术研发人员：徐溢新，
申请(专利权)人：徐州医科大学附属医院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。