【技术实现步骤摘要】
本专利技术涉及多模态黑色素瘤免疫治疗预测领域，且更具体地涉及一种基于深度学习网络的多模态黑色素瘤免疫治疗预测方法。
技术介绍
1、黑色素瘤，也称“恶性黑色素瘤”，一种常见且致命的皮肤恶性肿瘤。根据最新全球癌症统计，皮肤癌已被定义为最危险的癌症之一，而黑色素瘤是皮肤癌中致死率最高的一种癌症，约占皮肤癌中死亡率的75%，具有恶性程度高，易局部复发和远处转移，预后差等特点。
2、近年来，随着医疗技术的发展，免疫治疗成了黑色素瘤治疗中最主要的治疗手段之一。根据黑色素瘤的病理分期，对于部分高位黑色素瘤患者使用免疫治疗可以有效延长患者的无复发生存期，尤其是pd-1免疫治疗在临床上产生了广泛的应用，取得了不错的成效。然而，由于黑色素瘤的个体异质性强、病理分类复杂且发病机制不明，pd-1免疫治疗并不能使所有患者都获益，因此早期诊断和准确评估对于改善黑色素瘤患者的预后至关重要。在此背景下，对黑色素瘤患者的pd-1免疫治疗预后进行评估具有重大意义。
3、随着计算机技术得到广泛应用，深度学习神经网络成为了多模态黑色素瘤免疫治疗预测以及医学影像分析领域的热门技术。尽管应用于黑色素瘤识别、分割领域的深度学习模型性能一直在提升，但是对于黑色素瘤免疫治疗的预后评估依旧很少涉及。现有的深度学习预后模型多是基于组织病理图像或基因表达特征等单模态数据，使用的是单一类型的神经网络模型，且不考虑患者诊疗过程中使用到的治疗手段。由于使用了pd-1免疫治疗的完整患者样本数据较少且数据量不均衡，而深度学习模型的训练往往是需要在海量数据上实现，如果使用
4、因此，本专利技术基于深度学习方法中目前比较火热的深度自注意力网络和图卷积网络，结合病理图像数据、患者元数据、患者临床数据及基因表达特征等多模态数据的分析结果，提出了一种基于深度学习网络的多模态黑色素瘤免疫治疗预测方法。
技术实现思路
1、针对现有技术的不足，本专利技术公开了一种基于深度学习网络的多模态黑色素瘤免疫治疗预测方法，基于深度学习方法中目前比较火热的深度自注意力网络和图卷积网络，结合病理图像数据、患者元数据、患者临床数据及基因表达特征等多模态数据的分析结果；在正式模型训练前，需要先对图像进行染色标准化，将颜色纠正到相同的颜色空间，增强训练模型的鲁棒性；使用卷积神经网络和深度自注意力网络对输入图像进行特征提取并降维到2048维度，然后拼合特征矩阵，使用全连接层对特征矩阵进行分类预测，结合以上二者的计算优势，可以更好的捕获图像信息；通过扩散模型和自然语言编码prompt对缺失的图像信息进行计算机生成，解决了数据量不足的问题，避免了因为样本量不足而导致模型训练不准确的情况；通过多头自注意力模型对患者临床数据进行编码，并根据患者临床数据对预后影响程度赋予重要程度参数，实现非图像信息的提取。这一步骤能够更全面地考虑患者的情况，避免了传统方法中只考虑图像信息而忽略其他因素的缺点；采用encoder-decoder神经网络模式和生信分析对病理切片图进行特征提取，能够更好地提取特征，避免了传统方法中需要手动选择特征的缺点；自动化、智能化程度高。
2、本专利技术采用以下技术方案：
3、一种基于深度学习网络的多模态黑色素瘤免疫治疗预测方法，包括以下步骤：
4、步骤一、数据采集、初步筛选和图像标准化处理，通过医学影像管理系统获取肿瘤与癌症基因组图谱中的黑色素瘤患者数据，所述黑色素瘤患者数据包括病理切片图、患者临床数据和rna序列三种数据的病例及黑色素瘤患者数据集，所述黑色素瘤患者数据通过图形处理器gpu初步筛选保留所述病理切片图和患者临床数据，所述病理切片图采用颜色标准化reinhard方法进行染色标准化到特定目标图；
5、步骤二、图像分割处理，通过图像分割模块进行图像语义分割，所述图像分割模块包括卷积神经网络和深度自注意力网络，所述深度自注意力网络通过自注意力全局计算方式捕获所述病理切片图中的高频信息，所述高频信息包括图像强度变化剧烈的像素点，所述卷积神经网络通过局部计算方式进行图像特征提取和数据学习实现所述病理切片图中的低频信息提取，所述低频信息包括图像强度变换平缓的像素点；
6、步骤三、图像增补处理，通过图像数据增补模块进行缺失图像信息的生成，所述图像数据增补模块通过扩散模型和自然语言编码prompt对所述病理切片图中缺失的图像信息进行计算机生成；
7、步骤四、图像再次筛选和降维，通过图形处理器gpu对经过图像分割和数据增补处理的小块所述病理切片图进行再次筛选，并采用t-sne降维方法对小块所述病理切片图进行降维处理；
8、步骤五、图像特征提取，通过图像特征提取模块进行小块所述病理切片图的图像特征提取，所述图像特征提取模块采用encoder-decoder神经网络模式和生信分析对小块所述病理切片图进行特征提取；
9、步骤六、非图像信息提取，通过非图像辅助信息上下文提取模块提取非图像信息特征，所述非图像辅助信息上下文提取模块采用多头自注意力模型对所述患者临床数据进行编码，并根据所述患者临床数据对预后影响程度赋予重要程度参数，所述患者临床数据包括患者的黑色素瘤breslow厚度、有无溃疡情况、黑色素瘤tnm分期、有丝分裂率、淋巴结转移、远处转移、卫星灶、肿瘤原发部位、患者年龄和患者性别；
10、步骤七、多模态黑色素瘤免疫治疗预测，通过预测模块进行黑色素瘤免疫治疗预测评估，所述预测模块通过图神经网络对患者的pd-1预后进行评估，所述图神经网络通过结合所述图像特征提取模块与所述非图像辅助信息上下文提取模块的输出进行评估计算，并基于预设相似性阈值对两个患者间的关系连线进行剪枝操作。
11、作为本专利技术进一步的技术方案，所述图像分割模块的工作方法包括以下步骤：
12、步骤1、输入所述病理切片图，所述图像分割模块的输入值为切成256×256×3的小块所述病理切片图；
13、步骤2、采用所述卷积神经网络和深度自注意力网络对输入的小块所述病理切片图进行特征提取；
14、步骤3、通过卷积层进行特征压缩，并通过全连接层将所述卷积神经网络和深度自注意力网络提取出的特征矩阵降维形成维度为2048的低维特征矩阵；
15、步骤4、通过拼接操作将所述低维特征矩阵拼合形成维度为4096的高维特征矩阵；
16、步骤5、通过所述全连接层对所述高维特征矩阵进行分类预测；
17、步骤6、通过二值交叉熵损失函数衡量预测结果与真实标签之间的差距，并通过adam参数优化算法对所述卷积神经网络和深度自注意力网络的参数进行更新；
18、步骤7、输出所述病理切片图的病理区域，输出值为本文档来自技高网...
【技术保护点】
1.一种基于深度学习网络的多模态黑色素瘤免疫治疗预测方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种基于深度学习网络的多模态黑色素瘤免疫治疗预测方法，其特征在于：所述图像分割模块包括卷积神经网络和深度自注意力网络，所述深度自注意力网络通过自注意力全局计算方式捕获所述病理切片图中的高频信息，所述高频信息包括图像强度变化剧烈的像素点，所述卷积神经网络通过局部计算方式进行图像特征提取和数据学习实现所述病理切片图中的低频信息提取，所述低频信息包括图像强度变换平缓的像素点。
3.根据权利要求2所述的一种基于深度学习网络的多模态黑色素瘤免疫治疗预测方法，其特征在于：所述图像分割模块的工作方法包括以下步骤：
4.根据权利要求1所述的一种基于深度学习网络的多模态黑色素瘤免疫治疗预测方法，其特征在于：所述扩散模型基于真实癌区数据对缺失的癌旁或交接区数据进行机器生成，所述真实癌区数据通过多轮加噪操作获得噪声图，并采用自然语言编码prompt对癌旁或交接区真实数据进行缺失数据插补获得编码特征数据，所述自然语言编码prompt基于生成对抗网络和逐步生长方
5.根据权利要求1所述的一种基于深度学习网络的多模态黑色素瘤免疫治疗预测方法，其特征在于：所述t-SNE降维方法包括以下步骤：
6.根据权利要求2所述的一种基于深度学习网络的多模态黑色素瘤免疫治疗预测方法，其特征在于：所述步骤五中的图像特征提取的编码部分工作方法为：所述图像特征提取模块采用所述卷积神经网络和深度注意力网络作为编码器，首先通过所述卷积神经网络对癌区、癌旁区和交接区各取10张的小块所述病理切片图进行特征提取，并采用所述t-SNE降维方法降维到8192维度，然后在降维后的特征向量上添加位置信息传入所述深度注意力网络进行特征融合；所述步骤五中的图像特征提取的编码部分工作方法为：所述图像特征提取模块通过语言处理模型GPT模型对与患者肿瘤内环境的基因序列进行编码，并通过交叉熵损失计算小块所述病理切片图的融合特征和患者基因序列编码特征之间的损失距离，通过反向传播调整网络参数优化交叉熵损失至最小。
7.根据权利要求1所述的一种基于深度学习网络的多模态黑色素瘤免疫治疗预测方法，其特征在于：所述图神经网络通过消息传递机制聚合节点的邻居信息，并更新节点的特征表示，所述消息传递机制通过多轮迭代捕获小块所述病理切片图的远距离信息，所述预测模块的工作方法包括以下步骤：
8.根据权利要求1所述的一种基于深度学习网络的多模态黑色素瘤免疫治疗预测方法，其特征在于：所述颜色标准化Reinhard方法通过将所述病理切片图纠正到相同的颜色空间消除颜色差异对结果的干扰，所述颜色标准化Reinhard方法的工作方法包括：
9.根据权利要求1所述的一种基于深度学习网络的多模态黑色素瘤免疫治疗预测方法，其特征在于：所述非图像辅助信息上下文提取模块采用多头自注意力模型对所述患者临床数据进行编码，并根据所述患者临床数据对预后影响程度赋予重要程度参数，所述患者临床数据包括患者的黑色素瘤Breslow厚度、有无溃疡情况、黑色素瘤TNM分期、有丝分裂率、淋巴结转移、远处转移、卫星灶、肿瘤原发部位、患者年龄和患者性别。
...【技术特征摘要】
1.一种基于深度学习网络的多模态黑色素瘤免疫治疗预测方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种基于深度学习网络的多模态黑色素瘤免疫治疗预测方法，其特征在于：所述图像分割模块包括卷积神经网络和深度自注意力网络，所述深度自注意力网络通过自注意力全局计算方式捕获所述病理切片图中的高频信息，所述高频信息包括图像强度变化剧烈的像素点，所述卷积神经网络通过局部计算方式进行图像特征提取和数据学习实现所述病理切片图中的低频信息提取，所述低频信息包括图像强度变换平缓的像素点。
3.根据权利要求2所述的一种基于深度学习网络的多模态黑色素瘤免疫治疗预测方法，其特征在于：所述图像分割模块的工作方法包括以下步骤：
4.根据权利要求1所述的一种基于深度学习网络的多模态黑色素瘤免疫治疗预测方法，其特征在于：所述扩散模型基于真实癌区数据对缺失的癌旁或交接区数据进行机器生成，所述真实癌区数据通过多轮加噪操作获得噪声图，并采用自然语言编码prompt对癌旁或交接区真实数据进行缺失数据插补获得编码特征数据，所述自然语言编码prompt基于生成对抗网络和逐步生长方式模拟数据分布的生成过程，所述编码特征数据通过与所述噪声图进行拼接和降噪处理获得模拟癌旁区或交接区图像，所述模拟癌旁区或交接区图像与真实癌旁区或交接区图像进行比较计算交叉熵损失。
5.根据权利要求1所述的一种基于深度学习网络的多模态黑色素瘤免疫治疗预测方法，其特征在于：所述t-sne降维方法包括以下步骤：
6.根据权利要求2所述的一种基于深度学习网络的多模态黑色素瘤免疫治疗预测方法，其特征在于：所述步骤五中的图像特征提取的编码部分工作方法为：所述图...
【专利技术属性】
技术研发人员：王逸伦，谢慕寒，
申请(专利权)人：杭州安鸿科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。