一种基于高效多模态贡献度感知双分支网络的肝细胞癌微血管侵犯评估方法技术

本发明专利技术公开了一种可以基于高效多模态贡献度感知双分支网络的肝细胞癌微血管侵犯评估方法，该方法在各分支分别对CT和MRI影像数据信息进行诊断计算，当病人的扫描检查方式完备时可综合CT和MRI两种成像形式得出融合诊断结果。同时为了充分利用不同模态序列的影像信息，提升多模态特征的表征能力和模型的判别性能，在每个单成像方式诊断分支中，网络利用模态分组卷积和高效多模态自适应加权模块在极少计算开销的引入下，学习CT或MRI的各模态序列在复杂多样的微血管侵犯表象下的诊断贡献。本发明专利技术兼顾两种医学成像形式和各成像方式中的多种模态序列，利用特征和决策加权融合提升诊断性能，提供有效参考。提供有效参考。提供有效参考。

【技术实现步骤摘要】
一种基于高效多模态贡献度感知双分支网络的肝细胞癌微血管侵犯评估方法


[0001]本专利技术涉及医学影像智能诊断领域，具体涉及一种基于高效多模态贡献度感知双分支网络的肝细胞癌微血管侵犯评估方法。

技术介绍

[0002]肝细胞癌(hepatocellular carcinoma,HCC)是最常见的原发性肝脏恶性肿瘤之一，具有较高的致死率。手术切除和移植被认为是目前肝细胞癌患者的最佳治疗选择，然而肝细胞癌的术后早期和长期预后效果仍然欠佳，具有较高的复发率。而微血管侵犯(microvascular invasion,MVI)是导致肝细胞癌早期复发和长期预后不良的重要因素，因此术前对肝细胞癌患者的微血管侵犯程度进行定性评估，对系统地制定手术方案和治疗方案具有至关重要的意义。
[0003]肝细胞癌的MVI分为阳性和阴性两种发病程度，其中MVI阳性的患者具有更高的术后复发率。临床MVI程度主要通过HCC切除手术后或肝移植手术后的病理表象进行判断，具有一定的有创性，且不同医师的评估结果之间存在一致性较低和主观性较强的问题。因此临床上亟需一种无创、准确的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于高效多模态贡献度感知双分支网络的肝细胞癌微血管侵犯评估方法，包括以下步骤：步骤1，通过数据层融合得到CT或MRI多模态影像融合数据，具体包括如下步骤：步骤1.1，对于CT扫描成像形式而言，采集在注射造影剂后的平扫期PS、动脉期AP、门静脉期PVP三种影像模态的数据，根据标定的肝细胞癌感兴趣区域，对各模态序列中面积最大的HCC区域裁剪，并将不同序列的切面图像沿通道维进行拼接，得到CT影像多模态融合数据X
CT
；步骤1.2，对于MRI扫描成像形式而言，采集扩散加权成像DWI、T1加权成像T1WI、T2加权成像T2WI以及在静脉注入二乙烯三胺五乙酸后的动脉期AP、门静脉期PVP、平衡期EP成像共计六种影像模态的数据，根据标定的肝细胞癌感兴趣区域，对各模态序列中面积最大的HCC区域裁剪，并将不同序列的切面图像沿通道维进行拼接，得到MRI影像多模态融合数据X
MRI
；步骤2，利用模态分组卷积和高效模态自适应加权模块构建轻量的深度神经网络，具体包括如下步骤：步骤2.1，利用模态分组卷积构建网络的特征提取部分，在减少网络参数的同时提取多模态融合数据中各模态影像的专有特征信息，得到多模态融合特征；步骤2.2，利用高效模态自适应加权模块对提取到的多模态融合特征进行加权计算，从而赋予不同模态信息不同的关注程度，将模态差异化的思想引入模型的设计，得到多模态加权融合特征；步骤2.3，将经过多层神经网络提取到的多模态加权融合特征送入分类器，建立特征与肝细胞癌微血管侵犯程度之间的映射关系，完成整体网络的搭建；步骤3，分别利用独立的CT影像多模态融合数据X
CT
和MRI影像多模态融合数据X
MRI
对上述步骤搭建神经网络进行预训练，得到初步的CT影像诊断分支和MRI影像诊断分支；步骤4，针对上述步骤得到的CT影像分支和MRI影像分支输出结果R
CT
和R
MRI
，利用一个可学习的超参数α进行加权融合，得到综合诊断结果R
Final
，从而建立双分支诊断模型，具体计算公式为：R
Final
＝α*R
CT
+(1
‑
α)*R
MRI
，其中α作为比例权重来评估两个单分支的重要程度；步骤5，利用混合成像数据对建立的双分支诊断模型进行联合训练，利用优化算法对各分支参数和融合加权系数进行微调；步骤6，训练完成后，得到同时适用于单成像输入形式和混合成像输入形式的双分支诊断模型，即可根据病例的扫描检测形式选择合适的计算方式，对肝细胞癌微血管侵犯程度进行准确预测。2.根据权利要求1所述的一种基于高效多模态贡献度感知双分支网络的肝细胞癌微血管侵犯评估方法，其特征在于：步骤1.1中采用的CT影像处理方法为：采用统一尺寸64
×
64对各序列切片的最大HCC区域进行裁剪，将三种模态序列同层的二维HCC区域沿通道维进行拼接，得到大小为64
×
64
×
3的CT多模态融合输入数据X
CT
...

【专利技术属性】
技术研发人员：贾熹滨，于高远，杨正汉，杨大为，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：