【技术实现步骤摘要】
本专利技术属于图像处理与人工智能，特别是涉及一种基于视频动作分类的多模型集成的多相位mri肿瘤分类方法。
技术介绍
1、肝脏的肿瘤分类任务一直是人们研究的热点，正确区分良性和恶性肝脏病变可以有效的避免不必要的肝活检，从而避免肝活检所引起的出血，疼痛，感染以及其他器官损伤等。同时，及早发现和准确分类局灶性肝脏病变对于后续的有效治疗极为重要。
2、以往的相关研究主要集中于ct成像，然而随着影像学技术的不断发展，mri以其无辐射，软组织对比度高，适用于各类人群的优异特点渐渐开始引起人们的关注，尽管如此，由于mri上病变的表现范围很广，需要临床经验丰富的医师对病人的mri影像进行人工分析标注，导致诊断病变类型的效率低、分析过程漫长；因此，自动诊断分类系统可以帮助放射科医生较好的完成这项任务，目前常被用于研究的是t1，t2加权磁共振图像，而随着更多不同相位的图像的出现，仅仅研究单一相位的mri图像往往会丢失许多重要的信息，从而限制了肝脏病变分类的性能。
3、传统的机器学习算法需要预先定义特征，将预定义的特征以各种组合的方式应用于有效的诊断，但这些组合通常不全面，导致信息的丢失从而影响准确率，如今基于深度学习的算法由于其自动特征生成和图像分类的能力而被广泛应用，对于mri，其可以生成多平面成像，因此可以呈现出三维的解剖结构信息，然而以往的一些研究在每个mri切片上使用二维cnn建模，这忽略了切片之间的空间关联性，导致诊断错误，因此三维方法可能更有利。
4、综上所述，传统的方法往往只处理单一相位的mri数据
技术实现思路
1、(1)要解决的技术问题
2、本专利技术公开了一种基于视频动作的多模型集成多相位mri肿瘤分类方法，旨在解决mri数据病变范围广，导致人工分析标注效率低、分析时间长的问题，同时针对单一相位的mri数据只进行2d建模，忽略了切片之间的关联性的问题也有进一步的优化。
3、(2)技术方案
4、本专利技术公开了一种基于视频动作的多模型集成多相位mri肿瘤分类方法，其特征在于，包括以下步骤：
5、步骤1，对mri肿瘤病例数进行划分处理与对mri三维图像进行预处理；
6、步骤2，通过分类模型获取mri三维图像的特征图；
7、步骤3，对特征图进行融合并映射到输出类别中得到预测结果；
8、步骤4，重复步骤2和步骤3，获取多个独立且对不同类别具有不同分类能力的模型的预测结果；
9、步骤5，集成多个模型的预测结果从而得到最终的多相位mri肿瘤分类结果。
10、进一步地，步骤1具体方法如下：
11、先采用五倍交叉验证法将mri肿瘤病例数划分成五份独立的训练验证集，再通过预处理将肿瘤的三维图像感兴趣区域提取出来并缩放至同一尺寸，得到形如n，t，z，h，w的输入数据，其中，z代表深度，h代表高度，w代表宽度，共有t个模态，训练的batch为n。
12、进一步地，五倍交叉验证法如下：
13、(train，val)i＝cv(k)
14、其中，k为划分的次数，k＝5，i＝1，2，...，k，train为训练集，val为验证集，cv为交叉验证分组情况；
15、将数据集划分为k个大小相等的子集，轮流选取k-1个子集用作训练数据，剩下的1个子集用作验证数据，这个过程重复k次，得到k份训练验证数据。
16、进一步地，缩放方法具体如下：
17、采用pytorch中的torch.nn.functional.interpolate()实现，即使用三次线性插值，公式如下：
18、x＝concat(interpolate(y1)；interpolate(y2)...；interpolate(yt))
19、其中，x为缩放结果即所述步骤2的输入数据，y∈rt*z*h*w，t为模态数量，yt为第t个模态的图像数据，z为三维立方体的深度，h为三维立方体的高度，w为三维立方体的宽度，interpolate为缩放方法，concat为连接两个或多个数组的方法。
20、进一步地，步骤2具体方法如下：
21、将输入数据送入对应的视频动作分类模型中，通过局部多头关系聚合器进行下采样得到浅层特征图。
22、进一步地，局部多头关系聚合器包括一个由三维卷积实现的位置编码和一个由三维卷积实现的上下文聚合器，通过局部多头关系聚合器进行下采样，包括以下步骤：
23、通过一个三维分组卷积实现的位置编码来捕获体素之间的位置关系：
24、xp＝p(x)+x
25、其中，xp为整合了位置编码的输入特征，p(x)＝concat(g1(x)；g2(x)...；gn(x))u，其中，x为所述输入数据，gn(x)为n个三维分组卷积，u为聚合n个分组卷积的可学习矩阵，u∈rc*c、r为实数集、c为复数集；
26、进而通过一个可学习的参数矩阵实现的局部关系聚合器lra，并使用残差连接得到输出特征：
27、xlp＝lra(xp)+xp
28、lra(xp)＝conv1(conv2(conv3(norm(xp))))
29、其中conv1，conv3为1x1的三维卷积核，conv2为5x5且padding＝2的三维卷积核，norm为pytorch中的nn.layernorm层；
30、最后输出特征通过一个前馈层得到最终的浅层特征图。
31、进一步地，前馈层为多层感知机：
32、x′lp＝dropout(linear1(gelu(linear2(xlp)))
33、其中linear1，linear2为pytorch中的nn.linear方法，gelu为非线性激活，dropout为向前传递的过程层，x′lp为浅层特征图。
34、进一步地，步骤3具体方法如下：
35、将浅层特征图送入深层全局多头关系聚合器进行特征融合得到融合特征，最终通过全连接层将融合特征映射到输出类别中得到预测结果。
36、进一步地，全局多头关系聚合器包括一个由三维卷积实现的位置编码和一个自注意力模块，所述特征融合，包括以下步骤：
37、首先通过一个三维分组卷积实现的位置编码来捕获体素之间的位置关系：
38、xlpp＝p(x′lp)+x′lp
39、其中，xlpp为整合了位置编码的浅层特征图，p(x)＝concat(g1(x)；g2(x)...；gn(x))u，其中，x′lp为浅层特征图，gn(x)为n个三维分组卷积，u为聚合n个分组卷积的可学习矩阵，u∈rc*c、r为实本文档来自技高网...
【技术保护点】
1.一种基于视频动作的多模型集成多相位MRI肿瘤分类方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于视频动作的多模型集成多相位MRI肿瘤分类方法，其特征在于，所述步骤1具体方法如下：
3.根据权利要求2所述的一种基于视频动作的多模型集成多相位MRI肿瘤分类方法，其特征在于，所述五倍交叉验证法如下：
4.根据权利要求2所述的一种基于视频动作的多模型集成多相位MRI肿瘤分类方法，其特征在于，所述缩放方法具体如下：
5.根据权利要求1所述的一种基于视频动作的多模型集成多相位MRI肿瘤分类方法，其特征在于，所述步骤2具体方法如下：
6.根据权利要求5所述的一种基于视频动作的多模型集成多相位MRI肿瘤分类方法，其特征在于，所述局部多头关系聚合器包括一个由三维卷积实现的位置编码和一个由三维卷积实现的上下文聚合器，所述通过局部多头关系聚合器进行下采样，包括以下步骤：
7.根据权利要求6所述的一种基于视频动作的多模型集成多相位MRI肿瘤分类方法，其特征在于，所述前馈层为多层感知机：
8.根据权利
9.根据权利要求8所述的一种基于视频动作的多模型集成多相位MRI肿瘤分类方法，其特征在于，所述全局多头关系聚合器包括一个由三维卷积实现的位置编码和一个自注意力模块，所述特征融合，包括以下步骤：
10.根据权利要求9所述的一种基于视频动作的多模型集成多相位MRI肿瘤分类方法，其特征在于，所述相似性函数是由自注意力机制实现的，表示为：
11.根据权利要求8所述的一种基于视频动作的多模型集成多相位MRI肿瘤分类方法，其特征在于，所述全连接层计算过程如下：
12.根据权利要求1所述的一种基于视频动作的多模型集成多相位MRI肿瘤分类方法，其特征在于，所述步骤4具体方法如下：
13.根据权利要求12所述的一种基于视频动作的多模型集成多相位MRI肿瘤分类方法，其特征在于，所述得到多个对不同类别具有不同分类能力的模型的预测结果，具体方法如下：
14.根据权利要求13所述的一种基于视频动作的多模型集成多相位MRI肿瘤分类方法，其特征在于，所述以F1-score，kappa的平均值作为筛选条件，筛选出model的最佳视频动作分类模型包括以下步骤：
15.根据权利要求13所述的一种基于视频动作的多模型集成多相位MRI肿瘤分类方法，其特征在于，所述视频动作分类模型model为uniformer的各种变体，包括uniformer-small、uniformer-base，对于每个模型均使用了迁移学习的策略，以对应模型在k-400数据集上预训练的权重作为初始化，训练过程中以F1-score和kappa的平均值作为评判标准挑选最优模型。
16.根据权利要求1所述的一种基于视频动作的多模型集成多相位MRI肿瘤分类方法，其特征在于，所述步骤5具体方法如下：
17.根据权利要求16所述的一种基于视频动作的多模型集成多相位MRI肿瘤分类方法，其特征在于，所述多个模型对所述输入数据的预测结果取平均值，方法如下：
...【技术特征摘要】
1.一种基于视频动作的多模型集成多相位mri肿瘤分类方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于视频动作的多模型集成多相位mri肿瘤分类方法，其特征在于，所述步骤1具体方法如下：
3.根据权利要求2所述的一种基于视频动作的多模型集成多相位mri肿瘤分类方法，其特征在于，所述五倍交叉验证法如下：
4.根据权利要求2所述的一种基于视频动作的多模型集成多相位mri肿瘤分类方法，其特征在于，所述缩放方法具体如下：
5.根据权利要求1所述的一种基于视频动作的多模型集成多相位mri肿瘤分类方法，其特征在于，所述步骤2具体方法如下：
6.根据权利要求5所述的一种基于视频动作的多模型集成多相位mri肿瘤分类方法，其特征在于，所述局部多头关系聚合器包括一个由三维卷积实现的位置编码和一个由三维卷积实现的上下文聚合器，所述通过局部多头关系聚合器进行下采样，包括以下步骤：
7.根据权利要求6所述的一种基于视频动作的多模型集成多相位mri肿瘤分类方法，其特征在于，所述前馈层为多层感知机：
8.根据权利要求1所述的一种基于视频动作的多模型集成多相位mri肿瘤分类方法，其特征在于，所述步骤3具体方法如下：
9.根据权利要求8所述的一种基于视频动作的多模型集成多相位mri肿瘤分类方法，其特征在于，所述全局多头关系聚合器包括一个由三维卷积实现的位置编码和一个自注意力模块，所述特征融合，包括以下步骤：
10.根据权利要求9所述的一种基于视频动作的多模型集成多相位mri肿瘤分类方法，其特征...
【专利技术属性】
技术研发人员：黄双萍，吴边喆，林梓浩，洪梓楠，钟楚龙，黄森，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。