一种基于多模态的甲状腺肿瘤图像分类方法及终端设备技术

本发明专利技术公开了一种基于多模态的甲状腺病理图像分类方法及终端设备，其中，方法包括步骤：采用三个ResNet18网络分别对三个模态的甲状腺病理图像进行信息特征提取，得到三模态信息特征，所述三个模态的甲状腺病理图像包括甲状腺超声图像、甲状腺弹性图像和甲状腺血流图像；采用多模态多头注意力模块提取三个模态的甲状腺病理图像的共有信息特征；将三模态信息特征和共有信息特征进行融合后，并利用残差网络进行甲状腺病理图像分类，输出分类结果。本发明专利技术在合作研究单位提供的多模态甲状腺超声数据集上验证了设计的多模态的甲状腺病理图像分类方法，结果证明了此方法可以准确地对甲状腺病理图像进行分类，为超声科医生对诊断甲状腺癌提供快速、准确的辅助。准确的辅助。准确的辅助。

【技术实现步骤摘要】
一种基于多模态的甲状腺肿瘤图像分类方法及终端设备


[0001]本专利技术涉及图像识别
，尤其涉及一种基于多模态的甲状腺肿瘤图像分类方法及终端设备。

技术介绍

[0002]甲状腺癌是最常见的甲状腺恶性肿瘤，约占1％系统性恶性肿瘤，可发生于多个年龄段。甲状腺组织结构复杂，超声图像干扰因素较多。因此，医生很难直接对甲状腺癌超声图像中的病灶特征进行分类。为了缓和这种情况，除了甲状腺超声成像外，医生通常还会结合超声弹性成像和超声血流成像，用以更加精确的识别甲状腺癌图像。
[0003]目前，由于获得高维特征的优势，深度学习在计算机辅助诊断中取得了可喜的成果。不过现有的研究大部分都是基于单一甲状腺超声图像进行分类诊断，未能利用弹性图像中的组织软硬信息以及血流图像中的血流信息，导致甲状腺癌图像的识别准确率较低。
[0004]因此，现有技术还有待于改进和发展。

技术实现思路

[0005]鉴于上述现有技术的不足，本专利技术的目的在于提供一种基于多模态的甲状腺肿瘤图像分类方法及终端设备，旨在解决现有技术对甲状腺癌图像的分类准确率较低的问题。
[0006]本专利技术的技术方案如下：
[0007]一种基于多模态的甲状腺病理图像分类方法，其中，包括步骤：
[0008]获取三个模态的甲状腺病理图像，所述三个模态的甲状腺病理图像包括甲状腺超声图像、甲状腺弹性图像和甲状腺血流图像；
[0009]采用三个ResNet18网络分别对所述三个模态的甲状腺病理图像进行信息特征提取，得到三模态信息特征；
[0010]采用多模态多头注意力模块提取三个模态的甲状腺病理图像的共有信息特征；
[0011]将所述三模态信息特征和共有信息特征进行融合后，并利用残差网络进行甲状腺病理图像分类，输出分类结果。
[0012]所述基于多模态的甲状腺病理图像分类方法，其中，采用三个ResNet18网络分别对所述三个模态的甲状腺病理图像进行信息特征提取，得到三模态信息特征的步骤包括：
[0013]在ResNet18网络中采用双数复小波变换替换卷积操作，得到改进后ResNet18网络；
[0014]采用三个改进后ResNet18网络分别对所述三个模态的甲状腺病理图像进行信息特征提取，得到三模态自身特征；
[0015]在所述ResNet18网络中加入多模态特征融合模块，通过所述多模态特征融合模块提取所述三个模态的甲状腺病理图像的共同特征；
[0016]通过所述多模态特征融合模块将所述三模态自身特征与所述共同特征进行融合，得到三模态信息特征。
[0017]所述基于多模态的甲状腺病理图像分类方法，其中，通过所述多模态特征融合模块提取所述三个模态的甲状腺病理图像的共同特征的步骤包括：
[0018]将三模态自身特征级联在一起，用1x1卷积去提取所述三模态自身特征中的共有特征；
[0019]通过全局平均池化提取三模态自身特征的通道信息，再使用提取到的通道信息向量去构成一个包含三模态各通道间相关信息的通道信息特征F
C
(i，j，k)；
[0020]再采用1x1卷积和全局平均池化对通道信息特征F
CC
×
C
×
C
进行进一步的提取，以对从三模态自身特征提取到的通道信息重新调整其通道权值；
[0021]采用自注意力模块从所述三模态自身特征中提取有用特征，并将所述有用特征与从所述三模态自身特征中提取到的共有特征融合，得到融合后的特征；
[0022]将所述融合后的特征送回各改进后ResNet18网络用以指导改进后ResNet18网络的特征提取方向，使得三个改进后ResNet18网络提取到的特征维度接近，得到三模态信息特征。
[0023]所述基于多模态的甲状腺病理图像分类方法，其中，所述通道信息特征F
C
(i，j，k)的值为将三个模态对应坐标位置的通道信息相乘所得，F
C
(i，j，k)＝V1(i)*V2(j)*V3(k) i，j，k∈[0，C)，其中，V1、V2、V3代表从三模态自身特征中提取的通道信息向量；i，j，k代表对应的坐标位置。
[0024]所述基于多模态的甲状腺病理图像分类方法，其中，所述融合后的特征表达式为：
[0025]F
′
i
＝Bottleneck({Attention，Conv}(F1，F2，F3))，i＝1，2，3，，其中，
[0026]Bottleneck()代表瓶颈层，用以提取特征，{Attention，Conv}分别代表注意力模块和1x1卷积模块。
[0027]所述基于多模态的甲状腺病理图像分类方法，其中，所述多模态特征融合模块的参数获取步骤为：
[0028]设置自监督任务对ResNet18网络进行预训练，所述自监督任务为对甲状腺超声图像、甲状腺弹性图像和甲状腺血流图像的分类任务；
[0029]所述自监督分类任务采用的损失函数为交叉熵函数，且分类过程表达为：l
self
＝
‑
∑
classesf
(y
true
)log y
pred
，其中，fO代表标签平滑处理；
[0030]在完成自监督预训练后，将ResNet18网络中的参数迁移到多模态特征融合模块中。
[0031]所述基于多模态的甲状腺病理图像分类方法，其中，采用多模态多头注意力模块提取三个模态的甲状腺病理图像的共有信息特征的步骤包括：
[0032]采用动态窗口将输入的三个模态的甲状腺病理图像划分为多个子图像；
[0033]一个注意力计算机制中的向量Q、K、V分别由三个模态图像相同位置大小的子图像编码所得，即通过一个注意力提取三个模态的甲状腺病理图像相同位置的共同信息；
[0034]所有的子图像对应的注意力计算构成了多头注意力机制，输出得到一个包含三模态共同信息的特征向量，将所述特征向量输入编码器中提取共有信息特征。
[0035]一种存储介质，其中，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现本专利技术所述基于多模态的甲状腺病理图像分类方法中的步骤。
[0036]一种终端设备，其中，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
[0037]所述通信总线实现处理器和存储器之间的连接通信；
[0038]所述处理器执行所述计算机可读程序时实现本专利技术所述基于多模态的甲状腺病理图像分类方法中的步骤。
[0039]有益效果：本专利技术提出以三个使用双树复小波变换改进后的ResNet18为分支，分别提取三个模态的甲状腺病理图像的三模态信息特征，再通过一个多模态多头注意力模块分支去提取三个模态的甲状腺病理图像的共有信息特征，将所述三模态信息特征和共有信息特征进行融合后，并利用残差网络进行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态的甲状腺病理图像分类方法，其特征在于，包括步骤：获取三个模态的甲状腺病理图像，所述三个模态的甲状腺病理图像包括甲状腺超声图像、甲状腺弹性图像和甲状腺血流图像；采用三个ResNet18网络分别对所述三个模态的甲状腺病理图像进行信息特征提取，得到三模态信息特征；采用多模态多头注意力模块提取三个模态的甲状腺病理图像的共有信息特征；将所述三模态信息特征和共有信息特征进行融合后，并利用残差网络进行甲状腺病理图像分类，输出分类结果。2.根据权利要求1所述基于多模态的甲状腺病理图像分类方法，其特征在于，采用三个ResNet18网络分别对所述三个模态的甲状腺病理图像进行信息特征提取，得到三模态信息特征的步骤包括：在ResNet18网络中采用双数复小波变换替换卷积操作，得到改进后ResNet18网络；采用三个改进后ResNet18网络分别对所述三个模态的甲状腺病理图像进行信息特征提取，得到三模态自身特征；在所述ResNet18网络中加入多模态特征融合模块，通过所述多模态特征融合模块提取所述三个模态的甲状腺病理图像的共同特征；通过所述多模态特征融合模块将所述三模态自身特征与所述共同特征进行融合，得到三模态信息特征。3.根据权利要求2所述基于多模态的甲状腺病理图像分类方法，其特征在于，通过所述多模态特征融合模块提取所述三个模态的甲状腺病理图像的共同特征的步骤包括：将三模态自身特征级联在一起，用1x1卷积去提取所述三模态自身特征中的共有特征；通过全局平均池化提取三模态自身特征的通道信息，再使用提取到的通道信息向量去构成一个包含三模态各通道间相关信息的通道信息特征F
C
(i，j，k)；再采用1x1卷积和全局平均池化对通道信息特征F
CC
×
C
×
C
进行进一步的提取，以对从三模态自身特征提取到的通道信息重新调整其通道权值；采用自注意力模块从所述三模态自身特征中提取有用特征，并将所述有用特征与从所述三模态自身特征中提取到的共有特征融合，得到融合后的特征；将所述融合后的特征送回各改进后ResNet18网络用以指导改进后ResNet18网络的特征提取方向，使得三个改进后ResNet18网络提取到的特征维度接近，得到三模态信息特征。4.根据权利要求3所述基于多模态的甲状腺病理图像分类方法，其特征在于，所述通道信息特征F
C
(i，jk)的值为将三个模态对应坐标位置的通道信息相乘所得，F
C
(i，j，k...

【专利技术属性】
技术研发人员：姜伟，邓晓妃，朱婷，汪天富，雷柏英，向卓，柳懿垚，赵程，
申请(专利权)人：华中科技大学协和深圳医院，
类型：发明
国别省市：