【技术实现步骤摘要】
基于双路解码器实现针对X光片图像的分类识别的方法、系统、装置、处理器及存储介质
[0001]本专利技术涉及数字图像
,尤其涉及计算机视觉
,具体是指一种基于Transformer双路解码器实现针对X光片图像进行分类识别的方法、系统、装置、处理器及其计算机可读存储介质。
技术介绍
[0002]目前,胸部X射线(Chest X
‑
ray,CXR)是一种高效且廉价的影像学检查技术,常用于进行目标识别和筛查。随着深度卷积网络的不断发展,研究人员可以从大规模医疗数据中挖掘出可用的信息,各种基于CNN的方法被应用于胸部X射线的图像识别中。然而,大多数现有的基于CNN的方法仍然存在一些缺陷。比如:申请号为:CN202210171528.X的专利技术专利申请,其公开了在backbone的基础上添加了FCAnet多频谱通道注意力机制,增强backbone的特征提取能,其设计重点在于FCAnet多频谱通道注意力机制上;申请号为:CN202111510584.3的专利技术专利申请,使用了X光片信息,以及个人经历数据进 ...
【技术保护点】
【技术特征摘要】
1.一种基于Transformer双路解码器实现针对X光片图像进行分类识别的方法,其特征在于,所述的方法包括以下步骤:(1)采集胸部X光片数据集,并对X光片图像进行预处理操作;(2)构建特征编码器模块和标签编码器模块对采集的数据进行相关信息的提取;(3)构建双路解码器模块对提取到的相关信息解码处理;(4)构建分类注意力模块对所述的双路解码器模块输出的解码信息进行分类识别处理,以得到目标对象的识别结果;(5)使用非对称损失函数训练网络对采集到的数据集中类别分布不平衡的相关数据进行平衡优化。2.根据权利要求1所述的基于Transformer双路解码器实现针对X光片图像进行分类识别的方法,其特征在于,所述的步骤(1)具体包括以下步骤:(1.1)从数据集官网上下载CC
‑
CXRI数据集,得到尺寸为1024
×
1024pt的原始胸部X光片图;(1.2)将所述的原始胸部X光片图缩放为384
×
384pt,并使用数据增强方式对缩放后的图片进行处理,得到最终训练以及测试的图像。3.根据权利要求2所述的基于Transformer双路解码器实现针对X光片图像进行分类识别的方法,其特征在于,所述的数据增强方式包括:将经过缩放处理后的图像依次进行随机旋转[
‑
15
°
,15
°
],随后针对图像随机进行水平翻转处理,并使用均值为[0.485,0.456,0.406],方差为[0.229,0.224,0.225]进行数据归一化处理,以得到最终训练以及测试的图像。4.根据权利要求2所述的基于Transformer双路解码器实现针对X光片图像进行分类识别的方法,其特征在于,所述的步骤(2)具体包括以下步骤:(2.1)采用如下方式构建所述的特征编码器模块:使用CNN模型或者基于Transformer模型作为胸部X光片的特征提取网络,再将提取的3D特征图转换成2D特征图其中h和w分别代表特征图的长和宽,d代表特征图的维度;(2.2)采用如下方式构建所述的标签编码器模块:构建了一个可学习的标签嵌入图作为标签编码器模块,其中N代表类别数,d代表维度,且所述的标签编码器模块与特征编码器模块的维度保持一致;(2.3)基于构建的所述的特征编码器模块和标签编码器模块,对采集到的胸部X光片进行相关特征以及标签的提取。5.根据权利要求4所述的基于Transformer双路解码器实现针对X光片图像进行分类识别的方法,其特征在于,所述的双路解码器模块具体包括标签解码器模块以及特征解码器模块,所述的步骤(3)包括以下步骤:(3.1)构建所述的标签解码器模块:使用多头自注意力机制MHSA,多头交叉注意力机制MHCA以及一个多层MLP构建标签解码器,并在执行完每个操作之后,均使用层归一化和残差连接来进一步调整输出,得到一标签解码器的输出结果;(3.2)构建所述的特征解码器模块:使用多头自注意力机制MHSA,多头交叉注意力机制
MHCA以及一个多层MLP构建特征解码器,并在执行完每个操作之后,均使用归一化和残差连接来进一步调整输出,得到一特征解码器的输出结果。6.根据权利要求5所述的基于Transformer双路解码器实现针对X光片图像进行分类识别的方法,其特征在于,所述的步骤(3.1)具体包括如下步骤:(3.1.1)标签嵌入图首先经过一个线性映射层,产生一个query矩阵一个Key矩阵以及一个Value矩阵接着再将三个矩阵传入所述的多头自注意力机制MHSA中,如以下公式所示:其中,T为矩阵转置操作;(3.1.2)接着2D特征图先经过位置编码之后,再通过一个线性映射层,产生一个query矩阵一个Key矩阵以及一个Value矩阵再将所述的多头自注意力机制MHSA的输出值M,矩阵和矩阵传入所述的多头交叉注意力机制MHCA中,如以下公式所示:(3.1.3)最后通过一个多层MLP处理,得到标签解码器的输出7.根据权利要求6所述的基于Transformer双路解码器实现针对X光片图像进行分类识别的方法,其特征在于,所述的步骤...
【专利技术属性】
技术研发人员:朱煜,蒋晓奔,张琦,叶炜韬,杨达伟,
申请(专利权)人:华东理工大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。