一种用于肺炎CT图像分类的深度哈希方法技术

本发明专利技术涉及医学图像处理技术领域，具体涉及一种用于肺炎CT图像分类的深度哈希方法。该发明专利技术首先建立肺炎CT图像数据集，统一肺炎CT图像尺寸，并将其划分成训练集T

【技术实现步骤摘要】
一种用于肺炎CT图像分类的深度哈希方法


[0001]本专利技术涉及医学图像处理
，特别是涉及一种用于肺炎CT图像分类的深度哈希方法。

技术介绍

[0002]肺部CT图像是诊断肺炎的金标准，在肺部CT图像上不同的肺炎类型表现的也不一样。正常人的肺部CT图像的双侧胸廓是对称的，肺透过度以及肺纹理正常，无增粗、紊乱，双肺野内无明显异常密度阴影；而COVID
‑
19患者的肺部CT图像早期存在肺外带的小斑片状阴影以及肺间质的改变，进而发展为两肺的磨玻璃影、浸润影，以及肺实变，严重时还可以出现胸腹积液、肺部病理变化、肺部呈不同程度的实变，实变区主要呈现弥漫性的肺泡损伤和渗出性的肺泡炎，肺泡腔内可以见到浆液、纤维蛋白性渗出物及透明膜形成，小支气管和细支气管亦见黏液栓形成；对普通肺炎患者的肺部CT图像来说，如果是常见的社区获得性病原菌引起大叶性肺炎，常常在影像学上表现为呈肺叶或肺段分布的局限性的斑片状密度增高影，患者往往有明确的呼吸道感染病史，如果引起的是小叶性肺炎患者的肺部炎症渗出，往往以斑片状的渗出为主。
[0003]然而，在目前大数据环境下，每天都会产生数以万计的CT图像，如何对它们有效分类是一个亟需解决的难题。传统意义上通常需要依靠医生的主观判断，这不仅需要消耗大量的人力，而且还浪费了大量时间，更严重的将会造成错判、误判的情况，对病人的生命健康也造成了一定的影响。
[0004]深度学习的兴起推动了医学图像处理领域的发展，尤其在肺部CT图像分类方面。目前，肺部CT图像的分类大多采用卷积神经网络CNNs来提取图像的深层特征，从而区分出不同种类。然而，肺部CT图像之间的差异往往出现在病变区域上，而其他区域基本类似，也就是说同一部位的医学图像的相似度往往是非常大的，这就对分类的准确率造成了一定的影响。
[0005]在这种背景下，本专利技术专利提出采用双线性卷积神经网络BCNN来提取肺部CT图像的细粒度特征，找出不同肺部CT图像间的微小差异，进而将提取到的深度特征映射到二值汉明空间中，从而对其分类。这样，不仅提高了分类准确率，还节省了分类时间。

技术实现思路

[0006]本专利技术的目的是解决上述问题，提出了一种用于肺炎CT图像分类的深度哈希方法。
[0007]为了实现上述目的，本专利技术采用了如下技术方案：
[0008]一种用于肺炎CT图像分类的深度哈希方法，包括以下步骤：
[0009]S10：建立肺炎CT图像数据集；
[0010]S20：数据预处理，首先将数据集进行数据增强、扩充，并按照80％、20％比例将数据集划分为训练集T
r
＝(x1,x2,...,x
n
),n＝1,2,...,N和测试集T
e
＝(y1,y2,...,y
m
),m＝1,
2,...,m，然后将肺炎CT图像的尺寸统一调整为224
×
224，通道数为1，在该数据集中包含3种类型的CT图像，即正常人的肺部CT图像、COVID
‑
19患者的肺部CT图像以及普通肺炎患者的肺部CT图像，最后构造训练集T
r
的相似度矩阵S，其中
[0011][0012]且S
ij
∈R
N
×
N
,i,j＝1,2,...,N；
[0013]S30：构建深度哈希网络模型，该模型包括双线性特征学习和哈希编码学习两个模块，在模型训练时，首先使用双线性卷积神经网络BCNN来提取肺炎CT图像的细粒度特征，然后将提取到的细粒度特征输入到哈希编码学习模块，从而将对应肺炎CT图像的细粒度特征映射成二进制哈希编码；
[0014]S40：根据步骤S30得到的哈希编码计算2种损失，即相似度损失L
S
和对比损失L
cl
，并定义总的损失函数为：L＝L
S
+αL
cl
，其中α＝0.1为权重因子；
[0015]S50：引入多任务哈希训练策略，重复使用双线性特征学习模块，将提取到的肺炎CT图像的双线性特征向量v'(x
i
)∈R
262144
×1,v'(x
j
)∈R
262144
×1,i,j＝1,2,...,N,且i≠j分别通过包含4个分支的哈希编码学习模块，并且每个分支包含2个全连接层和1个全连接哈希层，使该模型可以同时学习12、24、32、48位的哈希编码；
[0016]S60：使用交替学习算法对目标函数中的深度哈希网络模型参数θ、哈希编码矩阵B、权重矩阵W以及偏置向量V进行优化更新，并保存模型；
[0017]S70：首先使用预训练的模型读取测试集T
e
的肺炎CT图像y
k
,k＝1,2,...,m，得到其哈希编码,c＝12,24,32,48,然后将与哈希编码矩阵B∈R
c
×
N
,c＝12,24,32,48的每一列进行比较，取汉明距离较小前5个进行比对，属于哪一类别的数目多，则将y
k
分至该类别，最后计算测试集分类的平均准确率。
[0018]作为本专利技术的优选技术方案：在步骤S30中，双线性特征学习模块主要包括A和B两个分支，并且分支A和分支B是由两个相同的VGG16模型组成，每一个分支的卷积层conv分为5段，共13个卷积层，并且每一个卷积层的卷积核的大小为3
×
3，步长stride和填充padding皆设置为1，在前4段卷积层之后都有一个最大池化层maxpool，并且池化框大小皆为2
×
2，步长stride设置为2，以A分支为例，所设计的网络结构具体步骤如下：
[0019]S31：首先将肺炎CT图像的训练集T
r
随机划分成图像对(x
i
,x
j
),i,j＝1,2,...,N,且i≠j，并读取图像对和相似度矩阵S，然后经过过滤器filter数目为64的第1段卷积层conv1、conv2之后，提取到的肺炎CT图像特征图的尺寸为224
×
224
×
64，接着将其通过最大池化层maxpool1，肺炎CT图像特征图的最终输出尺寸为112
×
112
×
64；
[0020]S32：将maxpool1的输出经过过滤器filter数目为128的第2段卷积层conv3、conv4之后，提取到的肺炎CT图像特征图的尺寸为112
×
112
×
128，接着将其通过最大池化层maxpool2，肺炎CT图像特征图的最终输出尺寸为56
×
56
×
128；
[0021]S33：将maxpool2的输出经过过滤器filter数目为256的第3段卷积层conv5、conv6和conv7之后，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于肺炎CT图像分类的深度哈希方法，其特征在于，包括以下步骤：S10：建立肺炎CT图像数据集；S20：数据预处理，首先将数据集进行数据增强、扩充，并按照80％、20％比例将数据集划分为训练集T
r
＝(x1,x2,...,x
n
),n＝1,2,...,N和测试集T
e
＝(y1,y2,...,y
m
),m＝1,2,...,m，然后将肺炎CT图像的尺寸统一调整为224
×
224，通道数为1，在该数据集中包含3种类型的CT图像，即正常人的肺部CT图像、COVID
‑
19患者的肺部CT图像以及普通肺炎患者的肺部CT图像，最后构造训练集T
r
的相似度矩阵S，其中且S
ij
∈R
N
×
N
,i,j＝1,2,...,N；S30：构建深度哈希网络模型，该模型包括双线性特征学习和哈希编码学习两个模块，在模型训练时，首先使用双线性卷积神经网络BCNN来提取肺炎CT图像的细粒度特征，然后将提取到的细粒度特征输入到哈希编码学习模块，从而将对应肺炎CT图像的细粒度特征映射成二进制哈希编码；S40：根据步骤S30得到的哈希编码计算2种损失，即相似度损失L
S
和对比损失L
cl
，并定义总的损失函数为：L＝L
S
+αL
cl
，其中α＝0.1为权重因子；S50：引入多任务哈希训练策略，重复使用双线性特征学习模块，将提取到的肺炎CT图像的双线性特征向量v'(x
i
)∈R
262144
×1,v'(x
j
)∈R
262144
×1,i,j＝1,2,...,N,且i≠j分别通过包含4个分支的哈希编码学习模块，并且每个分支包含2个全连接层和1个全连接哈希层，使该模型可以同时学习12、24、32、48位的哈希编码；S60：使用交替学习算法对目标函数中的深度哈希网络模型参数θ、哈希编码矩阵B、权重矩阵W以及偏置向量V进行优化更新，并保存模型；S70：首先使用预训练的模型读取测试集T
e
的肺炎CT图像y
k
,k＝1,2,...,m，得到其哈希编码by
k
∈R
c
×1,c＝12,24,32,48,然后将by
k
与哈希编码矩阵B∈R
c
×
N
,c＝12,24,32,48的每一列进行比较，取汉明距离较小前5个进行比对，属于哪一类别的数目多，则将y
k
分至该类别，最后计算测试集分类的平均准确率。2.根据权利要求1所述的一种用于肺炎CT图像分类的深度哈希方法，其特征在于，在步骤S30中，双线性特征学习模块主要包括A和B两个分支，并且分支A和分支B是由两个相同的VGG16模型组成，每一个分支的卷积层conv分为5段，共13个卷积层，并且每一个卷积层的卷积核的大小为3
×
3，步长stride和填充padding皆设置为1，在前4段卷积层之后都有一个最大池化层maxpool，并且池化框大小皆为2
×
2，步长stride设置为2，以A分支为例，所设计的网络结构具体步骤如下：S31：首先将肺炎CT图像的训练集T
r
随机划分成图像对(x
i
,x
j
),i,j＝1,2,...,N,且i≠j，并读取图像对和相似度矩阵S，然后经过过滤器filter数目为64的第1段卷积层conv1、conv2之后，提取到的肺炎CT图像特征图的尺寸为224
×
224
×
64，接着将其通过最大池化层maxpool1，肺炎CT图像特征图的最终输出尺寸为112
×
112
×
64；S32：将maxpool1的输出经过过滤器filter数目为128的第2段卷积层conv3、conv4之后，提取到的肺炎CT图像特征图的尺寸为112
×
112
×
128，接着将其通过最大池化层
maxpool2，肺炎CT图像特征图的最终输出尺寸为56
×
56
×
128；S33：将maxpool2的输出经过过滤器filter数目为256的第3段卷积层conv5、conv6和conv7之后，提取到的肺炎CT图像特征图的尺寸为56
×
56
×
256，接着将其通过最大池化层maxpool3，肺炎CT图像特征图的最终输出尺寸为28
×
28
×
256；S34：将maxpool3的输出经过过滤器filter数目为512的第4段卷积层conv8、conv9和conv10之后，提取到的肺炎CT图像特征图的尺寸为28
×
28
×
512，接着将其通过最大池化层maxpool4，肺炎CT图像特征图的最终输出尺寸为14
×
14
×
512；S35：将maxpool4的输出经过过滤器filter数目为512的第5段卷积层conv11、conv12和conv13之后，提取到的肺炎CT图像特征图的输出尺寸为14
×
14
×
512；此时，令分支A提取到的肺炎CT图像的特征为F
A
(x
i
)∈R
14
×
14
×
512
、F
A
(x
j
)∈R
14
×
14
×
512
，分支B提取到的肺炎CT图像的特征为F
B
(x
i
)∈R
14
×
14
×
512
、F
B
(x
j
)∈R
14
×
14
×
512
；S36：将分支A和分支B的输出通过双线性池化层bilinearpooling，对肺炎CT图像对(x
i
,x
j
),i,j＝1,2,...,N,且i≠j在位置l处的深层特征f
A
(l,x
i
)∈R1×
512
、f
B
(l,x
i
)∈R1×
512
和f
A
...

【专利技术属性】
技术研发人员：丁卫平，刘传升，王海鹏，鞠恒荣，黄嘉爽，程纯，曹金鑫，
申请(专利权)人：南通大学，
类型：发明
国别省市：