一种基于深度学习和Radon变换的医学图像检索方法技术

一种基于深度学习和Radon变换的医学图像检索方法涉及计算机视觉和图像检索领域。在“粗”检索阶段，采用BING目标建议算法检测具有显著对象的区域，通过在深度卷积网络架构中引入部分均值Pooling，可提取出基于区域的显著区分性特征并降低特征维度，再聚合形成一个全局特征表达。在特征向量量化过程中，使用乘积量化算法来解决特征向量间相似性度量计算高复杂度问题。“细”检索阶段，借助Radon变换可将图像在多角度做积分投影，获取图像更多细节信息的特性，将“粗”检索中得到的Top50图像经过Radon变换生成Radon条码，经过相似性度量达到更精确检索。本发明专利技术提高医学图像检索的准确率，克服了直接使用卷积神经网络带来的特征区分性不强，特征维度高等医学图像检索问题。

【技术实现步骤摘要】
一种基于深度学习和Radon变换的医学图像检索方法
本专利技术涉及计算机视觉和图像检索领域，具体涉及一种基于深度学习和Radon变换的医学图像检索方法。
技术介绍
随着图像处理技术在医学领域的应用日益广泛，每天都会产生大量的医学图像，如CT图像、B超图像、MRI图像等，它们是临床诊断治疗和医学图像研究的重要依据。如何对这些医学图像进行有效管理，从中检索中医生需要的信息，是当今医学图像研究方面的重要课题。传统基于内容的医学图像检索(CBMIR)方法是顺序地将查询图像与数据库中图像逐个进行比对，其线性复杂性导致其在现实环境中存在着低效率和低扩展性等缺点，同时提取特征为底层视觉特征，它与高层的语义特征之间存在着语义鸿沟，而且通常具有高维度，计算难度较大等难题。受深度学习及卷积神经网络在视觉检索任务及在应对像素级信息与人类感知语义信息关联之间问题上的突出性能表现，越来越多的注意力转移到深度网络中。但医学图像具有其特别之处：大部分医学图像都是灰度级且医学图像中大部分有价值的信息都包含在很小的局部区域内，如异常或恶性肿瘤等。不同于生活中的其它图像，医学图像自身的特殊性限制了深度网络的可用性，在涉及医学图像检索方法时，须充分考虑医学图像的全局特性和局部特性。虽然卷积神经网络可以提取医学图像丰富的语义信息，更好地描述图像，但由于CNN提取图像特征都是高维的且通常是全局特征表达，对医学图像检索任务中具有区分性的特征不能有效地提取，因此需要在此基础上对医学图像做分块处理并对卷积神经网络框架进行必要的改进，同时结合传统方法，进一步提高医学图像检索的精度和准确度。
技术实现思路
(一)本专利技术要解决的技术问题本专利技术的目的在于针对上述已有的医学图像检索技术缺陷，提出一种基于深度学习和Radon变换的医学图像检索方法。在“粗”检索阶段，采用BING(BinarizedNormedGradients)目标建议算法检测具有显著对象的区域，通过在深度卷积网络架构中引入部分均值Pooling，可提取出基于区域的显著区分性特征并降低特征维度，再聚合形成一个全局特征表达。同时，在特征向量量化过程中，使用乘积量化算法来解决特征向量间相似性度量计算高复杂度问题。“细”检索阶段，借助Radon变换可将图像在多角度做积分投影，获取图像更多细节信息的特性，将“粗”检索中得到的Top50图像经过Radon变换生成Radon条码(RBC)，经过相似性度量从而达到更精确检索。“粗”检索与“细”检索相结合的方法，大大提高医学图像检索的准确率，克服了直接使用卷积神经网络带来的特征区分性不强，特征维度高等医学图像检索问题。(二)本专利技术的技术方案一种基于深度学习和Radon变换的医学图像检索方法，其特征在于，包含如下步骤：步骤一：基于卷积神经网络的“粗”检索(1)将医学图像数据集中的所有图像采用统一尺寸；(2)将图像数据集及其对应的类别标签信息分为训练集样本和测试集样本两部分，每个样本集中每个样本均包含一图像及其对应的类别标签；(3)采用CaffeNet基本网络架构，构建深度卷积神经网络架构，深度卷积神经网络架构包括输入层、卷积层、Pooling层、全连接层和输出层；在pool5层生成的每个特征映射中对卷积神经网络pool5层的响应做降序排列；将卷积神经网络架构中引入两阶段部分均值pooling；(4)依托构建深度卷积神经网络架构，输入训练集样本进行训练得到深度卷积神经网络模型；(5)首先采用BING目标建议算法对输入数据库图像做分块处理，将分块后的图像输入到上述卷积神经网络模型中，得到与其对应的图像全局特征向量表达，经过乘积量化处理，当给定一张查询图像，便可获取查询图像所属类别并输出Top50与查询图像最相似的数据库中图像；步骤二：基于Radon变换的“细”检索对步骤一中获得的Top50图像，通过Radon变换，生成Radon条码即RBC，计算查询图像RBC和数据库图像RBC之间的汉明距离，选择出与查询图像最相似图像，具体如下：(1)将查询图像及Top50图像均降采样到固定分辨率；(2)使用Radon变换获得投影；(3)通过改变投影角度获得不同的投影，然后基于“局部”阈值二值化投影，生成代码片段；最后，所有代码片段被连接以生成该图像的RBC；(4)对比查询图像与Top50某一图像之间的RBC汉明距离，如果距离最小，则认为二者最相似，以此得到Top10图像检索结果。更具体包含如下步骤：步骤一：基于卷积神经网络的“粗”检索(1)采用Center-crop方法将医学图像数据集中的所有图像采用统一尺寸，这样可以保证图片不变形的条件下突出医学图像主体；(2)将图像数据集及其对应的类别标签信息分为训练集样本和测试集样本两部分，每个样本集中每个样本均包含一图像及其对应的类别标签；(3)采用CaffeNet基本网络架构(共七层网络)，构建本专利技术所需的深度卷积神经网络架构，深度卷积神经网络架构包括输入层、卷积层、Pooling层、输出层等，网络结构如图2；(4)依托构建深度卷积神经网络架构，输入训练集样本进行训练得到深度卷积神经网络模型；(5)首先采用BING目标建议算法对输入数据库图像做分块处理，将分块后的图像输入到上述卷积神经网络模型中，即可得到与其对应的图像全局特征向量表达，经过乘积量化处理，当给定一张查询图像，便可获取查询图像所属类别并输出Top50与查询图像最相似的数据库中图像。上述的，(5)中由于输入图像存在多尺度、噪声等问题，而训练模型很难处理这些问题。由于BING能够有效地检测目标且具有较高的计算效率，故采用BING目标建议算法对输入数据库图像进行区域建议，实现对图像的分块处理操作，分块处理的好处在于可以提取显著目标区域，同时减少噪声及背景干扰，对后续卷积神经网络提取显著区域高区分性特征，描述显著区域语义信息具有重要贡献。上述的，(5)中pool5层的每个特征映射是一个6*6的矩阵形式，其中每个矩阵元素编码不同的位置信息，为了获取pool5层的结构信息，可通过连接36个元素响应实现，而位置不变性却得不到满足，因此在每个特征映射中对卷积神经网络模型pool5层的响应做降序排列，降序排列可以收集在不同位置处的有意义目标的更高响应，减小了后续相似性度量计算受目标位置方差的影响。上述的，(3)中受医学图像自身特殊性限制，即医学图像中大部分有价值信息都包含在很小的局部区域内。针对医学图像这一特性，在对医学图像做分块操作和对特征响应做降序排列的基础上，将卷积神经网络架构中引入两阶段部分均值pooling(见附图2)，对降序排列后的特征进行重新整合，以形成紧凑且具区分性的特征表达。第一阶段pooling主要是从特征映射中获取最具区分性特征，消除特征表示中位置方差的负面影响，同时将特征变换到一个低维表达；第二阶段pooling将第一阶段pooling从不同块中提取出的区分性特征聚合形成全局特征表达。这种两阶段部分均值pooling规避了最大pooling和均值pooling的缺点，并对它们的优点进行了优化。上述的，(5)中相似性度量过程中，引入乘积量化算法。传统通过比较向量相似度的欧式距离存在两个问题，一是数据库中一般含有的特征向量数目非常多，遍历特征向量会花费更多时间；其次本文档来自技高网...

【技术保护点】
一种基于深度学习和Radon变换的医学图像检索方法，其特征在于，包含如下步骤：步骤一：基于卷积神经网络的“粗”检索(1)将医学图像数据集中的所有图像采用统一尺寸；(2)将图像数据集及其对应的类别标签信息分为训练集样本和测试集样本两部分，每个样本集中每个样本均包含一图像及其对应的类别标签；(3)采用CaffeNet基本网络架构，构建深度卷积神经网络架构，深度卷积神经网络架构包括输入层、卷积层、Pooling层、全连接层和输出层；在pool5层生成的每个特征映射中对卷积神经网络pool5层的响应做降序排列；将卷积神经网络架构中引入两阶段部分均值pooling；(4)依托构建深度卷积神经网络架构，输入训练集样本进行训练得到深度卷积神经网络模型；(5)首先采用BING目标建议算法对输入数据库图像做分块处理，将分块后的图像输入到上述卷积神经网络模型中，得到与其对应的图像全局特征向量表达，经过乘积量化处理，当给定一张查询图像，便可获取查询图像所属类别并输出Top50与查询图像最相似的数据库中图像；步骤二：基于Radon变换的“细”检索对步骤一中获得的Top50图像，通过Radon变换，生成Radon条码即RBC，计算查询图像RBC和数据库图像RBC之间的汉明距离，选择出与查询图像最相似图像，具体如下：(1)将查询图像及Top50图像均降采样到固定分辨率；(2)使用Radon变换获得投影；(3)通过改变投影角度获得不同的投影，然后基于“局部”阈值二值化投影，生成代码片段；最后，所有代码片段被连接以生成该图像的RBC；(4)对比查询图像与Top50某一图像之间的RBC汉明距离，如果距离最小，则认为二者最相似，以此得到Top10图像检索结果。...

【技术特征摘要】
1.一种基于深度学习和Radon变换的医学图像检索方法，其特征在于，包含如下步骤：步骤一：基于卷积神经网络的“粗”检索(1)将医学图像数据集中的所有图像采用统一尺寸；(2)将图像数据集及其对应的类别标签信息分为训练集样本和测试集样本两部分，每个样本集中每个样本均包含一图像及其对应的类别标签；(3)采用CaffeNet基本网络架构，构建深度卷积神经网络架构，深度卷积神经网络架构包括输入层、卷积层、Pooling层、全连接层和输出层；在pool5层生成的每个特征映射中对卷积神经网络pool5层的响应做降序排列；将卷积神经网络架构中引入两阶段部分均值pooling；(4)依托构建深度卷积神经网络架构，输入训练集样本进行训练得到深度卷积神经网络模型；(5)首先采用BING目标建议算法对输入数据库图像做分块处理，将分块后的图像...

【专利技术属性】
技术研发人员：蔡轶珩，邱长炎，高旭蓉，崔益泽，王雪艳，孔欣然，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京,11