一种基于卷积神经网络的肺结节图像块检索方法及装置制造方法及图纸

本发明专利技术涉及一种基于卷积神经网络的肺结节图像块检索方法及装置，通过对获取的肺结节图像块进行切片处理，得到至少两张肺结节切片扫描图，通过构造卷积神经网络提取肺结节切片扫描图的图像特征，得到肺结节的局部特征集合，获取数据库中所有肺结节的局部特征集合，对所有肺结节的局部特征集合进行聚类构建视觉词典，基于视觉词典获取肺结节带权特征向量，通过倒排索引的方式对肺结节带权特征向量构建索引库，根据输入的查询信息对索引库执行检索，得到符合查询条件的肺结节图像块。本发明专利技术能够快速、准确的检索出与待检索肺结节最相似的肺结节图像序列。

Method and device for retrieving lung nodule image block based on convolution neural network

The invention relates to a convolutional neural network block of pulmonary nodule image retrieval method and apparatus based on the pulmonary nodule image acquisition block section processing, get at least two pulmonary nodules section scanning, by constructing a convolutional neural network image feature extraction of lung nodule slice scan, to obtain local features of pulmonary nodules set. A collection of local features to obtain all pulmonary nodules in the database, the local feature of all pulmonary nodules set by clustering visual dictionary construction, visual Lexicon Acquisition pulmonary nodules weighted feature vector based on the inverted index of pulmonary nodules with the right to construct index database according to the input feature vector, the query information retrieval on the index repository. Get the pulmonary nodule image block query. The invention can quickly and accurately retrieve the image sequence of the pulmonary nodule which is the most similar to the pulmonary nodule to be retrieved.

【技术实现步骤摘要】
一种基于卷积神经网络的肺结节图像块检索方法及装置
本专利技术涉及医学图像处理
，尤其涉及一种基于卷积神经网络的肺结节图像块检索方法及装置。
技术介绍
肺部结节是临床上常见的一种疾病，是胸外科常见的又较难难确诊的疾病,早期及时发现是提高患者生存率的关键，随着影像学尤其是螺旋CT的发展和日益完善普及，肺部微小结节性病变的发现率明显提高，但是对肺部微小结节性病变的定性诊断仍较困难。在此背景下，医疗检索系统的作用就凸显出来了，医疗检索系统利用肺结节图像信息进行检索，从而匹配同类型的肺结节图像，参考以往的专家诊疗数据，为临床提供更多的诊断信息和依据。与本专利技术相关的现有技术：图像检索技术由早期的基于文本的图像检索逐渐发展为基于内容的图像检索，其主要思想是通过提取图像视觉底层特征来实现图像内容表达，检索方法主要基于图像的多维特征进行相似性查询。其中，目前常用于描述图像的特征主要有SIFT、LBP、Gabor、BOW和CNN特征等。其中SIFT特征是最常用的矢量特征，它对图像的光照、尺度、位移等变化都具有较好的容忍性。然而该特征计算量较大，纬度较高，计算较复杂。BOW特征也是图像检索领域中广泛使用的特征，每幅图像都可以描述为一个局部区域特征的无序集合。使用聚类方法将局部特征进行聚类，每个聚类中心被看作是视觉词典中的一个词汇，视觉词汇由聚类中心对应特征形成码字来表示。图像中的每个特征都将被映射到视觉词典的某个词上，这种映射可以通过计算特征间的距离去实现，然后统计每个视觉词的出现次数，从而得到每个图像的直方图向量，即BOW特征。CNN特征，是通过自主学习训练数据的特征，避免人工设计特征，近几年，在图像分类、检测、分割等学习任务上都得到了惊人的表现，可以看出，CNN特征更能表达图像深层的特征。现有相似技术：一种基于相似度的乳腺图像检索方法，该方法通过提取乳腺图像的SIFT特征和HOG特征建立图像特征库，结合分层聚类树，通过比对待检索图像与数据库中图像特征的相似度进行检索。该方法采取传统的人工设计特征SIFT和HOG特征提取图像底层特征，表达能力不强，检索准确率有待进一步提高。
技术实现思路
本专利技术所要解决的技术问题是：现有的技术大多是采用人工设计特征提取图像的底层特征描述，从而导致表达能力不强、检索精度低；其次现有技术采用单个图像的内容检索，没有将图像的立体深层信息结合起来。从而提供了一种基于卷积神经网络的肺结节图像块检索方法及装置。本专利技术解决上述技术问题的技术方案如下：一种基于卷积神经网络的肺结节图像块检索方法，包括：步骤1：获取肺结节图像块；步骤2：对肺结节图像块进行切片处理，得到至少两张肺结节切片扫描图；步骤3：通过构造卷积神经网络提取肺结节切片扫描图的图像特征；步骤4：将任意一张肺结节切片扫描图的图像特征作为肺结节的一个局部特征，得到肺结节的局部特征集合；步骤5：重复步骤1-4，获取数据库中所有肺结节的局部特征集合；步骤6：对所有肺结节的局部特征集合进行聚类、构建视觉词典；步骤7：基于视觉词典获取肺结节带权特征向量，通过倒排索引的方式对肺结节带权特征向量构建索引库；步骤8：根据输入的查询信息对索引库执行检索，得到符合查询条件的肺结节图像块。本专利技术的有益效果是：本专利技术利用卷积神经网络模型，能够对整个肺结节肿瘤块进行分析，挖掘肺结节切片CT图像序列的深层特征，结合倒排索引技术，构建肺结节的图像特征库，检索时，能够快速、准确的检索出与待检索肺结节最相似的肺结节图像序列，从而为专家确诊肺结节病变提供更加可靠准确的判断依据。在上述技术方案的基础上，本专利技术还可以做如下改进。进一步地，所述步骤1包括：从图像数据库中，获取大小为64*64*64像素的肺结节图像块。进一步地，所述步骤2包括：步骤2.1：肺结节图像块的几何中心对应肺结节的中心位置；步骤2.2：通过切片处理得到64张大小为64*64像素的肺结节切片扫描图，且对肺结节切片扫描图进行灰度化处理。采用上述进一步方案的有益效果是卷积神经网络通过64*64的像素肺结节切片扫描图所提取的图像特征在准确度和复杂度的平衡中达到最佳效果，在复杂度不高的情况下，准确度达到极高水平，灰度化处理有利于图像特征的提取。进一步地，所述步骤3中，构造卷积神经网络包括卷积层、池化层及全连接层，卷积神经网络的卷积层采用线性修正单元激活函数，通过公式y＝max(0,∑xi*wi+b)计算得到，其中，xi表示上一层的特征图，wi和b代表可以学习的网络参数；卷积神经网络的池化层采用最大池化，区域大小为2*2，步长为2；卷积神经网络的全连接层采用全连接结构，输出得到64*256维的图像特征。采用上述进一步方案的有益效果是通过输出高维特征来准确描述肺结节切片扫描图的图像特征，准确度高。进一步地，所述步骤6包括：步骤6.1：结合直方图向量的方式对所有肺结节的局部特征集合采用K-means聚类的方式进行聚类，生成关键特征；步骤6.2：由生成的关键特征组成视觉词典。采用上述进一步方案的有益效果是通过对关键特征生成的视觉词典，映射对应前面提取的切片扫描图的图像特征。进一步地，所述步骤7包括：步骤7.1：对每个肺结节，依次将特征向量分别分配给最近邻的关键特征，表示关键特征的频数；步骤7.2：基于视觉词典，对每个肺结节生成一个频率特征向量；步骤7.3：统计出每个关键特征出现的图像数，得到关键特征的IDF值，作为关键特征的权重；步骤7.4：将每个肺结节得到的频率特征向量的每个分量乘以对应的关键特征权重，得到带权特征向量；步骤7.5：采用倒排索引的方式对得到的带权特征向量构建索引库。进一步地，所述步骤8包括：步骤8.1：根据输入的查询信息，在该患者的全肺CT扫描图像序列中，截取大小为64*64*64像素的肺结节的图像块；步骤8.2：提取该肺结节的图像序列的特征，得到肺结节局部特征集合，再对应到所述视觉词典中，得到带权特征向量；步骤8.3：通过计算查询肺结节与数据库中所有的肺结节的带权特征向量之间的距离来度量对应图像之间的相似性；步骤8.4：按照相似性从高到低的顺序进行排序，得到符合查询条件的肺结节图像块。采用上述进一步方案的有益效果是通过肺结节带权特征向量之间的对比来判断肺结节的相似性，是的检索过程更加准确与快速。进一步地，步骤3中，所述卷积神经网络还包括输出层，所述卷积神经网络的网络参数通过训练得到，经过学习得到卷积层和全连接层的卷积核参数，采用随机数对所述卷积核参数进行初始化，所述输出层采用softmax损失函数进行训练。本专利技术提供的另一种技术方案如下：一种基于卷积神经网络的肺结节图像块检索装置，包括：切片处理模块、特征提取模块、特征集合生成模块、视觉词典生成模块、索引库构建模块和检索模块；所述切片处理模块用于对获取的肺结节图像块进行切片处理，得到至少两张肺结节切片扫描图；所述特征提取模块用于通过构造卷积神经网络提取肺结节切片扫描图的图像特征；所述特征集合生成模块用于将任意一张肺结节切片扫描图的图像特征作为肺结节的一个局部特征，得到肺结节的局部特征集合、并获取数据库中所有肺结节的局部特征集合；所述视觉词典生成模块用于结合直方向量图的方式对所有肺结节的局部特征集合进行聚类构建视觉词典；所述索引库构建模块用于基于视觉本文档来自技高网...

【技术保护点】
一种基于卷积神经网络的肺结节图像块检索方法，其特征在于，包括以下步骤：步骤1：获取肺结节图像块；步骤2：对肺结节图像块进行切片处理，得到至少两张肺结节切片扫描图；步骤3：通过构造卷积神经网络提取肺结节切片扫描图的图像特征；步骤4：将任意一张肺结节切片扫描图的图像特征作为肺结节的一个局部特征，得到肺结节的局部特征集合；步骤5：重复步骤1‑4，获取数据库中所有肺结节的局部特征集合；步骤6：对所有肺结节的局部特征集合进行聚类、构建视觉词典；步骤7：基于视觉词典获取肺结节带权特征向量，通过倒排索引的方式对肺结节带权特征向量构建索引库；步骤8：根据输入的查询信息对索引库执行检索，得到符合查询条件的肺结节图像块。

【技术特征摘要】
1.一种基于卷积神经网络的肺结节图像块检索方法，其特征在于，包括以下步骤：步骤1：获取肺结节图像块；步骤2：对肺结节图像块进行切片处理，得到至少两张肺结节切片扫描图；步骤3：通过构造卷积神经网络提取肺结节切片扫描图的图像特征；步骤4：将任意一张肺结节切片扫描图的图像特征作为肺结节的一个局部特征，得到肺结节的局部特征集合；步骤5：重复步骤1-4，获取数据库中所有肺结节的局部特征集合；步骤6：对所有肺结节的局部特征集合进行聚类、构建视觉词典；步骤7：基于视觉词典获取肺结节带权特征向量，通过倒排索引的方式对肺结节带权特征向量构建索引库；步骤8：根据输入的查询信息对索引库执行检索，得到符合查询条件的肺结节图像块。2.根据权利要求1所述的一种基于卷积神经网络的肺结节图像块检索方法，其特征在于，所述步骤1包括：从图像数据库中，获取大小为64*64*64像素的肺结节图像块。3.根据权利要求2所述的一种基于卷积神经网络的肺结节图像块检索方法，其特征在于，所述步骤2包括：步骤2.1：肺结节图像块的几何中心对应肺结节的中心位置；步骤2.2：通过切片处理得到64张大小为64*64像素的肺结节切片扫描图，且对肺结节切片扫描图进行灰度化处理。4.根据权利要求1所述的一种基于卷积神经网络的肺结节图像块检索方法，其特征在于，所述步骤3中，构造卷积神经网络包括卷积层、池化层及全连接层，卷积神经网络的卷积层采用线性修正单元激活函数，通过公式y＝max(0,∑xi*wi+b)计算得到，其中，xi表示上一层的特征图，wi和b代表可以学习的网络参数；卷积神经网络的池化层采用最大池化，区域大小为2*2，步长为2；卷积神经网络的全连接层采用全连接结构，输出得到64*256维的图像特征。5.根据权利要求1所述的一种基于卷积神经网络的肺结节图像块检索方法，其特征在于，所述步骤6包括：步骤6.1：结合直方图向量的方式对所有肺结节的局部特征集合采用K-means聚类的方式进行聚类，生成关键特征；步骤6.2：由生成的关键特征组成视觉词典。6.根据权利要求1所述的一种基于卷积神经网络的肺结节图像块检索方法，其特征在于，所述步骤7包括：步骤7.1：对每个肺结节，依次将特征向量分别分配给最近邻的关键特征，表示关键特征的频数；步骤7.2：基于视觉词典，对每个肺结节生成一个频率特征向量；步骤7.3：统计出每个关键特征出现的图像数，得到关键特征的IDF值，作为关键特征的权重；步骤7.4：将每个肺结节得到的频率特征向量的每个分量乘以对应的关键特征权重，得到带权特征向量；步骤7.5：采用倒排索引...

【专利技术属性】
技术研发人员：王海洋，廖华明，盛玉娇，刘衍琦，程学旗，刘玮，
申请(专利权)人：烟台中科网络技术研究所，中国科学院计算技术研究所，
类型：发明
国别省市：山东,37