一种基于视觉特征和征象标签的超图哈希图像检索实现肺结节征象识别的方法技术

本发明专利技术公开了一种基于视觉特征和征象标签的超图哈希图像检索实现肺结节征象识别的方法，使用两层结构提高肺结节图像的检索精度。在第一层，本发明专利技术将肺结节影像视觉信息和标签信息分别构建概率超图，最优划分概率超图得到哈希码。在第二层，使用结节图像的视觉特征、标签特征和第一层得到的哈希码来训练哈希函数。在检索时，对待检图像通过训练好的哈希函数进行0，1编码，与数据集中图像比较汉明距离，返回相似结节图像。本发明专利技术的方法基于视觉特征和征象标签的超图哈希图像检索，进而识别待检索肺结节图像所表现的征象类别，便于医师判断肺结节的良恶性程度，减少医师对诊断经验的过度依赖。

A method of recognizing lung nodules based on visual features and feature labels using hypergraph hash image retrieval

The invention discloses a method for recognizing lung nodules based on visual features and sign labels of hypergraph hash image retrieval, and uses two layers structure to improve the retrieval accuracy of pulmonary nodule images. In the first layer, the probabilistic image hypergraph is constructed by the image information of the lung nodule and the label information, and the optimal partition probability hypergraph is used to obtain the hash code. In the second layer, the Hashi function is trained by using the visual features, tag features and Hashi codes obtained from the first layer of the nodule image. In the retrieval process, the image is processed by trained hash function for 0, 1 encoding, and compared with the data set image Hamming distance, return similar nodules image. The method of the invention is based on Hypergraph hash image visual features and signs of tag retrieval, then identify classes to retrieve image signs of pulmonary nodules, convenient for doctors to identify benign and malignant degree of pulmonary nodules, reduce excessive dependence on physician diagnosis experience.

【技术实现步骤摘要】
一种基于视觉特征和征象标签的超图哈希图像检索实现肺结节征象识别的方法
本专利技术涉及肺结节征象识别，具体涉及一种基于视觉特征和征象标签的超图哈希图像检索实现肺结节征象识别的方法。
技术介绍
随着肺部CT影像的爆炸式增长，需要有大量有经验的、不知疲倦的、状态持续稳定的医生完成诊断。否则必然发生误诊和漏诊情况。然而，目前人工诊断力量严重不足，亟需计算机强大的计算能力帮助医师进行辅助诊断。医学图像检索不仅减轻了医生的工作负担，提高了效率；另一方面，使得医学图像的诊断更加客观化，增加了诊断的准确性。
技术实现思路
本专利技术针对现有技术的不足提供一种基于视觉特征和征象标签的超图哈希图像检索实现肺结节征象识别的方法，既能检索得到相似的肺结节图像，同时对于区分不同病灶征象的肺结节图像具有良好的识别和检索效果，为医师对查询病灶的诊断提供决策支持，从客观方面起到辅助诊断的作用。本专利技术采用的技术方案为：一种基于视觉特征和征象标签的超图哈希图像检索实现肺结节征象识别的方法，包括以下步骤：步骤A，提取肺结节感兴趣区域，截取以ROI为中心的最小外接矩形区域，为之后提取表达肺结节征象信息的视觉特征以及检索相似的肺结节图像，进而识别查询图像所表现的医学征象做准备；步骤B，多视觉特征集合的构造，从形状、灰度、纹理3个方面对结节提取共199维可靠视觉特征；步骤C，用于实现相似的肺结节图像检索；利用视觉信息与征象标签构造双概率超图，利用超图学习哈希函数，将步骤B得到的视觉特征映射为简洁的哈希码；步骤D，通过汉明距离的相似度衡量，从肺结节图像库中检索出具有相似征象的肺结节图像并对待检索结节进行征象识别；所述的方法，所述步骤B中视觉特征提取过程如下：B1、提取ROI的128维sift局部边缘特征，标记为f1-f128；B2、提取灰度均值、灰度熵、灰度方差3维特征f129-f131；B3、提取7Hu不变矩特征f132-f138；B4、提取2维几何形态特征f139-f140；B5、提取59维LBP特征f141-f199；所述的方法，所述步骤C具体过程如下：C1、双概率超图的构建；①构建视觉特征概率超图：通过以下步骤来构建肺结节视觉特征概率超图noduleHp：Step1确定顶点集Vnodule＝{v1,v2,...,vn}：将LIDC、LISS数据库中的每张肺结节图像的视觉特征视为一个顶点，得到顶点集Vnodule＝{v1,v2,...,vn}，vi代表顶点。Step2确定概率超边集Enodule＝{e1,e2,...,em}及关联矩阵H。Step2.1令顶点vi和顶点vj之间的亲和度为Aij，通过计算Aij。Step2.2根据计算的顶点集Vnodule的|V|×|V|亲和度矩阵A，构造概率超边：依次视每个顶点为质心顶点并由质心顶点和其m-1个较亲和的顶点一起形成一条包含m个顶点的概率超边e，最终得到概率超边集Enodule＝{e1,e2,...,em}，ei代表超边。Step2.3确定各顶点从属于超边的概率h(vi,ej)。当时，h(vi,ej)＝p(vi|ej)＝0。得到关联矩阵H。至此肺结节概率超图noduleHp构建完毕。②构建征象标签概率超图：肺结节征象标签概率超图noduleTg的构建过程如下：对每一张属于征象超边ej的肺结节图像vi均赋予0.75的值，如果某张肺结节图像包含全部9种征象标签(GGO，Spiculation，Lobulation，Cavity&Vacuolus，Calcification，PleuralDragging，BronchialMucusPlugs，Obstructivepneumonia，Airbronchogram)，就将其A(i,j)赋值为1，以表示较高的亲和度。C2、权重平衡方法设计：为每条超边赋予了权重：将视觉特征概率超图与征象标签概率超图结合起来需要考虑二者的平衡问题，因为二者都是对肺结节图像特征的充分描述，所以加入了平衡参数λ∈[0,1]。权重参数可通过公式进行更新：所述的方法，利用双概率超图即肺结节图像中所含征象的类型标签的标签信息与视觉信息解决哈希函数的构造问题，详细步骤如下：第1步，k位光谱哈希的构造问题，可以转化为在超图中通过最小化损失函数，获得k个独立区域的问题。F表示n个顶点的二值码，它是一个n×k矩阵，具体形式为：每个行向量对应一个顶点的k位哈希码，第i个fi是一个n维列向量，包含n个顶点的第i位哈希码值。从公式中的标准化的损失函数，可获得此哈希算法的最优目标函数，具体形式为：第2步，由于这是一个NP问题，但通过删除约束条件F(i,j)∈{-1,1}，可转化为超图分割问题，其解为Δ的k个最小非零特征值所对应的k个特征向量。通过为这些特征向量赋阈值可以获得二值码1和-1。第3步，使用在F中生成的二值码来训练k个二元分类器。fi的第i个列向量看作第i个二元分类器li(x)的标签向量，x是肺结节图像的视觉特征与标签特征。通过输入肺结节图像的特征进行有监督学习后，可以获得k个二元分类器l1(x),l2(x),…,lk(x)。将它们连接起来构成最终的哈希函数L(x)，用来生成k位哈希码；第4步，完成哈希函数的构造，然后使用构造的哈希函数将肺结节的图像特征映射为哈希码。所述方法，其特征在于，所述步骤D具体步骤如下：第1步，分别计算查询图像和检索到的相似肺结节图像之间的汉明距离；第2步，升序排序汉明距离并选择前k个肺结节图像；第3步，统计这k个肺结节图像中各个混合征象类所出现的频率；第4步，出现频率最高的混合征象即为查询图像所表现的医学征象。与现有技术相比，本专利技术的有益效果为：1、本专利技术的方法基于视觉特征和征象标签的超图哈希图像检索，进而识别待检索肺结节图像所表现的征象类别，便于医师判断肺结节的良恶性程度，减少医师对诊断经验的过度依赖；2、通过使用本专利技术的技术，能够从语义层面高效地检索出相似的肺结节图像，最大程度保证了肺结节征象的识别效果；3、通过本专利技术检索出相似的肺结节图像，这些图像的病灶特征和诊断方案等可以为医师对肺部疾病的分析提供参考，起到辅助诊断的作用。附图说明图1是本专利技术对肺结节征象识别方法的框架图。图2是本专利技术提取表达肺结节征象信息的肺结节特征的总体实现框图。图3是多视觉特征提取与标签码本构造过程图。图4是不同码位下返回图像张数分别为10张(a),20张(b),25张(c),30张(d)的检索精度。图5是不同的近邻数量下哈希码位数分别为8位(a),16位(b),32位(c),64位(d)的检索精度。图6是λ的不同取值对本专利技术算法精度的影响情况。具体实施方式以下结合具体实施例，对本专利技术进行详细说明。参照图1、2、3，本专利技术方法的实现流程如下：一种基于视觉特征和征象标签的超图哈希图像检索实现肺结节征象识别的方法，包括以下步骤：步骤A，提取肺结节感兴趣区域，截取以ROI为中心的最小外接矩形区域，为之后提取表达肺结节征象信息的视觉特征以及检索相似的肺结节图像，进而识别查询图像所表现的医学征象做准备；步骤B，多视觉特征集合的构造，从形状、灰度、纹理3个方面对结节提取共199维可靠视觉特征；步骤C，用于实现相似的肺结节图像检索；利用视觉信息与征象标签构造双概率超图，利用超图学习哈希本文档来自技高网...

【技术保护点】
一种基于视觉特征和征象标签的超图哈希图像检索实现肺结节征象识别的方法，其特征在于，包括以下步骤：步骤A，提取肺结节感兴趣区域，截取以ROI为中心的最小外接矩形区域，为之后提取表达肺结节征象信息的视觉特征以及检索相似的肺结节图像，进而识别查询图像所表现的医学征象做准备；步骤B，多视觉特征集合的构造，从形状、灰度、纹理3个方面对结节提取共199维可靠视觉特征；步骤C，用于实现相似的肺结节图像检索；利用视觉特征与征象标签构造双概率超图，利用超图学习构造哈希函数，将步骤B得到的视觉特征映射为简洁的哈希码；步骤D，通过汉明距离的相似度衡量，从肺结节图像库中检索出具有相似征象的肺结节图像并对待检索结节进行征象识别。

【技术特征摘要】
1.一种基于视觉特征和征象标签的超图哈希图像检索实现肺结节征象识别的方法，其特征在于，包括以下步骤：步骤A，提取肺结节感兴趣区域，截取以ROI为中心的最小外接矩形区域，为之后提取表达肺结节征象信息的视觉特征以及检索相似的肺结节图像，进而识别查询图像所表现的医学征象做准备；步骤B，多视觉特征集合的构造，从形状、灰度、纹理3个方面对结节提取共199维可靠视觉特征；步骤C，用于实现相似的肺结节图像检索；利用视觉特征与征象标签构造双概率超图，利用超图学习构造哈希函数，将步骤B得到的视觉特征映射为简洁的哈希码；步骤D，通过汉明距离的相似度衡量，从肺结节图像库中检索出具有相似征象的肺结节图像并对待检索结节进行征象识别。2.根据权利要求1所述的方法，其特征在于，所述步骤B中视觉特征提取过程如下：B1、提取ROI的128维sift局部边缘特征，标记为f1-f128；B2、提取灰度均值、灰度熵、灰度方差3维特征f129-f131；B3、提取7Hu不变矩特征f132-f138；B4、提取2维几何形态特征f139-f140；B5、提取59维LBP特征f141-f199。3.根据权利要求1所述的方法，其特征在于，所述步骤C具体过程如下：C1、双概率超图的构建；①构建视觉特征概率超图：通过以下步骤来构建肺结节视觉特征概率超图noduleHp：Step1确定顶点集Vnodule＝{v1,v2,...,vn}：将LIDC、LISS数据库中的每张肺结节图像的视觉特征视为一个顶点，得到顶点集Vnodule＝{v1,v2,...,vn}，vi代表顶点；Step2确定概率超边集Enodule＝{e1,e2,...,em}及关联矩阵H：Step2.1令顶点vi和顶点vj之间的亲和度为Aij，通过计算Aij；Step2.2根据计算的顶点集Vnodule的|V|×|V|亲和度矩阵A，构造概率超边：依次视每个顶点为质心顶点并由质心顶点和其m-1个较亲和的顶点一起形成一条包含m个顶点的概率超边e，最终得到概率超边集Enodule＝{e1,e2,...,em}，ei代表超边；Step2.3确定各顶点从属于超边的概率h(vi,ej)；当时，h(vi,ej)＝p(vi|ej)＝0；得到关联矩阵H；至此肺结节概率超图noduleHp构建完毕；②构建征象标签概率超图：肺结节征象标签概率超图noduleTg的构建过程如下：对每一张属于征象超边ej的肺结节图像vi均赋予0.75的值，如果某张肺结节图像包含全部9种征象标签即GGO、Spiculation、Lobulation、Cavity&Vacuolus、Calcification、PleuralDragging、BronchialMucusPlugs、Obstructivepneumonia、Airbronchogram，就将其A(i,j)赋值为1，以表示较高的亲和度；C2、权重平衡方法设计：为每条超边赋予了权重：

【专利技术属性】
技术研发人员：强彦，宋云霞，赵涓涓，郝晓丽，强薇，
申请(专利权)人：太原理工大学，
类型：发明
国别省市：山西,14