基于视觉词汇和局部描述符的胶囊内镜图像检索方法技术

本发明专利技术提出一种基于视觉词汇和局部描述符的胶囊内镜图像检索方法，具体包括以下步骤：建立图像库，所述图像库中包括标准病例图像和待检索图像；将胶囊内镜图像由RGB颜色空间转换到HSI颜色空间，量化处理并提取其颜色直方图；提取胶囊内镜图像的LBP纹理直方图；加权融合颜色特征和纹理特征，得到图像的视觉词汇；提取胶囊内镜图像的Sift特征描述符；进行相似度测定，得到检索结果。本发明专利技术用于胶囊内镜图像处理，有效地减轻阅片医生的劳动强度，提高诊断效率。

【技术实现步骤摘要】

本专利技术属于医学图像检索领域，具体来说涉及一种基于视觉词汇和局部描述符的 胶囊内镜图像检索方法。
技术介绍
消化道疾病，如肿瘤、溃疡和出血等极大地威胁着人体的健康。传统的消化道检查 方式对人体有着不同程度的损伤，且无法对小肠部位进行检查。胶囊内镜，是一种新型的消 化道疾病检测技术。患者吞服胶囊，胶囊利用胃肠蠕动提供的动力向前运动，并对人体消化 道进行连续拍摄，拍摄到的图片由阅片医生进行检查与诊断。检测过程无痛苦，且能对整个 消化道进行诊断。 胶囊内镜扩展了消化道检查的视野，克服了传统消化道疾病检查的缺陷，成为消 化道疾病尤其是小肠疾病诊断的首选方法。但是，由于胶囊内镜在整个检测过程中会产生 约55000张的胶囊内镜图像，医生一般需要2小时才能完成一个完整病例的诊断，诊断效率 低下，难于应对较大的检查量。因此，利用图像处理技术进行胶囊内镜病变图像快速检测成 为研究的热点。 胶囊内镜检测病症主要包括出血、肿瘤、溃疡和息肉等。病变组织周围常伴有出血 和红肿症状，因此颜色信息在辨识异常图像和正常图像时有着重要的应用价值。纹理是胶 囊内镜图像重要的全局信息，是医生诊断内镜图像重要的视觉特性之一。对于肿瘤、溃疡等 组织形变症状，通常会形成其病症独特的局部细节特征。基于此，本专利技术综合利用内镜图像 的视觉感官特性和局部细节信息实现图像检索工作。
技术实现思路
本专利技术针对胶囊内镜图像，提出一种基于视觉词汇和局部描述符的图像检索方 法。 首先，提取胶囊内镜图像两个重要的视觉特征，分别为颜色直方图和LBP(Local Binary Patterns)纹理直方图，通过融合得到胶囊内镜图像的视觉词汇；然后，提取胶囊内 镜图像的Sift(Scale invariant feature transform)特征描述符作为图像的局部细节特 征；最后，进行图像相似度测定，得到检索结果。具体的操作流程如下： 1?视觉词汇的获取 视觉词汇描述的是胶囊内镜图像视觉特征。对于胶囊内镜图像，颜色特征和纹理 特征是其最重要的视觉特征。因此，本专利技术提取并融合胶囊内镜图像的颜色直方图和LBP 纹理直方图，作为图像的视觉词汇。 (1)提取胶囊内镜图像颜色直方图 颜色信息是医生诊断胶囊内镜病例图像的重要参考依据之一，如出血症状所呈现 的红色信息、胆汁异常胃部出现黄色物体等。为了让胶囊内镜病例图像更加符合医生的视 觉特性，本专利技术将胶囊内镜图像由RGB颜色空间转换到HSI颜色空间。具体转换公式如下： 上式中，R，G，B分别表示RGB颜色空间的三分量红色（Red)、绿色（Green)和蓝色 (Blue)。H，S，I分别表示HSI颜色空间的三分量色调（Hue)、饱和度（Saturation)和亮度 (Intensity)〇 为了简化运算，同时根据HSI颜色空间色彩的特征，本专利技术将H，S，I三个分量分 别进行量化。具体的量化方式为：将色调H的区间量化成非等间隔的8个子区 间，和量化成 0, 量化成 1，量化成 2, 量化 成 3, 量化成 4, 量化成 5, 量化成 6, 量化成 7 ;饱和度S和亮度I的都非等间隔量化成3个子区间，S，I G 量化成 2。 胶囊内镜图像色彩信息丰富，而且很多病变伴随着出血变红现象，这决定了胶囊 内镜图像的色调H对医生的判读起到重要作用，所以在胶囊内镜图像颜色特征获取时，对 色调分量设置较大的权重，对其他两个设置较小的权重，具体的权值数由S，I的量化级数 确定。 假设获取的胶囊内镜图像颜色特征为F。，饱和度S和亮度I的量化级数分别为Qs 和Q1，由量化过程可知，Qs= Q 1= 3。所以，颜色特征F。的数学表达式如下： Fc= QsQjH+QjS+I = 9H+3S+I 上式中，H，S，I分别表示HSI颜色空间的三分量。 (2)提取胶囊内镜图像LBP纹理直方图 纹理是物体表面的固有特征之一，对于胶囊内镜图像，表面的纹理信息对于医生 诊断有着重要的参考价值，如病变形成的裂纹、点刺等。本专利技术提取内镜图像的LBP纹理直 方图来描述图像纹理信息。 LBP纹理直方图的提取步骤为：首先将检测窗口划分为16*16的小区域（cell)。 对于每个cell中的每个像素，将相邻的8个像素的灰度值与其进行比较，若周围像素值大 于中心像素值，则该像素点的位置被标记为1，否则为〇。这样，3*3邻域内的8个点经比较 可产生8位二进制数，即得到该窗口中心像素点的LBP值；然后计算每个cell的直方图，即 每个数字（十进制数LBP值）出现的频率，并对该直方图进行归一化处理；最后将得到的每 个cell的统计直方图进行连接成为一个特征向量，也就是整幅图的LBP纹理直方图F t; (3)视觉词汇的获取融合⑴和⑵得到的颜色特征F。和纹理特征Ft，形成胶囊内镜图像的视觉词汇 Fv，具体公式如下： Fv= w c*Fc+wt*Ft 式中，《。和w t分别表示内镜图像颜色特征F。和纹理特征F ,的权重。 采用实验的方式来确定w。和w t;具体如下：实验中w。和w t任意选择多种组合，得 到每种组合平均检索精度；得到最大的平均检索精度，对应的w。和^即为最优的权值组合。 为了让权值《。和w t更好地反映胶囊内镜的图像特征，本专利技术采用实验的方式来确 定权值。具体的方法如下： 现有0幅待检索图像，以视觉词汇为索引，利用视觉词汇的欧式距离来进行图像 相似度测定。假设Wjw t= 1，那么，实验中《。和《,可选择如下表格中的9种组合，得到平 均检索精度。 上表中，Z表示0次检索精度的平均值，Zi~Z 9分别表示9种组合平均检索精度。 根据实验得到21~29值，对比得到最大的平均检索精度，对应的（w。，w t)即为最优的权值组 合。针对不同的实验样本，本专利技术利用实验的方式获取最优的权值组合（w。，wt)，这样 有效地增加了视觉词汇的针对性和有效性。 2.提取胶囊内镜图像的Sift描述符 尺度不变特征转换（Scale invariant feature transform)简称 Sift，是一种基 于尺度空间，对图像平移、旋转、缩放等保持不变的图像局部描述子。对于胶囊内镜图像，不 同患者、不同位置的不同组织形态图像，由于形态本身的差异性导致其Sift特征描述符匹 配对较少。而具有相同病理特征的内镜图像，由于其局部特征的相似性导致其局部Sift特 征具有一定的相似性，如肿瘤形成的局部肉球和溃疡形成的凹陷坑等，且这些特征对缩放、 平移和旋转都非常敏感，而Sift特征恰好对于图像局部特征的缩放、平移和旋转有着很好 的鲁棒性。因此，本专利技术提取胶囊内镜图像的Sift特征描述符用于描述图像的局部特征。 Sift特征描述符的提取过程如下： (1)尺度空间构造； (2)局部极值点检测； (3)精确确定极值点位置； (4)特征点方向分配； (5)生成特征描述符。 3.相似度测定 为了更好地描述胶囊内镜图像特征，本专利技术提取了图像的颜色特征、纹理特征和 Sift特征，并根据胶囊内镜图像特征，将颜色特征和纹理特征融合形成图像的视觉词汇。最 后，结合内镜图像的视觉词汇和Sift特征来实现图像相似度测定。 针对得到的视觉词汇Fv，本专利技术采用欧氏距离的方式来测定图像之间的相似度。 假设现有两本文档来自技高网...

【技术保护点】
一种基于视觉词汇和局部描述符的胶囊内镜图像检索方法，其特征包括以下步骤：(1)建立胶囊内镜图像库：所述图像库中包括标准病例图像和待检索图像；(2)将胶囊内镜图像由RGB颜色空间转换到HSI颜色空间，进行量化处理并提取其颜色直方图；(3)提取胶囊内镜图像的LBP纹理直方图；(4)加权融合颜色特征和纹理特征，得到胶囊内镜图像视觉词汇特征；(5)提取胶囊内镜图像Sift特征描述符；(6)进行相似度测定，根据图像相似度大小，得到检索结果。

【技术特征摘要】

【专利技术属性】
技术研发人员：蔡轶珩，詹昌飞，盛楠，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京;11