基于隐层语义中层表达的图像检索方法技术

本发明专利技术公开了一种基于隐层语义中层表达的图像检索方法，主要解决现有方法检索精度不高无法进行细粒度检索工作的问题。其实现步骤是：(1)对图像库中的图像划分训练样本集和测试样本集；(2)生成用于训练中层表达模型的训练向量集；(3)选取输入向量集使用基于隐层语义的中层表达方法训练生成映射矩阵M；(4)生成查询向量；(5)计算检索精度与响应用户查询。本发明专利技术与现有方法相比，学习了图片直接表达向量之间的隐层语义模型，在图片表达和其标记之间建立了良好的映射模型，因此获得了更好的系统检索精度。以医学图像应用为例，可以用于大规模图像数据的检索管理和医学临床诊断的辅助系统。

【技术实现步骤摘要】

本专利技术属于图像处理
，特别涉及一种图像检索技术，以医学图像的应用为例，可以用于大规模图像数据的检索管理和医学临床诊断的辅助系统。
技术介绍
医学图像是现代医学临床诊断中一种有效的辅助诊断工具。随着医学照影技术的不断发展和广泛应用，被用于辅助临床诊断的医学图像呈爆炸式增长。这使得应用于大规模图像数据的管理工具被迫切需求。传统的图像检索系统主要利用现在已经非常成熟的文本检索技术，通过检索事先对图片做好的标记实现对图像的检索。但这种方法过分地依赖于人工对图片的标记，当人工的经验标记出现错误，或标记格式出现问题时，该类型的图像检索系统性能会大幅的下降。同时，现代医学临床诊断在解读医学图像时，也不再单一依靠诊断者的经验，更多的时候还需要参考数据库中的已有病例。因此，为了进一步辅助临床诊断，医学图像检索系统应该能返回与图像语义最相关的目标，而不仅仅是选出人工划分的疾病类型。而这些都是传统的基于文本的图像检索系统无法实现的。为了解决上述问题，近年来基于图像内容的图像检索技术被广泛研究。该类系统不同于基于文本的图像检索系统，其不再依赖于查找人工标记返回目标图片，而是通过计算机视觉对图像的理解实现以图搜图，从而返回与查询请求内容最相关的图片。随着计算视觉技术的发展，基于图像内容的图像检索系统性能也在不断提高。早期，随着最初用于文本检索检索BoVW(Bag-of-Visual-Word)模型被引入图像分类与检索的领域，多种可
应用于图像检索的图片表达方法基于该模型框架被提出，经典方法如“Jégou,H.,Perronnin,F.,Douze,M.,Sánchez,J.,Pérez,P.,&Schmid,C.Aggregating local image descriptors into compact codes.IEEE Trans,Pattern Analysis and Machine Intelligence,34(9),1704-1716,2012.”中介绍的Fisher Vector和VLAD(Vector of Locally Aggregated Descriptors)等。该类方法致力于将图片的底层局部特征聚合表示为与图片语义相关的空间向量，最后通过对向量的距离比较，可以实现系统的检索排序。但基于该类方法的检索系统性能很大程度上依赖于从图像提取的底层特征性质，使其无法很好地应用于高精度和细粒度的图像检索工作。随后，子空间映射模型被广泛研究，并被应用到图片向量的比较排序中。在“Yang,L.,Jin,R.,Mummert,L.,Sukthankar,R.,Goode,A.,Zheng,B.,...&Satyanarayanan,M.A boosting framework for visuality-preserving distance metric learning and its application to medical image retrieval.IEEE Trans,Pattern Analysis and Machine Intelligence,32(1),30-44,2010.”和“Simonyan,K.,Vedaldi,A.,&Zisserman,A.Learning local feature descriptors using convex optimisation.IEEE Trans,Pattern Analysis and Machine Intelligence,2(4),2014.”中分别列举了用图片表达的距离度量学习和局部特征空间映射两种方法来改进检索系统中对查询图片向量的排序性能。通常使用该类方法的系统能较直接应用图片表达向量的系统在精度上有所提升，但有时该类方法无法很好地解释特征映射子空间与语义相关度的关系。
技术实现思路
本专利技术的目的在于针对上述现有方法的不足，提出一种基于隐层语义中层表达的图像检索方法，通过矩阵分解提取数据库图像的隐层语义从而实现图片表达空间到图片标记空间更好的映射，以提高基于内容的医学图像检索系统的检索精度，并实现大规模医学图像数据的有效管理和临床疾病诊断的有效辅助。本专利技术的具体技术方案包括如下步骤：一种基于隐层语义中层表达的图像检索方法，其特征在于，包括以下步骤：1)从医学图像数据库划分训练样本集和测试样本集；1.1)在训练医学图像数据库的每个类别中选取等量的样本作为训练样本集；所述训练医学图像数据库是带分类标签的医学图像数据；1.2)将测试医学图像数据库和全部的训练医学图像数据库作为测试样本集；2)生成训练样本集对应的VLAD向量集以及训练样本集对应的标记向量集；2.1)选取全部的训练样本集，利用VLAD方法将训练样本集中的每幅图像表示为VLAD向量，生成训练样本集的对应VLAD向量集Xtrain；2.2)将训练样本集中的每幅图像对应的标记制作成标记向量，生成训练样本集对应的标记向量集Ytrain；所述标记向量集为图片对应的标记二值列向量，若图片属于步骤1.1)中的所述类别，则标记该图片，否则不标记；3)生成映射矩阵M；3.1)选取步骤2)生成的VLAD向量集Xtrain和标记向量集Ytrain作为训练模型的输入集；3.2)使用基于隐层语义的中层表达式建立VLAD向量集Xtrain和标记向量集Ytrain之间的映射模型，生成映射矩阵M；具体如下：将VLAD向量集Xtrain和标记向量集Ytrain带入以下目标式中的X和Y： min W , θ , V , U = | | WθX | | F 2 + α | | θX - V | | F 2 + | | X - UV | 本文档来自技高网...

【技术保护点】
一种基于隐层语义中层表达的图像检索方法，其特征在于，包括以下步骤：1)从医学图像数据库划分训练样本集和测试样本集；1.1)在训练医学图像数据库的每个类别中选取等量的样本作为训练样本集；所述训练医学图像数据库是带分类标签的医学图像数据；1.2)将测试医学图像数据库和全部的训练医学图像数据库作为测试样本集；2)生成训练样本集对应的VLAD向量集以及训练样本集对应的标记向量集；2.1)选取全部的训练样本集，利用VLAD方法将训练样本集中的每幅图像表示为VLAD向量，生成训练样本集的对应VLAD向量集Xtrain；2.2)将训练样本集中的每幅图像对应的标记制作成标记向量，生成训练样本集对应的标记向量集Ytrain；所述标记向量集为图片对应的标记二值列向量，若图片属于步骤1.1)中的所述类别，则标记该图片，否则不标记；3)生成映射矩阵M；3.1)选取步骤2)生成的VLAD向量集Xtrain和标记向量集Ytrain作为训练模型的输入集；3.2)使用基于隐层语义的中层表达式建立VLAD向量集Xtrain和标记向量集Ytrain之间的映射模型，生成映射矩阵M；具体如下：将VLAD向量集Xtrain和标记向量集Ytrain带入以下目标式中的X和Y：minW,θ,V,U=||WθX-Y||F2+α||θX-V||F2+||X-UV||F2+β1||W||F2+β2||θ||F2+β3||V||F2+β4||U||F2]]>其中，α，β1，β2，β3，β4为权重参数；W为标记映射矩阵；θ为中层表达映射矩阵；U，V为矩阵分解乘子；通过优化求解上式，可以得到映射矩阵M：M＝Wθ；4)生成测试样本查询向量集；4.1)选取测试样本集，利用VLAD方法将其中每幅图片表示为VLAD向量，生成测试样本集对应的VLAD向量集Xteset；4.2)通过映射矩阵M与VLAD向量集Xtest中各向量的乘积生成测试样本集对应的测试样本查询向量集Qtest；5)计算检索精度与响应用户查询；5.1)生成训练样本查询向量集并计算检索精度；5.1.1)从训练样本集的每个类别中随机选取等量共N幅图像作为查询集，利用VLAD方法将查询集中每幅图像表示为VLAD向量，生成查询集对应的VLAD向量集Xquery；5.1.2)通过映射矩阵M与VLAD向量集Xquery中各向量的乘积生成查询集对应的训练样本查询向量集Qquery；5.1.3)通过比较训练样本查询向量集Qquery中的每个查询向量与测试样本查询向量集Qtest中每个查询向量的距离并排序，生成训练样本查询向量集Qquery对应的排序集R；5.1.4)计算排序集R各个排序向量对应的排序精度并生成排序集对应的精度向量AP，得出系统的平均精度性能指标mAP；mAP＝(ΣAP)/N；其中，N为步骤5.1.1)中从训练样本集的各类别中随机抽取的等量共N幅图像；5.2)生成用户查询向量集并返回检索排序；5.2.1)选取用户查询图像，利用VLAD方法将查询图像表示为用户查询VLAD向量，生成用户查询图像对应的用户查询VLAD向量Xuser；5.2.2)通过映射矩阵M与用户查询VLAD向量Xuser相乘生成用户查询VLAD向量对应的用户查询向量Quser；5.2.3)通过比较用户查询向量Qquery与测试样本查询向量集Qtest中每个向量的距离并排序，生成训练样本查询向量集Qquery对应的排序Ruser，通过排序序号返回用户所需的查询图片作为输出以实现检索功能。...

【技术特征摘要】
1.一种基于隐层语义中层表达的图像检索方法，其特征在于，包括以下步骤：1)从医学图像数据库划分训练样本集和测试样本集；1.1)在训练医学图像数据库的每个类别中选取等量的样本作为训练样本集；所述训练医学图像数据库是带分类标签的医学图像数据；1.2)将测试医学图像数据库和全部的训练医学图像数据库作为测试样本集；2)生成训练样本集对应的VLAD向量集以及训练样本集对应的标记向量集；2.1)选取全部的训练样本集，利用VLAD方法将训练样本集中的每幅图像表示为VLAD向量，生成训练样本集的对应VLAD向量集Xtrain；2.2)将训练样本集中的每幅图像对应的标记制作成标记向量，生成训练样本集对应的标记向量集Ytrain；所述标记向量集为图片对应的标记二值列向量，若图片属于步骤1.1)中的所述类别，则标记该图片，否则不标记；3)生成映射矩阵M；3.1)选取步骤2)生成的VLAD向量集Xtrain和标记向量集Ytrain作为训练模型的输入集；3.2)使用基于隐层语义的中层表达式建立VLAD向量集Xtrain和标记向量集Ytrain之间的映射模型，生成映射矩阵M；具体如下：将VLAD向量集Xtrain和标记向量集Ytrain带入以下目标式中的X和Y： min W , θ , V , U = | | WθX - Y | | F 2 + α | | θX - V | | F 2 + | | X - UV | | F 2 + β 1 | | W | | F 2 + β 2 | | ...

【专利技术属性】
技术研发人员：袁媛，卢孝强，梅剑寒，
申请(专利权)人：中国科学院西安光学精密机械研究所，
类型：发明
国别省市：陕西;61