一种基于度量学习的鞋图片跨域检索方法技术

本发明专利技术提供一种基于度量学习的鞋图片跨域检索方法，包括：分别对视频域数据和图片域数据进行前景提取；根据姿态估计结果对所述两域前景图像信息进行姿态校准；对两域图像信息进行特征提取；对所述两域前景图像信息进行特征匹配；对查询图片和候选图片间的相似度进行排序；将图片查询转换为组排序，提取组排序结果中相似度最高的候选图片作为检索结果。本发明专利技术克服了图片域数据和视频域数据间分布的差异性，利用度量学习，学习出能够有效评定两域图片特征的标准，将两域的图像映射到相同的特征空间中实现跨域检索。

A cross domain search method of shoes image based on metric learning

The invention provides a cross domain retrieval method of shoes pictures based on metric learning, which includes: foreground extraction of video domain data and picture domain data respectively; posture calibration of the two domain foreground image information according to the attitude estimation result; feature extraction of the two domain image information; feature matching of the two domain foreground image information; query picture and candidate picture The similarity between them is sorted; the image query is transformed into group sorting, and the candidate image with the highest similarity is extracted as the retrieval result. The invention overcomes the difference of the distribution between the picture domain data and the video domain data, uses the metric learning to learn the standards that can effectively evaluate the picture features of the two domains, maps the images of the two domains to the same feature space to realize cross domain retrieval.

【技术实现步骤摘要】
一种基于度量学习的鞋图片跨域检索方法
本专利技术涉及图像检索
，具体而言，尤其涉及一种基于度量学习的鞋图片跨域检索方法。
技术介绍
近年来，犯罪现场的足迹成为最为频繁且有效的侦查手段之一，为嫌疑人确定及案件审理提供了重要的参考依据。首先基于在犯罪现场得到的鞋底花纹图片与数据库中海量鞋底花纹样本进行匹配，估计足迹鞋的品牌及型号，以此恢复足迹鞋对应的鞋面信息，得到高清鞋样图片；然后，依据鞋样图片在调取的案发现场监控视频中进行检索，找到与足迹鞋一致的嫌疑鞋样本；最后提取出视频中穿了这类鞋子的人，从而确定嫌疑人确定嫌疑人。名词解释：图片域数据：由足迹鞋鞋底花纹与数据库比对得到的高清晰度鞋样图片组成。视频域数据：由犯罪现场监控视频中检测到的画质模糊、低清晰度的鞋图片组成。目前在图片域、视频域单独领域检索的技术很成熟，但是在两域之间跨域检索技术还未成熟。视频域检索：随着视频监控网络的发展，利用监控视频作为破案线索的视频侦查已成为公安刑侦侦查的重要手段，但目前视频侦查主要通过肉眼查看视频来进行，效率低下而且很容易遗漏目标。技术上，采用基于语义的视频检索技术和基于内容的视频检索技术。此外视频序列的镜头分割(即镜头变化检测)是视频检索中的关键技术之一，目前镜头分割的常用方法，包括灰度分割法，边缘分割法，彩直方图分割法，MPEG视频的分割方法，块匹配镜头分割方法，统计判决镜头分割方法，基于聚类的镜头分割方法，镜头渐变的检测算法。但是在视频背景十分模糊的情景下，视频检索研究十分受限。图片域检索：主要是基于文本的图像检索和基于内容的图像检索。基于文本图像的检索需要对每一幅图像进行人工注释，会耗费大量的人工劳动力并带来由于人的主观标注造成的较大误差。基于图像内容的检索，克服了基于文本检索的不足，直接从图像本身的视觉特征出发，在检索库中找出与之相似的图像，使图像检索的主要任务变成了度量图像特征间的相似度问题。随着传统的计算机视觉任务精度的提升，人们开始思索怎样在图片域与视频域中进行检索。现有技术是将视频转换为图片，建立两域图像各自的图片集，将图片域图片作为查询图片、视频域图片作为候选图片。再采用重识别的方法将查询图片与候选图片做相似度分析，找出相似的图像排序。高清的鞋样图片一般具有分辨率高、光照单一、背景纯净的特点；同时由于视角差异、姿态变化等因素容易造成配准误差，进一步提高了鞋样图片跨域检索的难度。
技术实现思路
根据上述提出视频域、图片域间跨域检索效率低、准确度差的技术问题，而提供一种基于度量学习的检索方法。本专利技术将不同的域的图像映射到相同的特征空间中，对姿态进行配准，统一划分两域姿态类别，从而实现高效、准确的跨域图像检索。本专利技术采用的技术手段如下：一种基于度量学习的鞋图片跨域检索方法，其特征在于，步骤包括：分别对视频域数据和图片域数据进行前景提取，并对得到的两域前景图像信息进行姿态估计；根据姿态估计结果对所述两域前景图像信息进行姿态校准，将图像姿态分为鞋头、侧面、鞋跟三种姿态；采用基于色彩和纹理的多特征融合方式对两域图像信息进行特征提取；基于有限标签样本学习距离度量对所述两域前景图像信息进行特征匹配；将图片域图像信息作为查询图片、将视频域图像信息作为候选图片进行图片查询，并对所述查询图片和所述候选图片间的相似度进行初始排序；对得到的初始排序列表中前K个样本的相似度进行基于加权运算的重新排序，将更正确的结果排在返回列表的最前面，获得更优的排序结果；提取组排序结果中相似度最高的候选图片作为检索结果。进一步地，采用深度学习方法对视频域数据进行前景提取，步骤包括：利用LabelMe标注工具人工标注部分视频图片；对标注的视频图片进行扩充；利用扩充后的数据集合训练前景提取模型；应用训练后的模型提取所有视频域数据的前景图。进一步地，采用关键点提取对视频域数据进行姿态估计。进一步地，所述采用基于色彩和纹理的多特征融合方式对两域图像信息进行特征提取之前，还包括对两域图像信息进行预处理，步骤包括：读取两域前景图像信息，将图片颜色分通道处理，每个分量像素值由整数型转换为浮点型，并转换到对数域；计算得到每个通道的输出图像r(x,y)；将r(x,y)从对数域转换到实数域，得到反射图像R(x,y)；将R(x,y)进行线性拉伸并转换成相应的格式输出显示。进一步地，所述采用基于色彩和纹理的多特征融合方式对两域图像信息进行特征提取，步骤包括：对经过预处理后的图像进行划分，利用小滑动窗口遍历整张图片，提取出HSV颜色直方图、纹理直方图以及颜色名特征；将提取出的颜色名特征与HSV特征、纹理特征进行融合，进而得到两域前景图像信息的特征表达。进一步地，所述基于有限标签样本学习距离度量对所述两域前景图像信息进行特征匹配，步骤包括：使用高斯模型分别拟合类内与类间样本特征的差值分布，根据两个高斯分布的对数似然比计算两域训练图片的相似度矩阵M，并由M学习出用以度量两域图片相似度的距离函数；根据所述距离函数确定两域图片在新的空间各自对应的图像映射，通过优化距离函数使相同类别图片距离变小，不同类别图片距离变大。较现有技术相比，本专利技术具有以下优点：本专利技术提供一种高清图片域与低质监控视频域间的检索方法，实现了针对鞋图片的快速准确检索的同时，克服了图片域数据和监控视频采集到的数据分布的差异性，利用度量学习，提出有效的评定两域图片特征的标准，将两域的图像映射到相同的特征空间中实现跨域检索。此外，本专利技术可降低视角差异、姿态变化造成的配准误差，进一步提高检索准确度。最后，本专利技术克服标定数据的稀疏性。基于两域对应的标定数据，建立合适的跨域检索方法。在刑侦领域中，关注如何在所有数据中查找到待检索的目标，确定嫌疑人，因此本专利技术关注类别查找，优化专利技术设计方法，用最少的类别查找数量检索到目标，降低刑侦人员工作量。利用经验模型将图片查询转换为组排序，提取组排序结果中相似度最高的候选图片作为检索结果。基于上述理由本专利技术可在刑侦技术等领域广泛推广。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术方法工作流程图。具体实施方式需要说明的是，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本专利技术。为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是本文档来自技高网...

【技术保护点】
1.一种基于度量学习的鞋图片跨域检索方法，其特征在于，步骤包括：/n分别对视频域数据和图片域数据进行前景提取，并对得到的两域前景图像信息进行姿态估计；/n根据姿态估计结果对所述两域前景图像信息进行姿态校准，将图像姿态分为鞋头、侧面、鞋跟三种姿态；/n采用基于色彩和纹理的多特征融合方式对两域图像信息进行特征提取；/n基于有限标签样本学习距离度量对所述两域前景图像信息进行特征匹配；/n将图片域图像信息作为查询图片、将视频域图像信息作为候选图片进行图片查询，并对所述查询图片和所述候选图片间的相似度进行初始排序；/n对得到的初始排序列表中前K个样本的相似度进行基于加权运算的重新排序，将更正确的结果排在返回列表的最前面，获得更优的排序结果；/n提取组排序结果中相似度最高的候选图片作为检索结果。/n

【技术特征摘要】
1.一种基于度量学习的鞋图片跨域检索方法，其特征在于，步骤包括：
分别对视频域数据和图片域数据进行前景提取，并对得到的两域前景图像信息进行姿态估计；
根据姿态估计结果对所述两域前景图像信息进行姿态校准，将图像姿态分为鞋头、侧面、鞋跟三种姿态；
采用基于色彩和纹理的多特征融合方式对两域图像信息进行特征提取；
基于有限标签样本学习距离度量对所述两域前景图像信息进行特征匹配；
将图片域图像信息作为查询图片、将视频域图像信息作为候选图片进行图片查询，并对所述查询图片和所述候选图片间的相似度进行初始排序；
对得到的初始排序列表中前K个样本的相似度进行基于加权运算的重新排序，将更正确的结果排在返回列表的最前面，获得更优的排序结果；
提取组排序结果中相似度最高的候选图片作为检索结果。


2.根据权利要求1所述的鞋图片跨域检索方法，其特征在于，采用深度学习方法对视频域数据进行前景提取，步骤包括：
利用LabelMe标注工具人工标注部分视频图片；
对标注的视频图片进行扩充；
利用扩充后的数据集合训练前景提取模型；
应用训练后的模型提取所有视频域数据的前景图。


3.根据权利要求1或2所述的鞋图片跨域检索方法，其特征在于，采用关键点提取对视频域数据进行姿态估计。


4.根据权利要求1所述的鞋图片跨域检索方...

【专利技术属性】
技术研发人员：刘晓凯，赵丽平，毕胜，
申请(专利权)人：大连海事大学，
类型：发明
国别省市：辽宁;21