基于视频的对象相似度比较方法和检索方法及其系统技术方案

本发明专利技术涉及视频监控领域，公开了基于视频的对象相似度比较方法，包括以下步骤：分别从包含第一对象和第二对象的图像组中获取第一对象和第二对象的典型参考点，并根据第一和第二对象的典型参考点计算对象的相似度；其中，通过以下方式获取对象的典型参考点：在包括一个对象的每一帧图像中提取该对象的特征，作为该对象在一个视角的特征；将每一个视角的特征作为一个参考点，根据参考点拟合出平滑的超曲线；选取多个典型参考点，其中相邻的典型参考点之间曲率改变率大于预定阈值。本发明专利技术根据参考点的曲率改变率选取视角重叠程度低的图像中的参考点作为典型参考点来计算两个对象的相似度，提高了计算效率和计算结果的准确性。

Video based object similarity comparison method and retrieval method and system thereof

The present invention relates to the field of video surveillance, object similarity comparison method based on video is disclosed, which comprises the following steps: get the typical reference point of the first object and the second object from the set of images containing the first object and the second object, and calculate the object similarity according to the typical reference point of the first and second objects; among them, obtaining typical reference objects in the following ways: the feature of the object extraction in each frame image including an object, as the object characteristics in a perspective; feature each view as a reference point, according to the reference point of fitting a smooth curve over; select a number of typical reference point. The curvature between typical reference point adjacent to the rate of change is greater than a predetermined threshold. According to the similarity of the reference point change rate of curvature image overlap degree is low in view of selected reference point as a typical reference point to calculate the two objects, improves the computational efficiency and accuracy of the results.

【技术实现步骤摘要】

本专利技术涉及视频监控领域，特别涉及视屏对象相似度比较和检索。
技术介绍
目前市面上与本专利技术相似的现有技术有很多，这些技术或多或少都提到了三维模型检索、多特征融合等关键技术流程。CN101281545A提出了一种基于多特征相关反馈的三维模型检索方法，方法中提到了服务器端对三维模型数据库中的每个三维模型进行处理。CN101593205A提出了一种基于视频的三维模型检索方法，方法中提到了对三维模型数据库进行预处理，生成二维轮廓数据库。CN103116904A提出了一种三维模型的二维特征提取系统，系统包括对输入的三维模型数据文件进行三维模型的建模。但多数现有技术具有如下的差异与缺点：(1)现有技术需要显式地对待检索对象进行三维建模，即需要数据库存储有大量的对象三维模型，这一方面大大增加了存储量，另一方面又需要浪费大量精力搜集感兴趣对象的模型；(2)现有技术多使用三维模型在二维平面上的投影轮廓或者梯度特征，这些人工设计的特征无法完全囊括当前视角下物体表面的所有有用信息；(3)现有技术在计算两个对象之间的相似度时，仅计算两个对象对应视角间的度量，而没有考虑到物体各个视角间的关联性及重要性，检索正确率有待提升。
技术实现思路
本专利技术的目的在于提供一种基于视频的对象相似度比较方法和检索方法及其系统，根据参考点的曲率改变率选取视角重叠程度低的图像中的参考点作为典型参考点来计算两个对象的相似度，提高了计算效率和计算结果的准确性。为解决上述技术问题，本专利技术的实施方式公开了一种基于视频的对象相似度比较方法，包括以下步骤：从包含第一对象的第一图像组中获取第一对象的典型参考点，从包含第二对象的第二图像组中获取第二对象的典型参考点，并根据第一和第二对象的典型参考点计算第一和第二对象的相似度；其中，通过以下方式从包括一个对象的一个图像组中获取该对象的典型参考点：在包括一个对象的一个图像组的每一帧图像中提取该对象的特征，以作为该对象在一个视角的特征；将每一个视角的特征作为多维空间中的一个参考点，根据参考点拟合出平滑的超曲线；计算超曲线上每个参考点的曲率，从这些参考点中选取多个参考点作为典型参考点，其中相邻的典型参考点之间的曲率改变率大于预定阈值。本专利技术的实施方式还公开了一种基于视频的对象检索方法，包括以下步骤：根据对象相似度比较的方法计算待检索对象与数据库中对象之间的相似度；将相似度大于阈值的对象作为待检索对象的检索结果。本专利技术的实施方式还公开了一种基于视频的对象相似度比较系统，包括以下模块：典型参考点获取模块，用于从包含第一对象的第一图像组中获取第一对象的典型参考点，从包含第二对象的第二图像组中获取第二对象的典型参考点；相似度计算模块，用于根据第一和第二对象的典型参考点计算第一和第二对象的相似度；其中，典型参考点获取模块通过以下方式从包括一个对象的一个图像组中获取该对象的典型参考点：对象特征提取模块，用于在包括一个对象的一个图像组的每一帧图像中提取该对象的特征，以作为该对象在一个视角的特征；曲线拟合模块，用于将每一个视角的特征作为多维空间中的一个参考点，根据参考点拟合出平滑的超曲线；参考点选取模块，用于计算超曲线上每个参考点的曲率，从这些参考点中选取多个参考点作为典型参考点，其中相邻的典型参考点之间的曲率改变率大于预定阈值。本专利技术的实施方式还公开了一种基于视频的对象检索系统，包括以下模块：相似度比较模块，用于根据上文的对象相似度比较系统，计算待检索对象与数据库中对象之间的相似度；检索结果选取模块，用于将相似度大于阈值的对象作为待检索对象的检索结果。本专利技术实施方式与现有技术相比，主要区别及其效果在于：本专利技术在包括对象的图像组中的每一帧图像中提取对象的特征作为一个视角下的参考点，并根据参考点的曲率改变率选取视角重叠程度低的图像中的参考点作为典型参考点来计算两个对象的相似度，提高了计算效率和计算结果的准确性。根据前述对象相似度比较的方法计算两个对象的相似度以进行检索，提高了检索效率和检索结果的准确性。进一步地，将对象的稠密关键点特征进行降维可减少计算量；基于卷积神经网络的特征提取可以最大限度地提取囊括当前视角下物体表面的所有有价值信息，用于后续比对。进一步地，通过初步定位和精细化定位，能够精确确定对象位置。进一步地，可直接利用匹配的结果进行不同视角的特征融合计算相似度，而不需要任何三维模型；且在计算两个对象的相似度时，不仅关注匹配上的特征点即相同视角的特征，也考虑了未匹配上的特征点即不同视角的特征，综合同一对象各个视角间的关联性及重要性，有效提升相似度计算正确率。附图说明图1是本专利技术第一实施方式中一种基于视频的对象相似度比较方法的流程示意图；图2是本专利技术第二实施方式中一种基于视频的对象相似度比较方法的流程示意图；图3是本专利技术第三实施方式中一种基于视频的对象特征提取算法流程示意图；图4是本专利技术第五实施方式中一种基于视频的对象相似度比较系统的结构示意图。具体实施方式在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。术语解释：CNN—卷积神经网络。深度学习的一种常见结构，由多层神经元组成，每层神经元之间通过各种方式(卷积、池化、全连接等等)进行连接。稠密关键点特征—在图像上以逐个像素的方式进行特征的提取，将每个像素对应的特征级联起来所形成的高维特征，其中的代表有CDVS、SIFT、SURF等。超曲线—位于维数大于2维的空间中的曲线。KDE—核密度估计(KernelDensityEstimation)，一种用于平滑函数的技术。FV—FisherVector算法。Hashing—哈希技术，一种将特征向量通过哈希函数映射为二进制码的技术。为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术的实施方式作进一步地详细描述。本专利技术第一实施方式涉及一种基于视频的对象相似度比较方法。图1是该基于视频的对象相似度比较方法的流程示意图。该基于视频的对象相似度比较方法包括以下步骤：步骤101，从包含第一对象的第一图像组中获取第一对象的典型参考点，从包含第二对象的第二图像组中获取第二对象的典型参考点；步骤102，根据第一和第二对象的典型参考点计算第一和第二对象的相似度。待比较相似度的第一对象和第二对象是输入的视频序列或图像集合中所包含的对象，既可以是数据库中的也可以是新输入的。其中，如图所示，在步骤101中，通过以下方式从包括一个对象的一个图像组中获取该对象的典型参考点：步骤111，在包括一个对象的一个图像组的每一帧图像中提取该对象的特征，以作为该对象在一个视角的特征。可以理解，包含对象的每一帧图像对应于对象的一个视角，因此在该帧图像中提取的特征可作为对象在对应视角下的特征。步骤112，将每一个视角的特征作为多维空间中的一个参考点，根据参考点拟合出平滑的超曲线。在该步骤中，根据参考点拟合出平滑的超曲线可以使用核密度估计方法进行拟合，可可以根据插值法、最小二乘法等其它方法进行拟合)。步骤113，计算超曲线上每个参考点的曲率，从这些参考点中选取多个参本文档来自技高网...

【技术保护点】
一种基于视频的对象相似度比较方法，其特征在于，包括以下步骤：从包含第一对象的第一图像组中获取第一对象的典型参考点，从包含第二对象的第二图像组中获取第二对象的典型参考点，并根据第一和第二对象的典型参考点计算第一和第二对象的相似度；其中，通过以下方式从包括一个对象的一个图像组中获取该对象的典型参考点：在包括一个对象的一个图像组的每一帧图像中提取该对象的特征，以作为该对象在一个视角的特征；将每一个视角的特征作为多维空间中的一个参考点，根据参考点拟合出平滑的超曲线；计算所述超曲线上每个参考点的曲率，从这些参考点中选取多个参考点作为典型参考点，其中相邻的典型参考点之间的曲率改变率大于预定阈值。

【技术特征摘要】
1.一种基于视频的对象相似度比较方法，其特征在于，包括以下步骤：从包含第一对象的第一图像组中获取第一对象的典型参考点，从包含第二对象的第二图像组中获取第二对象的典型参考点，并根据第一和第二对象的典型参考点计算第一和第二对象的相似度；其中，通过以下方式从包括一个对象的一个图像组中获取该对象的典型参考点：在包括一个对象的一个图像组的每一帧图像中提取该对象的特征，以作为该对象在一个视角的特征；将每一个视角的特征作为多维空间中的一个参考点，根据参考点拟合出平滑的超曲线；计算所述超曲线上每个参考点的曲率，从这些参考点中选取多个参考点作为典型参考点，其中相邻的典型参考点之间的曲率改变率大于预定阈值。2.根据权利要求1所述的基于视频的对象相似度比较方法，其特征在于，所述“在包括一个对象的一个图像组的每一帧图像中提取该对象的特征，以作为该对象在一个视角的特征”的步骤包括以下子步骤：对于每一帧图像，确定在该帧图像中对象的位置；根据对象的位置对每一帧图像进行采样；根据采样结果提取特征作为该对象在一个视角的特征。3.根据权利要求2所述的基于视频的对象相似度比较方法，其特征在于，所述根据采样结果提取特征作为该对象在一个视角的特征的步骤包括以下子步骤：提取属于该对象的稠密关键点特征，对所述稠密关键点特征进行降维并映射为低维子空间特征；提取属于该对象的基于卷积神经网络的特征；将所述降维后的稠密关键点特征与基于卷积神经网络的特征进行级联，形成所述对象在一个视角的特征。4.根据权利要求2所述的基于视频的对象相似度比较方法，其特征在于，所述确定在该帧图像中对象的位置的步骤，包括以下子步骤：提取出对象的候选框，对于每个候选框使用基于卷积神经网络的检测方法对感兴趣对象进行初步定位；使用边界框回归技术进一步精细化定位对象位置。5.根据权利要求1所述的基于视频的对象相似度比较方法，其特征在于，所述根据第一和第二对象的典型参考点计算第一和第二对象的相似度的步骤包括以下子步骤：将第一和第二对象每个典型参考点映射为二进制串，作为第一和第二对象的特征码；将第一和第二对象的典型参考点对应的特征码看作二分图中的两组特征点集合，将两组特征点集合进行匹配得到每个特征点的最佳匹配特征点；使用如下公式计算相似度：其中，表示所有匹配上的特征点的集合，表示待检索对象中没有匹配上的特征点的集合，表示数据库对象中没有匹配上的特征点的集合；pu，pv表示特征码，H(pu，pv)表示pu，pv之间的Hamming距；|pu|表示集合中每个特征码的长度，|pv|表示集合中每个特征码的长度，α和β用于控制非匹配结果与匹配结果之间的重要性。6.一种基于视频的对象检索方法，其特征在于，包括以下步骤：根据权利要求1至5中任一项所述的对象相似度比较的方法计算待检索
\t对象与数据库中对象之间的相似度；将相似度大于阈值的对象作为所述待检索对象的检索结果。7.一种基于视频的对象相似度比较系统，其特征在于，包括以下模块：典型参考点获取模块，用于从包含第一对象...

【专利技术属性】
技术研发人员：谢迪，浦世亮，朱江，全晓臣，武晓阳，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江;33