一种基于改进编辑距离的近似视频检索方法技术

本发明专利技术涉及一种基于改进编辑距离的近似视频检索方法，属于计算机视频处理、模式识别领域。该方法将视频转换为图像帧序列，使用基于评分的方法计算两帧的相似度，减小了使用词袋模型进行相似度计算过程中的信息损失。使用改进的编辑距离计算视频序列间的相似度，其中通过计算帧序列间相对编辑距离相似度，有效的缩小了检索过程中的查询范围；结合基于动态规划机制的序列相似度评分方法，有效地减少了错误结果，提高了方法的检索精度。

【技术实现步骤摘要】

本专利技术涉及一种基于改进编辑距离的近似视频检索方法，属于计算机视频处理、模式识别领域。
技术介绍
视觉是人类认知世界最基本最有效的途径之一，视频便是建立在人类视觉基础之上的一种信息载体。通过视频信息，人们能够直观、准确、高效的对客观世界进行感知。随着信息技术的发展，尤其是互联网社交网站的兴起，企业、机构以及用户可以越来越方便地创建、编辑以及分享视频，导致互联网上视频数量急剧增加，在这些视频中不可避免的会有大量的近似视频。近似视频是指具有相同的视频来源，但是在文件格式、编码参数、光度(颜色、明暗)不同的或者具有不同编辑操作(如标题、徽标等的增删，以及图像帧的增删等)的两个以上视频。当前，近似视频检索技术在日常生活中主要有以下应用：(1)数字视频的版权保护；(2)视频广告投放频率监测；(3)视频节目内容审查；(4)视频内容检索结果的去重。目前的近似视频检索方法一般将关键帧作为基本单元，即将视频看作关键帧序列，将视频间的比较转化为关键帧序列间的比较，已提出的算法可以分为四大类：第一类是基于序列关联性的方法，例如分析序列间的互信息判断序列的相似性；第二类是基于序列连通关系的方法，例如通过构建序列间的二向图分析相似性；第三类是基于投票的方法，例如通过分析关键帧中局部特征的变化情况判断序列的相似性；第四类是基于动态规划的方法，例如构建序列的相似度量矩阵，通过路径搜索机制来分析序列的相似性。前两类方法的主要不足是计算量大，检索复杂度较高，对于复杂视频检索精度较差。基于投票的方法当局部特征变化较大时检索效果会产生较大误差。而基于动态规划的方法精度高，鲁棒性较强，是目前使用最多的一类算法。本专利技术提出的基于编辑距离的近似视频检测方法属于基于动态规划的方法，涉及的基础
技术介绍
主要为视觉词袋模型和编辑距离。视觉词袋模型是把每幅图像描述为一个局部特征的无序集合。该模型首先使用某种聚类算法将局部特征进行聚类，每个聚类中心被看作是词典中的一个视觉单词，视觉单词由聚类中心对应特征的编码来表示。所有视觉词汇形成一个视觉词典，词典中所含词的个数反映了词典的大小。图像中的每个特征都将被映射到视觉词典的某个词上。视觉词袋模型在图像分类、检索等领域有着广泛的应用。编辑距离是从一个字符串变换到另一个字符串所需要的最少变化的操作次数。修改一个字符串q为另外一个字符串r的时候有三种方法——删除、替换、插入，按照编辑代价算，删除、替换、插入这三种编辑的代价是1，即修改一个字符；不变则是0，即编辑代价是0，表示没有修改。编辑距离计算过程如下：定义函数dist(i,j)，它表示一个字符串q的长度为i的子串到一个字符串r长度为j的子串的编辑距离。定义运算如下：初始化：dist(i,j)=0i=0,j=0im≥i>0,j=0jn≥j>0,i=0]]>迭代计算：dist(i,j)=mindist(i-1,j)+1dist(i,j-1)+1dist(i-1,j-1)+0qi=rjdist(i-1,j-1)+1qi!=rj]]>
技术实现思路
本专利技术目的是为实现自然场景下的近似视频检索，并解决现有近似视频检索算法中的由于复杂场景影响而造成结果不精确的问题，提出一种基于改进编辑距离的近似视频检索方法，能够实现在自然场景下的近似视频检索，提高了检索精度，对于复杂视频具有较好的鲁棒性。本专利技术目的是通过下述技术方案实现的。一种基于改进编辑距离的近似视频检索方法，包括以下步骤：步骤1、将视频数据库中的视频提取关键帧，生成关键帧序列；步骤2、提取步骤1中关键帧中的局部特征点；步骤3、使用聚类算法将局部特征点进行聚类，生成K个聚类，每个聚类中心表示为一个视觉单词；步骤4、对步骤2中的每个局部特征点以及其对应的步骤3生成的视觉单词，根据倒排索引机制构建本地索引表；步骤5、本地索引表构建完成之后，接收查询请求，提取查询视频关键帧。定义当前查询视频为长度为m的序列Q(q1,q2,…,qm)，其中qi(1≤i≤m)为查询视频序列中第i帧关键帧；提取关键帧中的局部特征点，对于每个特征点进行量化，即计算出与其距离最小的视觉单词并将其分配给该特征点；步骤6、定义数据库中当前与查询视频计算相似度的视频序列为长度为n的序列R(r1,r2,…,rn)，其中rj(1≤j≤n)为数据库中当前视频序列第j帧关键帧。计算qi(1≤i≤m)和rj(1≤j≤n)之间的相似度得分，并生成相似度得分表score，具体步骤为：步骤6.1、对于当前查询帧qi的每个特征点，查询本地索引表，找到rj中与其具有相同视觉单词的特征点，两个特征点看做一个点对；步骤6.2、对于每个具有相同视觉单词的特征点对，使用海明嵌入(HammingEmbedding)方法生成两点的海明码，如果两点海明距离超过阈值，则过滤掉该点对；如果两点海明距离没有超过阈值，则保留该点对，并进行下一步运算。步骤6.3、使用改进的弱几何一致性(EnhancedWeakGeometricConsistency,E-WGC)方法，统计匹配点对的尺度和方向变化信息，如果点对方向和尺度变化在阈值之内，则保留该点对；否则，则过滤掉该点对；步骤6.4、计算剩余每个点对中两个特征点a,b的相似度得分：sim(a,b)=idf(Q(a))2×Wdist(Hdist(a,b))Σx=1midf(Q(qi,x))×Σy=1nidf(Q(rj,y))]]>其中idf(x)表示视觉单词x的逆词频：|D|表示数据库中视频总数，Q(x)表示特征点x所对应的单词，|Q(x)|表示包含视觉单词x的视频数量。Wdist(x)为海明距离为x的权重得分，具体地，其中，db为特征的维度。Hdist(a,b)表示a,b两个特征点的海明距离。表示qi中所有特征点的对应的单词的逆词频的求和，m表示qi中特征点的数目。同理，表示rj中所有特征点的对应的单词的逆词频的求和。对所有点对的相似度得分求和，所得为qi和rj的相似度得分。步骤6.5、重复6.1到6.4进行两帧相似度得分计算，生成相似度得分表score。步骤7、由步骤6相似度得分表，生成该查询视频Q和数据库当前数据库视频R的编辑距离表dist；具体地，编辑距离根据如下公式计算：初始化：dist(i,j)=0i=0,j=0im≥i>0,j=0jn≥j>0,i本文档来自技高网...

【技术保护点】
一种基于改进编辑距离的近似视频检索方法，其特征在于包括以下步骤：步骤1、将视频数据库中的视频提取关键帧，生成关键帧序列；步骤2、提取步骤1中关键帧中的局部特征点；步骤3、使用聚类算法将局部特征点进行聚类，生成K个聚类，每个聚类中心表示为一个视觉单词；步骤4、对步骤2中的每个局部特征点以及其对应的步骤3生成的视觉单词，根据倒排索引机制构建本地索引表；步骤5、本地索引表构建完成之后，接收查询请求，提取查询视频关键帧；定义当前查询视频为长度为m的序列Q(q1,q2,…,qm)，其中qi(1≤i≤m)为查询视频序列中第i帧关键帧；提取关键帧中的局部特征点，对于每个特征点进行量化，即计算出与其距离最小的视觉单词并将其分配给该特征点；步骤6、定义数据库中当前与查询视频计算相似度的视频序列为长度为n的序列R(r1,r2,…,rn)，其中rj(1≤j≤n)为数据库中当前视频序列第j帧关键帧；计算qi(1≤i≤m)和rj(1≤j≤n)之间的相似度得分，并生成相似度得分表score；步骤7、由步骤6相似度得分表，生成该查询视频Q和数据库当前数据库视频R的编辑距离表dist；步骤8、根据步骤7所得编辑距离表，计算得出该查询视频Q和当前数据库视频R的相对编辑距离相似度，如果相对编辑距离相似度超过阈值，则认为该数据库视频与查询视频相似，并由上述相似度得分表计算两个视频的相似度得分；如果小于阈值，则过滤掉该视频R；本方法中进行距离计算中使用的是欧氏距离；步骤9、对当前查询视频Q和数据库中每一个视频，重复步骤6到步骤8，根据步骤8计算所得视频相似度得分由高到低返回视频列表，即为查询结果。...

【技术特征摘要】
1.一种基于改进编辑距离的近似视频检索方法，其特征在于包括以下步骤：
步骤1、将视频数据库中的视频提取关键帧，生成关键帧序列；
步骤2、提取步骤1中关键帧中的局部特征点；
步骤3、使用聚类算法将局部特征点进行聚类，生成K个聚类，每个聚类中心表示为一个
视觉单词；
步骤4、对步骤2中的每个局部特征点以及其对应的步骤3生成的视觉单词，根据倒排索
引机制构建本地索引表；
步骤5、本地索引表构建完成之后，接收查询请求，提取查询视频关键帧；定义当前查询
视频为长度为m的序列Q(q1,q2,…,qm)，其中qi(1≤i≤m)为查询视频序列中第i帧关键帧；
提取关键帧中的局部特征点，对于每个特征点进行量化，即计算出与其距离最小的视觉单
词并将其分配给该特征点；
步骤6、定义数据库中当前与查询视频计算相似度的视频序列为长度为n的序列R(r1,
r2,…,rn)，其中rj(1≤j≤n)为数据库中当前视频序列第j帧关键帧；计算qi(1≤i≤m)和rj(1≤j≤n)之间的相似度得分，并生成相似度得分表score；
步骤7、由步骤6相似度得分表，生成该查询视频Q和数据库当前数据库视频R的编辑距
离表dist；
步骤8、根据步骤7所得编辑距离表，计算得出该查询视频Q和当前数据库视频R的相对
编辑距离相似度，如果相对编辑距离相似度超过阈值，则认为该数据库视频与查询视频相
似，并由上述相似度得分表计算两个视频的相似度得分；如果小于阈值，则过滤掉该视频R；
本方法中进行距离计算中使用的是欧氏距离；
步骤9、对当前查询视频Q和数据库中每一个视频，重复步骤6到步骤8，根据步骤8计算
所得视频相似度得分由高到低返回视频列表，即为查询结果。
2.一种基于改进编辑距离的近似视频检索方法，其特征还在于：
定义数据库中当前与查询视频计算相似度的视频序列为长度为n的序列R(r1,r2,…,
rn)，其中rj(1≤j≤n)为数据库中当前视频序列第j帧关键帧；计算qi(1≤i≤m)和rj(1≤j
≤n)之间的相似度得分，并生成相似度得分表score，具体步骤为：
步骤1、对于当前查询帧qi的每个特征点，查询本地索引表，找到rj中与其具有相同视觉
单词的特征点，两个特征点看做一个点对；
步骤2、对于每个具有相同视觉单词的特征点对，使用海明嵌入方法生成两点的海明
码，如果两点海明距离超过阈值，则过滤掉该点对；如果两点海明距离没有超过阈值...

【专利技术属性】
技术研发人员：赵清杰，刘浩，王浩，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京;11