一种基于双流神经网络的相似视频搜索方法和系统技术方案

本发明专利技术提出一种基于双流神经网络的相似视频搜索方法和系统。本发明专利技术中，视频帧提取采用关键帧提取技术，大大节省了存储空间，同时也使神经网络训练更加稳定，加快的神经网络训练的收敛速度；由于采用双流卷积神经网络提取视频特征，使得提取到的视频特征同时保留了视频中的空间信息和时间信息，更具有健壮性。本发明专利技术利用汉明距离来度量视频的相似性，汉明空间里的距离运算其实是一种位运算，所以即使是很复杂的检索算法，它的计算成本也远低于原始空间的运算，所以本检索算法是一种高效的检索方式。

A Similar Video Search Method and System Based on Dual-Stream Neural Network

The invention provides a similar video search method and system based on dual-stream neural network. In the present invention, video frame extraction adopts key frame extraction technology, which greatly saves storage space, makes the training of neural network more stable and speeds up the convergence speed of the training of neural network; because the video features are extracted by using dual-stream convolution neural network, the extracted video features retain the spatial and temporal information in the video at the same time, and have more robustness. The invention uses Hamming distance to measure the similarity of video. The distance operation in Hamming space is actually a bit operation, so even if the retrieval algorithm is very complex, its calculation cost is far lower than that in the original space, so the retrieval algorithm is an efficient retrieval method.

【技术实现步骤摘要】
一种基于双流神经网络的相似视频搜索方法和系统
本专利技术涉及一种相似视频的搜索算法，具体地指一种基于双流神经网络算法的特征提取与视频哈希搜索算法。
技术介绍
伴随短视频的火热，用户规模、视频观看时长也在日益增长。在大型城市，每秒钟所产生的数据量要高达4T以上。其中大量的近似重复视频涌现在互联网中，并呈现爆炸式的增长趋势。而面对海量的视频，如何通过搜索算法在视频库中进行查找，找出与样例视频相似或者重复的视频，对如版权保护、视频监控、视频推荐具有非常重大的意义。目前，视频搜索领域主要使用局部敏感哈希的算法，核心思想是在原始的数据空间里相似的数据，在哈希映射之后的哈希码也具有相似性，这些哈希方法是与数据无关的。局部敏感哈希也存在几个明显的缺点。首先，为了达到更高的检索要求，往往需要更长的哈希码，这无疑会牺牲查全率，而为了解决这个问题所采用的多哈希的算法又会增加存储成本和检索时间成本。其次，局部敏感只适用于某些特定的指标，如p系数，jaccard系数等，当检索要求表达方式变得复杂比如语义等，而不是简单的距离或者相似度，这种度量方式就不再满足近似最近邻检索的要求。
技术实现思路
针对这种情况，本专利技术提出了一种基于双流神经网络的相似视频搜索方法，本专利技术方法具有搜索精度高，搜索速度快，扩展性好等特点。本专利技术的技术方案如下：一种基于双流神经网络的相似视频搜索方法，步骤S100，采集视频数据训练样本，并对样本进行预处理；步骤S200，提取视频数据训练样本中的视频关键帧；步骤S300，使用经过步骤S200处理过后的视频关键帧数据训练双流深度网络模型；步骤S400，将给定视频输入到步骤S300训练好的双流网络模型提取视频特征，用于在视频库中进行匹配；步骤S500，对步骤S400得到的特征向量经过sgn阶跃函数二值化作为视频特征哈希吗，sgn函数如下：其中，x为步骤S400得到的特征向量；步骤S600，计算给定视频与视频库中所有视频的距离，按照距离由小到大对视频进行排序，排序靠前的视频即为最后的搜索结果。进一步的，步骤S100中所述视频数据训练样本包括多种类型的视频，每种类型的视频数据在1000份以上；所述预处理包括对视频数据进行清洗，并删除噪声样本。进一步的，步骤S200的具体实现包括如下子步骤，步骤S201，输入视频数据，将视频分帧并按视频时间顺序保存；步骤S202，从第1帧开始，利用相邻的前一帧，通过brox算法计算出每一视频帧单通道的光流图；步骤S203，对所有光流图计算方差值，根据方差值对光流图排序，选取方差最大的m帧图像作为关键光流帧，并选取对应的RGB关键帧。进一步的，步骤S300训练双流深度网络模型的具体实现方式如下，步骤S301，对包括关键帧和非关键帧在内的所有帧数据进行随机裁剪，水平翻转与旋转，随机噪声扰动以增加数据的多样性；步骤S302，选取y1类别的视频中一帧RGB关键帧和10帧光流关键帧在通道上连接，作为双流网络输入，提取出的特征向量作为positive；选取y1类别中的一帧RGB非关键帧和10帧光流非关键帧在通道上连接，作为双流网络输入，提取出的特征向量作为anchor；选取y2类别的视频中的一帧RGB关键帧和10帧光流图关键帧在通道上连接，作为双流网络输入，提取出的特征向量作为negative，其中positive、anchor和negative均为1024维度特征向量；步骤S303，网络前向传播结束后，构造hashtripletloss损失函数，使用hashtripletloss拉近positive和anchor的距离，拉远negative和anchor的距离，具体计算公式如下：其中：定义哈希码特征bi，bj∈{+1，-1}L，定义计算二进制特征向量bi和bj的汉明距离；式中M表示训练视频对的数量，式中pm为1024维度的向量，表示第m个视频对中的positive；qm为1024维度向量，表示第m个视频对中的anchor；nm为1024维度向量，表示第m个视频对中的negative；bm＝sgn(pm)表示哈希化之后的视频特征；α是一个常量，控制损失函数边缘大小；为转换误差，对浮点型特征转换为二进制特征加上惩罚项；λ为超参数，控制惩罚的程度；步骤S304，使用随机梯度下降优化算法，对网络反向传播，反复迭代，调整训练学习率等超参数，直到网络收敛。进一步的，步骤S600中相似距离度量通过计算两两视频特征之间的汉明距离，计算公式如下：其中，x,y为n维向量，x[i]表示给定视频特征哈希码向量x中的第i个元素的值，y[i]表示视频库中任一视频特征哈希码向量y中的第i个元素的值；表示异或操作。本专利技术还提供一种基于双流神经网络的相似视频搜索系统，包括如下模块：视频数据采集模块，用于采集视频数据训练样本，并对样本进行预处理；关键帧提取模块，用于提取视频数据训练样本中的视频关键帧；双流网络训练模块，使用经过关键帧提取模块处理过后的视频关键帧数据训练双流深度网络模型；视频特征提取模块，将给定视频输入到双流网络训练模块训练好的双流网络模型提取视频特征，用于在视频库中进行匹配；特征哈希码转换模块，用于对视频特征提取模块得到的特征向量经过sgn阶跃函数二值化作为视频特征哈希码，sgn函数如下：其中，x为步骤S400得到的特征向量；搜索模块，用于计算给定视频与视频库中所有视频的距离，按照距离由小到大对视频进行排序，排序靠前的视频即为最后的搜索结果。进一步的，视频数据采集模块中所述视频数据训练样本包括多种类型的视频，每种类型的视频数据在1000份以上；所述预处理包括对视频数据进行清洗，并删除噪声样本。进一步的，关键帧提取模块中提取视频关键帧的具体实现包括如下子步骤，步骤S201，输入视频数据，将视频分帧并按视频时间顺序保存；步骤S202，从第1帧开始，利用相邻的前一帧，通过brox算法计算出每一视频帧单通道的光流图；步骤S203，对所有光流图计算方差值，根据方差值对光流图排序，选取方差最大的m帧图像作为关键光流帧，并选取对应的RGB关键帧。进一步的，双流网络训练模块中训练双流深度网络模型的具体实现方式如下，步骤S301，对包括关键帧和非关键帧在内的所有帧数据进行随机裁剪，水平翻转与旋转，随机噪声扰动以增加数据的多样性；步骤S302，选取y1类别的视频中一帧RGB关键帧和10帧光流关键帧在通道上连接，作为双流网络输入，提取出的特征向量作为positive；选取y1类别中的一帧RGB非关键帧和10帧光流非关键帧在通道上连接，作为双流网络输入，提取出的特征向量作为anchor；选取y2类别的视频中的一帧RGB关键帧和10帧光流图关键帧在通道上连接，作为双流网络输入，提取出的特征向量作为negative，其中positive、anchor和negative均为1024维度特征向量；步骤S303，网络前向传播结束后，构造hashtripletloss损失函数，使用hashtripletloss拉近positive和anchor的距离，拉远negative和anchor的距离，具体计算公式如下：其中：定义哈希码特征bi，bj∈{+1，-1}L，定义计算二进制特征向量bi和bj的汉明距离；式中M表示训练视频对的数量，式中pm为1本文档来自技高网...

【技术保护点】
1.一种基于双流神经网络的相似视频搜索方法，其特征在于，包括如下步骤：步骤S100，采集视频数据训练样本，并对样本进行预处理；步骤S200，提取视频数据训练样本中的视频关键帧；步骤S300，使用经过步骤S200处理过后的视频关键帧数据训练双流深度网络模型；步骤S400，将给定视频输入到步骤S300训练好的双流网络模型提取视频特征，用于在视频库中进行匹配；步骤S500，对步骤S400得到的特征向量经过sgn阶跃函数二值化作为视频特征哈希吗，sgn函数如下：

【技术特征摘要】
1.一种基于双流神经网络的相似视频搜索方法，其特征在于，包括如下步骤：步骤S100，采集视频数据训练样本，并对样本进行预处理；步骤S200，提取视频数据训练样本中的视频关键帧；步骤S300，使用经过步骤S200处理过后的视频关键帧数据训练双流深度网络模型；步骤S400，将给定视频输入到步骤S300训练好的双流网络模型提取视频特征，用于在视频库中进行匹配；步骤S500，对步骤S400得到的特征向量经过sgn阶跃函数二值化作为视频特征哈希吗，sgn函数如下：其中，x为步骤S400得到的特征向量；步骤S600，计算给定视频与视频库中所有视频的距离，按照距离由小到大对视频进行排序，排序靠前的视频即为最后的搜索结果。2.如权利要求1所述的一种基于双流神经网络的相似视频搜索方法，其特征在于：步骤S100中所述视频数据训练样本包括多种类型的视频，每种类型的视频数据在1000份以上；所述预处理包括对视频数据进行清洗，并删除噪声样本。3.如权利要求1所述的一种基于双流神经网络的相似视频搜索方法，其特征在于：步骤S200的具体实现包括如下子步骤，步骤S201，输入视频数据，将视频分帧并按视频时间顺序保存；步骤S202，从第1帧开始，利用相邻的前一帧，通过brox算法计算出每一视频帧单通道的光流图；步骤S203，对所有光流图计算方差值，根据方差值对光流图排序，选取方差最大的m帧图像作为关键光流帧，并选取对应的RGB关键帧。4.如权利要求3所述的一种基于双流神经网络的相似视频搜索方法，其特征在于：步骤S300训练双流深度网络模型的具体实现方式如下，步骤S301，对包括关键帧和非关键帧在内的所有帧数据进行随机裁剪，水平翻转与旋转，随机噪声扰动以增加数据的多样性；步骤S302，选取y1类别的视频中一帧RGB关键帧和10帧光流关键帧在通道上连接，作为双流网络输入，提取出的特征向量作为positive；选取y1类别中的一帧RGB非关键帧和10帧光流非关键帧在通道上连接，作为双流网络输入，提取出的特征向量作为anchor；选取y2类别的视频中的一帧RGB关键帧和10帧光流图关键帧在通道上连接，作为双流网络输入，提取出的特征向量作为negative，其中positive、anchor和negative均为1024维度特征向量；步骤S303，网络前向传播结束后，构造hashtripletloss损失函数，使用hashtripletloss拉近positive和anchor的距离，拉远negative和anchor的距离，具体计算公式如下：其中：定义哈希码特征bi，bj∈{+1，-1}L，定义计算二进制特征向量bi和bj的汉明距离；式中M表示训练视频对的数量，式中pm为1024维度的向量，表示第m个视频对中的positive；qm为1024维度向量，表示第m个视频对中的anchor；nm为1024维度向量，表示第m个视频对中的negative；bm＝sgn(pm)表示哈希化之后的视频特征；α是一个常量，控制损失函数边缘大小；为转换误差，对浮点型特征转换为二进制特征加上惩罚项；λ为超参数，控制惩罚的程度；步骤S304，使用随机梯度下降优化算法，对网络反向传播，反复迭代，调整训练学习率等超参数，直到网络收敛。5.如权利要求1-4任一权利要求所述的一种基于双流神经网络的相似视频搜索方法，其特征在于：步骤S600中相似距离度量通过计算两两视频特征之间的汉明距离，计算公式如下：其中，x,y为n维向量，x[i]表示给定视频特征哈希码向量x中的第i个元素的值，y[i]表示视频库中任一视频特征哈希码向量y中的第i个元素的值；表示异或操作。6.一种基于双流神经网络的相似视频...

【专利技术属性】
技术研发人员：夏又新，高瑞，施辉，
申请(专利权)人：武汉理工大学，
类型：发明
国别省市：湖北,42