一种基于深度学习的视频指纹算法制造技术

本发明专利技术涉及一种基于深度学习的视频指纹算法，包括：向训练模型输入增强后的训练图像；利用训练模型训练直至结果收敛；初始化图像特征提取模型；输入视频图像进行GPU提取特征；对提取特征进行二值编码。本发明专利技术利用训练模型对增强的图片进行特征提取训练并调整参数获得最佳提取效果，进而利用该参数进行视频指纹高效提取，通过对图像的增强处理提高指纹特征算法的鲁棒性、采用多层卷积和池化的方法提高图像特征提取的范化能力、利用损失函数控制并检验特征提取的精度等改进方法使得本发明专利技术较传统指纹算法具备更强的图像识别能力、抗干扰能力、更快的提取速度以及更高的精度，从而有效提高了视频指纹算法的效率。

A video fingerprint algorithm based on depth learning

The present invention relates to a video fingerprinting algorithm based on deep learning, including: training to enhance the image input training model; training model using the training results until convergence; image feature extraction model initialization; input image GPU feature extraction; extraction of feature value encoding two. The training model for feature extraction training on the enhanced image and adjust the parameters to get the best extraction effect by using the invention, and the parameters are used in video fingerprint extraction, the image enhancement processing method to improve the robustness, using multi-layer convolution and pooling of fingerprint image feature extraction algorithm to improve the generalization ability, the loss of function control and test the accuracy of feature extraction method of the invention is to improve the traditional fingerprint extraction algorithm with the speed of image recognition ability, stronger anti-interference ability, faster and higher precision, so as to effectively improve the efficiency of algorithm of video fingerprint.

【技术实现步骤摘要】
一种基于深度学习的视频指纹算法
本专利技术涉及一种基于深度学习的视频指纹算法，尤其涉及一种数字视频信号处理
的视频指纹算法。
技术介绍
视频作为现代社会的一种重要媒体传递方式在生活中扮演着重要角色，无论是从快速表达作者意图还是从更加清晰易懂的让读者领会要表达的内容角度上看，视频都比文字、声音等媒体传播方式要显得更加出色，也更受大众欢迎，人们可以内通过观看自己关心的视频在极短时间内获取想要的信息，这个日常生活带来了很大便利。然而，视频与其他媒体方式的差异性也为视频的检索提出了要求。如何才能快速从海量的视频信息中搜索到自己想要或者是相关的信息成为亟待解决的问题之一。视频指纹检索是一种常见的视频检索方式，包括全局视频指纹提取和局部视频指纹提取两种方案。全局提取具备很好的鲁棒性和精确度，然而提取速度慢，局部提取的方式速度相对较快但不能很好的因对图像中存在的瑕疵，例如平移、缩放、黑边等等。
技术实现思路
针对现有视频图像指纹提取技术中存在的不足，本专利技术一种基于深度学习的视频指纹算法，提出通过对图片进行平移、缩放、剪切、加黑边、加字幕、加logo等变换增强操作后，输入离线训练模型，在训练模型中采用多次卷积、池化、全连接的方式对图像进行处理，对处理后的数据采用哈希损失函数进行判定，多次判定得到结果收敛后得出模型参数，进而利用GPU读取并初始化在线视频图像特征提取模型，对抽样后的视频图像进行在线特征提取，最后将提取到的特征进行二值编码生成128比特的图像指纹。利用训练模型对增强的图片进行特征提取训练并调整参数获得最佳提取效果，进而利用该参数进行视频指纹高效提取，通过对图像的增强处理提高指纹特征算法的鲁棒性、采用多层卷积和池化的方法提高图像特征提取的范化能力、利用损失函数控制并检验特征提取的精度等改进方法使得本专利技术较传统指纹算法具备更强的图像识别能力、抗干扰能力、更快的提取速度以及更高的精度，从而有效提高了视频指纹算法的效率。本专利技术解决其技术问题所采用的技术方案包括以下步骤：增强图像步骤，对不同种类的图像进行打标签并进行增强处理，将处理后的图片输入训练模型。优选的，所述增强处理指对所述图像进行多种变换如：缩放、平移、剪切、加黑边、加字幕、加logo等等。离线训练步骤，利用离线训练模型对输入的增强图片进行离线训练并获得训练参数。优选的，所述步骤包括：图像缩放处理、多次卷积、池化处理、两次全连接处理以及损失函数判定。优选的，所述图像缩放处理指将输入图片统一缩放为227*227大小。优选的，所述多次卷积、池化处理包括：两次卷积加池化处理，进一步的两次卷积处理，再进一步的一次卷积加池化处理。优选的，所述损失函数为哈希函数，具体如下：优选的，所述损失函数中，所述b为网络的输出，y=0表示相似，y=1表示不相似，m=256，a=0.01。优选的，所述离线训练步骤结束离线训练的条件是所述损失函数计算得出的结果收敛。在线模型初始化步骤，采用离线训练得到的训练参数对在线视频图像指纹提取模型初始化。在线视频图像特征提取步骤，在线读取视频图像并利用GPU实时提取图像特征；优选的，所述步骤包括：将初始化的图像特征提取模型读入GPU缓存、对视频图像按照特定帧率提取、将提取到的样本图像输入模型进行特征提取。生成图像指纹步骤，对在线提取的图像特征进行二值编码，生成图像指纹。优选的，所述图像特征为128个浮点数；所述二值编码指：将所述浮点数与特定的数值进行比较，大于该数值的浮点数记录为1，否则记录为0；所述图像指纹为128个比特的二值编码数据集。采用上述技术方案，本专利技术具有以下优点：本专利技术涉及一种基于深度学习的视频指纹算法，提出通过对图片进行平移、缩放、剪切、加黑边、加字幕、加logo等变换增强操作后，输入离线训练模型，在训练模型中采用多次卷积、池化、全连接的方式对图像进行处理，对处理后的数据采用哈希损失函数进行判定，多次判定得到结果收敛后得出模型参数，进而利用GPU读取并初始化在线视频图像特征提取模型，对抽样后的视频图像进行在线特征提取，最后将提取到的特征进行二值编码生成128比特的图像指纹。利用训练模型对增强的图片进行特征提取训练并调整参数获得最佳提取效果，进而利用该参数进行视频指纹高效提取，通过对图像的增强处理提高指纹特征算法的鲁棒性、采用多层卷积和池化的方法提高图像特征提取的范化能力、利用损失函数控制并检验特征提取的精度等改进方法使得本专利技术较传统指纹算法具备更强的图像识别能力、抗干扰能力、更快的提取速度以及更高的精度，从而有效提高了视频指纹算法的效率。附图说明图1为本专利技术较佳实施方式的一种基于深度学习的视频指纹算法的步骤示意图。图2为本专利技术较佳实施方式的一种基于深度学习的视频指纹算法的详细流程图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本专利技术的一个实施例，而不是全部实施例。基于本专利技术中的实施例，本领域的一般技术人员在没有做出创造性劳动的前提下所获得的其他实施例，都属于本专利技术保护的范围。本专利技术实施例公开了一种基于深度学习的视频指纹算法，参见图1所示，该方法包括以下步骤：步骤S1：增强图像步骤。优选的，对不同种类的图像进行打标签并进行增强处理，将处理后的图片输入训练模型。步骤S2：离线训练步骤。优选的，利用离线训练模型对输入的增强图片进行离线训练并获得训练参数。步骤S3：在线模型初始化步骤。优选的，采用离线训练得到的训练参数对在线视频图像指纹提取模型初始化。步骤S4：在线视频图像特征提取步骤。优选的，在线读取视频图像并利用GPU实时提取图像特征。步骤S5：生成图像指纹步骤。优选的，对在线提取的图像特征进行二值编码，生成图像指纹。本专利技术实施例中，通过采用对图片进行平移、缩放、剪切、加黑边、加字幕、加logo等变换增强操作后，输入离线训练模型，在训练模型中采用多次卷积、池化、全连接的方式对图像进行处理，对处理有的数据采用哈希损失函数进行判定，多次判定得到结果收敛后得出模型参数，进而利用GPU读取并初始化在线视频图像特征提取模型，对抽样后的视频图像进行在线特征提取，最后将提取到的特征进行二值编码生成128比特的图像指纹。可见，本专利技术实施例中，利用训练模型对增强的图片进行特征提取训练并调整参数获得最佳提取效果，进而利用该参数进行视频指纹高效提取，通过对图像的增强处理提高指纹特征算法的鲁棒性、采用多层卷积和池化的方法提高图像特征提取的范化能力、利用损失函数控制并检验特征提取的精度等改进方法使得本专利技术较传统指纹算法具备更强的图像识别能力、抗干扰能力、更快的提取速度以及更高的精度，从而有效提高了视频指纹算法的效率。本专利技术实施例公开了一种基于深度学习的视频指纹算法，参见图2，相对上两个实施例，本实施例对技术方案作了进一步的说明和优化。具体的，本实施例中一种音视频自动叠加字幕的方法和装置包含以下步骤：步骤S1：增强图像步骤，对不同种类的图像进行打标签并进行增强处理，将处理后的图片输入训练模型。优选的，通过执行步骤S11：训练图像增强，实现对所有图片进行缩放、平移、剪切、加黑边、加字幕、加logo等等，将处理后的结果输入步骤S12：给不同图像打标签。优选的，通过执行步骤S12实本文档来自技高网...

【技术保护点】
一种基于深度学习的视频指纹算法，其特征在于，该方法包含以下步骤：增强图像步骤，对不同种类的图像进行打标签并进行增强处理，将处理后的图片输入训练模型；离线训练步骤，利用离线训练模型对输入的增强图片进行离线训练并获得训练参数；在线模型初始化步骤，采用离线训练得到的训练参数对在线视频图像指纹提取模型初始化；在线视频图像特征提取步骤，在线读取视频图像并利用GPU实时提取图像特征；生成图像指纹步骤，对在线提取的图像特征进行二值编码，生成图像指纹。

【技术特征摘要】
1.一种基于深度学习的视频指纹算法，其特征在于，该方法包含以下步骤：增强图像步骤，对不同种类的图像进行打标签并进行增强处理，将处理后的图片输入训练模型；离线训练步骤，利用离线训练模型对输入的增强图片进行离线训练并获得训练参数；在线模型初始化步骤，采用离线训练得到的训练参数对在线视频图像指纹提取模型初始化；在线视频图像特征提取步骤，在线读取视频图像并利用GPU实时提取图像特征；生成图像指纹步骤，对在线提取的图像特征进行二值编码，生成图像指纹。2.如权利要求1所述的一种基于深度学习的视频指纹算法，其特征在于，所述增强图像步骤中，所述增强处理指对所述图像进行多种变换如：缩放、平移、剪切、加黑边、加字幕、加logo等等。3.如权利要求1所述的一种基于深度学习的视频指纹算法，其特征在于，所述离线训练步骤包括：图像缩放处理、多次卷积、池化处理、两次全连接处理以及损失函数判定。4.如权利要求3所述的一种基于深度学习的视频指纹算法，其特征在于，所述图像缩放处理指将输入图片统一缩放为227*227大小。5.如权利要求3所述的一种基于深度学习的视频指纹算法，其特征在于，所...

【专利技术属性】
技术研发人员：杭欣，郭伟伟，
申请(专利权)人：杭州当虹科技有限公司，
类型：发明
国别省市：浙江,33