基于三元组深度学习的相似视频内容检索方法及系统技术方案

技术编号:24498067 阅读:32 留言:0更新日期:2020-06-13 03:51
本发明专利技术公开了基于三元组深度学习的相似视频内容检索方法及系统,包括:建立视频哈希检索模型,采用构建好的视频三元组对所述模型进行训练;将经过预处理后的待检索视频输入训练好的视频哈希检索模型,得到待检索视频的哈希码;将待检索视频的哈希码与视频库中视频哈希码进行比较,按海明距离进行排序返回,确定与带检索视频内容最相近的视频。本发明专利技术充分利用了视频的标签信息,并对视频的时序信息进行了融合,降低了训练模型的计算量,并提高了视频检索的效率。

Similar video content retrieval method and system based on triple deep learning

【技术实现步骤摘要】
基于三元组深度学习的相似视频内容检索方法及系统
本专利技术涉及相似视频内容检索
,特别是涉及一种基于三元组深度学习的相似视频内容检索方法及系统。
技术介绍
随着互联网的高速发展和网络宽带速度的大幅提高,近年来,由互联网用户产生的以视频和图像为主的多媒体信息呈现井喷式的增长。从用户手中移动终端的各个视频软件到存储海量视频的各大视频网站,如何能快速的对大规模的视频进行处理成为了目前多媒体及大数据分析的一个重点研究方向。对于用户来说,能否从海量视频中快速的检索出自己感兴趣的内容是十分重要的;而对于互联网企业来说,有效的视频检索能够对用户进行精准的内容推荐和广告投放。传统的检索过程通常由检索内容的文本标注作为检索键值,然而对于当前如此庞大的视频产出量和上传量来说,对视频进行完整的文本标注是不现实也不可能的,因此基于内容的检索便成了一种十分关键的手段。具体来讲,基于内容的视频检索即给定一个视频,仅仅根据此视频内容检索出与其具有语义相似性的相关视频。传统的基于内容的检索通常先对视频提取特征,之后与视频库中的视频特征计算欧式距离并基于距离由小到本文档来自技高网...

【技术保护点】
1.基于三元组深度学习的相似视频内容检索方法,其特征在于,包括:/n建立视频哈希检索模型,采用构建好的视频三元组对所述模型进行训练;/n将经过预处理后的待检索视频输入训练好的视频哈希检索模型,得到待检索视频的哈希码;/n将待检索视频的哈希码与视频库中视频哈希码进行比较,按海明距离进行排序返回,确定与带检索视频内容最相近的视频。/n

【技术特征摘要】
1.基于三元组深度学习的相似视频内容检索方法,其特征在于,包括:
建立视频哈希检索模型,采用构建好的视频三元组对所述模型进行训练;
将经过预处理后的待检索视频输入训练好的视频哈希检索模型,得到待检索视频的哈希码;
将待检索视频的哈希码与视频库中视频哈希码进行比较,按海明距离进行排序返回,确定与带检索视频内容最相近的视频。


2.如权利要求1所述的基于三元组深度学习的相似视频内容检索方法,其特征在于,将待使用的训练集按照类别构造三元组视频,其中每个三元组包括一个样例视频和一个与样例视频相似的视频,以及另一个与样例视频不相似的视频。


3.如权利要求1所述的基于三元组深度学习的相似视频内容检索方法,其特征在于,构造三元组视频之后,将训练集中的三元组视频进行平均抽帧,并依次输入卷积神经网络和循环神经网络,通过若干全连接层得到每个视频的低维哈希向量;
将每个视频的低维哈希向量用于分类;
计算三元组哈希网络的损失,并将损失反向传播来训练网络;
每次输入三元组视频前向传播后,根据损失反向传播,更新网络参数,训练模型;
对整个训练集经过设定次数的迭代训练后,得到训练好的网络模型。


4.如权利要求1所述的基于三元组深度学习的相似视频内容检索方法,其特征在于,将每个视频的低维哈希向量用于分类,采用交叉熵损失来表示分类误差,具体为:



其中,xc表示将哈希向量用于分类的分类向量,gt表示该视频的真实类别,函数I为指示函数,当且仅当其下标所代表的等式真值为真时其值为1,反之为0;c表示类别总数,i和j表示当前视频的分类哈希向量中对应第i类和第j类的情况。


5.如权利要求1所述的基于三元组深度学习的相似视频内容检索方法,其特征在于,对待检测视频的预处理过程为:
对视频采用均匀采样,根据实际情况依据视频长短来...

【专利技术属性】
技术研发人员:聂秀山周鑫尹义龙
申请(专利权)人:山东建筑大学
类型:发明
国别省市:山东;37

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1