一种相似视频检索的方法和装置制造方法及图纸

本发明专利技术是相似视频检索的方法和装置，装置包括用户界面展示以及生成用户检索请求的应用程序模块，解析应用程序模块发起的任务请求并生成相应的子任务的任务调度模块，接收和处理基因提取子任务的基因提取模块，接收和处理基因入库和检索子任务的基因数据库模块。方法包括：对视频库中所有视频提取视频基因并插入Milvus向量数据库，检索时提取待检索视频的基因并发起检索请求，基因数据库返回检索结果。本发明专利技术的优点：提取的视频特征数据量少，压缩了视频特征向量数据，占用硬件资源少；在确保检索准确率不下降的前提下，提高了检索效率。提高了检索效率。提高了检索效率。

【技术实现步骤摘要】
一种相似视频检索的方法和装置


[0001]本专利技术涉及的是一种相似视频检索的方法和装置，属于计算机多媒体(图像和视频)信息处理


技术介绍

[0002]在相似视频检索领域，现有技术的方案通常是提取视频帧的特征向量，然后基于特征向量进行相似性检索。其中提取视频帧的特征向量通常采用成熟的卷积神经网络如Vgg、Resnet、GooleNet等等，将视频帧输入到训练好的神经网络中，再从中间某一层输出一个向量作为特征向量。
[0003]采用成熟的卷积神经网络提取出来的特征向量通常维数较高，达到1024维甚至2048维，并且是浮点数，优点是检索精度较高，缺点是数据量太大，检索较慢，不适用于大规模相似视频检索。
[0004]CN107463932B一种使用二进制瓶颈神经网络来抽取图片特征的方法，是一种将二进制瓶颈神经网络应用于相似视频检索的方法。二进制瓶颈神经网络提取出来的视频帧特征向量只有64比特，相较于2048维浮点数向量，其数据量大大压缩，可应用于大规模相似视频检索。但是压缩也会带来另外一个问题，就是检索精度大大降低，可能会造本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种相似视频检索的装置，其特征在于，包括应用程序模块、任务调度模块、基因提取模块和基因数据库模块，其中，应用程序模块用于用户界面展示以及生成用户检索请求，任务调度模块用于解析应用程序模块发起的任务请求，包括视频基因入库请求与相似视频检索请求，并生成相应的子任务给基因提取模块和基因数据库模块，基因提取模块用于接收和处理基因提取子任务，基因数据库模块用于接收和处理基因入库和检索子任务。2.如权利要求1所述的一种相似视频检索的装置的检索方法，其特征在于，包括：首先对视频库中所有视频提取视频基因并插入Milvus向量数据库，即视频基因入库流程，检索时，同样提取待检索视频的基因并发起检索请求，基因数据库返回检索结果，即相似视频检索流程。3.如权利要求2所述的一种相似视频检索的装置的检索方法，其特征在于，所述的视频基因入库流程，具体包括如下步骤：步骤1：应用程序模块发起视频基因入库请求；步骤2：任务调度模块接收请求并发起基因提取子任务请求到基因提取模块；步骤3：基因提取模块提取视频基因并返回提取结果，基因提取流程如下：1)利用ffmpeg开源工具对视频进行抽帧，抽帧的同时将图片缩放到224x224尺寸大小，抽帧图片保存在本地磁盘，抽帧间隔默认1秒，2)将图片输入预训练好的二进制瓶颈神经网络，抽取中间表示层的特征，得到64比特的特征向量，3)假设视频时长为N秒，上一步将得到一个N*64维向量组成的二进制数组，再采用滑动窗口算法，将第1到第5个向量合并成一个320维二进制向量，将第2至第6个向量合并成第二个320维向量，以此类推，得到(N
‑
4)*320维向量数组,将该数组保存为pkl文件并返回；步骤4：任务调度模块接收基因提取结果并发起基因入库子任务到基因数据库模块；步骤5：基因数据库模块读取上述pkl文件得到(N
...

【专利技术属性】
技术研发人员：苏许臣，周坤，刘璐，
申请(专利权)人：央视国际网络无锡有限公司，
类型：发明
国别省市：