一种提取短视频主题的方法技术

一种提取短视频主题的方法，包括：将短视频切分成M张视频截帧图片；采用迁移学习方式，使用卷积神经网络获取视频截帧图片的视频空间特征向量集合；按播放时序，将视频空间特征向量构成特征向量时间序列，并输入双向循环神经网络，从而输出视频空间‑时间特征序列集合H；采用注意力机制，对H中的每个视频空间‑时间特征序列进行调整，从而获得新的视频空间‑时间特征序列集合Q；将Q再展开成一个视频空间‑时间特征向量Z，对Z进行线性变换，然后采用归一化指数函数分别计算短视频归属各个主题的概率，以据此提取短视频的主题。本发明专利技术属于信息技术领域，能自动从短视频中提取主题信息，并且有效降低计算量。

A Method of Extracting Short Video Themes

A method for extracting short video topics includes: dividing short video into M video clips; acquiring video space feature vectors set of video clips by using convolutional neural network with migration learning method; composing video space feature vectors into time series of feature vectors according to playback sequence, and inputting bi-directional cyclic neural network to output video space time series. Inter-feature sequence set H; Attention mechanism is used to adjust each video space and time feature sequence in H to obtain a new set Q of video space and time feature sequence; Q is expanded into a video space and time feature vector Z, Z is transformed linearly, and then the probability of short video belonging to each subject is calculated by normalized exponential function to obtain data. This extracts the theme of the short video. The invention belongs to the field of information technology, can automatically extract subject information from short video, and effectively reduces the amount of calculation.

【技术实现步骤摘要】
一种提取短视频主题的方法
本专利技术涉及一种提取短视频主题的方法，属于信息

技术介绍
短视频越来越成为人们去了解认识世界的一种途径，通过对大量短视频进行标签化，可以大大降低人工为短视频打标签的繁琐过程，也为后续短视频分类和为用户推送其喜爱的短视频做好准备。专利申请CN201810496579.3(申请名称：一种新的非监督的视频语义提取方法，申请日：2018-05-22，申请人：电子科技大学)公开了一种新的非监督视频语义提取方法，包括构建三维卷积神经网络模型，使用视频数据库中带标签视频数据集训练三维卷积神经网络模型；使用滑动窗口将视频数据库中不带标签视频数据处理成符合三维卷积神经网络输入的数据；使用该生成数据作为三维卷积神经网络模型的输入数据，取三维卷积神经网络模型全连接层的输出数据作为视频段的语义特征；使用该生成的视频段语义特征序列作为视频语义自编码器的输入，通过自编码器整合得到视频整体语义特征。该技术方案通过三维卷积神经网络来直接提取视频段的语义特征，会造成极大的计算量而导致系统效率不高。因此，如何自动从短视频中提取主题信息，并且有效降低计算量，已成为技术人员急需解决的技本文档来自技高网...

【技术保护点】
1.一种提取短视频主题的方法，其特征在于，包括有：步骤一、将短视频按照一定间隔的帧长切分成M张视频截帧图片；步骤二、采用迁移学习方式，使用卷积神经网络获取M张视频截帧图片的视频空间特征向量集合Y＝[y1,y2,...,yM]，其中，y1、y2、…、yM分别是每张视频截帧图片通过卷积神经网络所获得的视频空间特征向量；步骤三、按短视频的播放时序，将M张视频截帧图片的视频空间特征向量构成一个特征向量时间序列，将特征向量时间序列输入双向循环神经网络，从而输出一个视频空间‑时间特征序列集合H＝[h1,h2,...,hM]，其中，h1、h2、…、hM分别是输出的视频空间‑时间特征序列集合H中的每个视频空间...

【技术特征摘要】
1.一种提取短视频主题的方法，其特征在于，包括有：步骤一、将短视频按照一定间隔的帧长切分成M张视频截帧图片；步骤二、采用迁移学习方式，使用卷积神经网络获取M张视频截帧图片的视频空间特征向量集合Y＝[y1,y2,...,yM]，其中，y1、y2、…、yM分别是每张视频截帧图片通过卷积神经网络所获得的视频空间特征向量；步骤三、按短视频的播放时序，将M张视频截帧图片的视频空间特征向量构成一个特征向量时间序列，将特征向量时间序列输入双向循环神经网络，从而输出一个视频空间-时间特征序列集合H＝[h1,h2,...,hM]，其中，h1、h2、…、hM分别是输出的视频空间-时间特征序列集合H中的每个视频空间-时间特征序列；步骤四、采用注意力机制，计算视频空间-时间特征序列集合H中每个视频空间-时间特征序列对其他视频空间-时间特征序列的注意力，并根据注意力对视频空间-时间特征序列集合H中的每个视频空间-时间特征序列进行调整，从而获得新的视频空间-时间特征序列集合Q＝[q1,q2,...,qM]，其中，q1、q2、…、qM分别是根据注意力而调整后的视频空间-时间特征序列；步骤五、将新的视频空间-时间特征序列集合Q再展开成一个视频空间-时间特征向量Z，对视频空间-时间特征向量Z进行线性变换，然后采用归一化指数函数分别计算短视频归属各个主题的概率，以据此提取短视频的主题。2.根据权利要求1所述的方法，其特征在于，步骤二进一步包括有：步骤21、基于ImageNet公开数据集，采用迁移学习方式，构建、并训练Inception-v3预训练卷积神经网络模型，模型的输入是视频截帧图片，输出是视频截帧图片归属于不同主题的概率；步骤22、将M张视频截帧图片分别输入到步骤21训练好的卷积神经网络模型中，并从卷积神经网络模型中提取倒数第二层的输出作为每张视频截帧图片的视频空间特征向量，由M张视频截帧图片的视频空间特征向量构成视频空间特征向量集合Y＝[y1,y2,...,yM]，以作为M张视频截帧图片的内容特征。3.根据权利要求1所述的方法，其特征在于，步骤三采用BidirectionalLSTM算法。4.根据权利要求1所述的方法，其特征...

【专利技术属性】
技术研发人员：赵海秀，刘同存，张少杰，王彦青，刘昊鑫，
申请(专利权)人：杭州东信北邮信息技术有限公司，
类型：发明
国别省市：浙江,33