视频精彩片段检测方法及系统技术方案

本发明专利技术涉及一种视频精彩片段检测方法及系统，所述检测方法包括：将待测视频均分为多段视频片段；提取各视频片段的特征，得到对应各视频片段的特征表示；根据各特征表示及各视频片段之间关系，确定各视频片段的表示；利用图网络，更新各视频片段的信息；通过二元赋值向量模型，根据各视频片段的信息，确定各视频片段是否是精彩片段。本发明专利技术通过将待测视频均分为多段视频片段，并进行特征提取，得到对应的特征表示，确定并更新各视频片段的表示，进而通过二元赋值向量模型，可直接确定各视频片段是否是精彩片段，从而可提高视频片段的检测精度。

【技术实现步骤摘要】
视频精彩片段检测方法及系统
本专利技术涉及视频信息处理
，特别涉及一种视频精彩片段检测方法及系统。
技术介绍
随着便携摄像机和智能眼镜等可穿戴设备的普及，越来越多的人通过视频记录自己的生活，从而使得视频精彩片段检测显得日益重要。现有的大多数视频精彩片段检测方法都是提取视频整体特征，并没有考虑到时空局部特征存在差异。由于视频内容的复杂性，这种混合特征将会影响最终精彩片段的检测效果。其中，现有视频检测模型主要分成三种，即基于隐变量的排序模型，基于自动编码器的模型以及基于卷积神经网络的模型。而基于隐变量的模型虽然解决了视频中存在大量噪声的问题，扩大了训练样本的范围，但由于采用手工特征表示视频，导致检测精度较低；基于自动编码器的模型降低了对训练数据中负样本数量的要求，但由于整个过程是一个无监督学习，因此检测精度较低；基于卷积神经网络的模型利用双支网络考虑了视频空间与时间维度上的信息，但未考虑不同帧提供的信息不同，在同一帧中，不同区域提供的信息也不同，导致检测信息也不准确。
技术实现思路
为了解决现有技术中的上述本文档来自技高网...

【技术保护点】
1.一种视频精彩片段检测方法，其特征在于，所述检测方法包括：/n将待测视频均分为多段视频片段；/n提取各视频片段的特征，得到对应各视频片段的特征表示；/n根据各特征表示及各视频片段之间关系，确定各视频片段的表示；/n利用图网络，更新各视频片段的信息；/n通过二元赋值向量模型，根据各视频片段的信息，确定各视频片段是否是精彩片段。/n

【技术特征摘要】
1.一种视频精彩片段检测方法，其特征在于，所述检测方法包括：
将待测视频均分为多段视频片段；
提取各视频片段的特征，得到对应各视频片段的特征表示；
根据各特征表示及各视频片段之间关系，确定各视频片段的表示；
利用图网络，更新各视频片段的信息；
通过二元赋值向量模型，根据各视频片段的信息，确定各视频片段是否是精彩片段。


2.根据权利要求1所述的视频精彩片段检测方法，其特征在于，根据以下公式确定各视频片段的表示：
G＝(V,E)；
其中，G为有向图，用于表示各视频片段；V为节点集合，用于表示视频片段的特征；E为边集合，用于表示为各视频片段之间关系。


3.根据权利要求2所述的视频精彩片段检测方法，其特征在于，根据以下公式，计算边集合E：



其中，H(·)表示特征变换函数，表示图网络中第l层中第i个节点的特征表示，表示图网络中第l层中连接第i个节点和第j个节点的边的特征表示；根据得到边集合E。


4.根据权利要求1所述的视频精彩片段检测方法，其特征在于，根据以下公式，得到更新各视频片段的信息









其中，表示图网络中第l层中传播到第i个节点上的消息，表示图网络中第l层中第i个节点的特征表示，表示图网络中第l层中连接第i个节点和第j个节点的边的特征表示；是可学习的权重，σ是softmax函数，M和h均为特征变换函数，ReLU(·)表示激活函数。


5.根据权利要求1所述的视频精彩片段检测方法，其特征在于，所述通过二元赋值向量模型，根据各视频片段的信息，确定各视频片段是否是精彩片段，具体包括：
通过二元赋值向量模型，根据各视频片段的信息，计算各视频片段的特征的模；
选择k个模最大的片段作为精彩片段的候选。


6.根据权利要求1所述的视频精彩片段检测方法，其特征在于，所述检测方法还包括：
根据检测的结果，确定无监督视频精彩片段检测的损失函数；
根据所述损失函数，对所述二元赋值向量模型更新。


7.根据权利要求6所述的视频精彩片段检测方法，其特征在于，所述根据检测的结果，确定无监督视频精彩片段检测的损失函数，具体包括：
通过特征学习网络，学习待测视频的视频片段，得到视频重构的特征：
hi＝MLP(xi)；
其中，xi是第i个片段的预训练的原始特征，hi是用于重构的特征，MLP(·)表示多层感知器；
根据以下公式，计算得到由精彩片段重构原始...

【专利技术属性】
技术研发人员：徐常胜，高君宇，杨小汕，张莹莹，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京;11