【技术实现步骤摘要】
一种密集视频描述方法、装置、系统以及存储介质
[0001]本专利技术主要涉及视频处理
，具体涉及一种密集视频描述方法、装置、系统以及存储介质。
技术介绍
[0002]密集视频描述分为两个子任务，一是时间事件定位，二是时间描述，以往的大部分方法是先定位事件再进行描述。使用端到端密集视频描述框架有并行解码功能，可利用特征之间的关联使得中间的特征向量与事件对应起来有更强的鉴别性，而现有的密集视频描述框架对于视觉特征的编码并没有很好地选择到有用性大的特征传播，其他无用的特征也被输进模型当中学习，从而增加了信息冗余，降低了密集描述的准确性。
技术实现思路
[0003]本专利技术所要解决的技术问题是针对现有技术的不足，提供一种密集视频描述方法、装置、系统以及存储介质。
[0004]本专利技术解决上述技术问题的技术方案如下：一种密集视频描述方法，包括如下步骤：
[0005]导入原始视频，对所述原始视频进行特征提取，得到多个视频特征向量；
[0006]分别对各个所述视频特征向量进行融合分析，得到...
【技术保护点】
【技术特征摘要】
1.一种密集视频描述方法，其特征在于，包括如下步骤：导入原始视频，对所述原始视频进行特征提取，得到多个视频特征向量；分别对各个所述视频特征向量进行融合分析，得到各个所述视频特征向量的目标融合特征向量；分别对各个所述视频特征向量的目标融合特征向量进行特征分析，得到各个所述视频特征向量的多个事件查询特征向量；分别对各个所述视频特征向量的各个所述事件查询特征向量进行视频描述分析，得到各个所述事件查询特征向量的定位置信度、生成句子长度以及多个事件描述；统计所有所述事件查询特征向量的总和，得到事件查询特征向量总数；根据各个所述事件查询特征向量的定位置信度、生成句子长度以及多个事件描述进行置信度分析，得到各个所述事件查询特征向量的目标置信度；按照从大到小的顺序对所有所述事件查询特征向量的目标置信度进行排序，并将前N
set
个排序后所述目标置信度所对应的事件查询特征向量作为视频描述结果，其中，N
set
为事件查询特征向量总数。2.根据权利要求1所述的密集视频描述方法，其特征在于，所述对所述原始视频进行特征提取，得到多个视频特征向量的过程包括：利用动作识别网络对所述原始视频进行特征提取，得到多个视频特征向量。3.根据权利要求1所述的密集视频描述方法，其特征在于，多个所述视频特征向量按照时间顺序排列，所述分别对各个所述视频特征向量进行融合分析，得到各个所述视频特征向量的目标融合特征向量的过程包括：将第一个所述视频特征向量作为第一个所述视频特征向量的融合后特征向量；从第二个所述视频特征向量开始，分别根据各个所述视频特征向量以及各个所述视频特征向量的前一视频特征向量进行融合计算，直至最后一个所述视频特征向量结束，对应得到各个所述视频特征向量的融合后特征向量；通过多个一维卷积层分别对第一个所述视频特征向量的融合后特征向量以及各个所述视频特征向量的融合后特征向量进行特征提取，得到各个所述视频特征向量的目标融合特征向量。4.根据权利要求3所述的密集视频描述方法，其特征在于，所述从第二个所述视频特征向量开始，分别根据各个所述视频特征向量以及各个所述视频特征向量的前一视频特征向量进行融合计算，直至最后一个所述视频特征向量结束，对应得到各个所述视频特征向量的融合后特征向量的过程包括：基于第一式，分别根据各个所述视频特征向量以及各个所述视频特征向量的前一视频特征向量进行融合计算，对应得到各个所述视频特征向量的融合后特征向量，所述第一式为：其中，X
l
为第i个视频特征向量的融合后特征向量，X
i
为第i个视频特征向量，X
j
为第i个视频特征向量的前一视频特征向量，G
i
、G
j
均为门限值，L为视频特征向量总数。5.根据权利要求1所述的密集视频描述方法，其特征在于，所述分别对各个所述视频特
征向量的目标融合特征向量进行特征分析，得到各个所述视频特征向量的多个事件查询特征向量的过程包括：通过编码器分别对各个所述视频特征向量的目标融合...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。