【技术实现步骤摘要】
技术介绍
1、视频高光检测(vhd)是计算机视觉中一个活跃的研究领域，旨在定位给定原始视频输入的最吸引用户的剪辑。然而，大多数vhd方法基于封闭世界假设，即，基于可以预先定义固定数目的高光类别并且训练模型以将视频帧标记为属于高光类别所需的所有训练数据都是预先可用的假设。当模型基于封闭世界假设进行训练，并且稍后高光类别的数目被扩展时，现有方法将使用所有收集的视频对模型进行重新训练，以获得更多类别。这种方法的一个缺点是它需要大量的计算时间，这是非常昂贵且能量密集的。另一缺点是，重新训练的模型在其被重新训练之后可能关于原始高光类别不太准确。因此，这种现有方法针对增加高光类别域和训练数据具有较差的可缩放性。
技术实现思路
1、鉴于上文，提供了一种用于增量视频高光检测的计算系统。计算系统包括存储器和处理器，该处理器被配置为使用存储器的部分执行程序以接收输入视频，对来自输入视频的视频帧进行采样，使用卷积神经网络从视频帧提取逐帧空间特征，针对每个视频帧提取逐帧时间特征，针对每个视频帧聚合逐帧空间特征和逐帧时间特征以向逐帧空间特征提供时间上下文，将针对每个帧的经聚合的逐帧空间特征和逐帧时间特征输入到变换器编码器中，以获得视频帧的时间感知特征表示，将特征表示输入到前馈网络模型中以获得前馈变换特征，通过将每个前馈变换特征和高光原型集输入到函数中来获得参数，该函数将前馈变换特征与高光原型集进行比较，基于使用将前馈变换特征与高光原型集进行比较的函数所计算的参数将视频帧分类为高光，以及输出视频帧的分类。卷
2、该
技术实现思路
被提供来以简化的形式介绍下面在具体实施方式中进一步描述的一系列概念。该
技术实现思路
不旨在标识所要求保护的主题的关键特征或者必要特征，也不旨在被用于限制所要求保护的主题的范围。此外，所要求保护的主题不被限于解决在本公开的任何部分中提到的任何或所有缺点的实现。
【技术保护点】
1.一种增量视频高光检测系统，包括：
2.根据权利要求1所述的增量视频高光检测系统，其中交叉熵损失被用于通过梯度反向传播来优化所述前馈网络模型。
3.根据权利要求2所述的增量视频高光检测系统，其中所述梯度反向传播通过以下公式被执行：
4.根据权利要求3所述的增量视频高光检测系统，其中PH被表达为以下公式：
5.根据权利要求3所述的增量视频高光检测系统，其中所述卷积神经网络、所述变换器编码器、所述高光原型和所述非高光原型通过以下操作在多个训练阶段中的每个训练阶段被训练：
6.根据权利要求5所述的增量视频高光检测系统，其中所述极小极大损失函数包括经验拉格朗日变量与当前训练阶段中的高光原型集和先前训练阶段中的高光原型集之间的差异以及所述当前训练阶段中的非高光原型集和所述先前训练阶段中的非高光原型集之间的差异的乘积。
7.根据权利要求6所述的增量视频高光检测系统，其中所述极小极大损失函数被表达为以下公式：
8.根据权利要求7所述的增量视频高光检测系统，其中d(π(T-1)，πT)通过以下公式被计算：>
9.根据权利要求7所述的增量视频高光检测系统，其中所述参数更新函数包括以下公式：
10.一种用于在视频帧中执行增量高光检测的方法，所述方法包括以下步骤：
11.根据权利要求10所述的方法，其中交叉熵损失被用于通过梯度反向传播来优化所述前馈网络模型。
12.根据权利要求11所述的方法，其中所述梯度反向传播通过以下公式被执行：
13.根据权利要求12所述的方法，其中PH被表达为以下公式：
14.根据权利要求12所述的方法，其中所述卷积神经网络、所述变换器编码器、所述高光原型和所述非高光原型通过以下操作在多个训练阶段中的每个训练阶段被训练：
15.根据权利要求14所述的方法，其中所述极小极大损失函数包括经验拉格朗日变量与当前训练阶段中的高光原型集和先前训练阶段中的高光原型集之间的差异以及所述当前训练阶段中的非高光原型集和所述先前训练阶段中的非高光原型集之间的差异的乘积。
16.根据权利要求15所述的方法，其中极小极大损失函数被表达为以下公式：
17.根据权利要求16所述的方法，其中d(π(T-1)，πT)通过以下公式被计算：
18.根据权利要求16所述的方法，其中所述参数更新函数包括以下公式：
19.一种增量视频高光检测系统，包括：
20.根据权利要求19所述的增量视频高光检测系统，其中每个前馈变换特征和所述高光原型集之间的所述距离通过以下公式被计算：
...【技术特征摘要】
1.一种增量视频高光检测系统，包括：
2.根据权利要求1所述的增量视频高光检测系统，其中交叉熵损失被用于通过梯度反向传播来优化所述前馈网络模型。
3.根据权利要求2所述的增量视频高光检测系统，其中所述梯度反向传播通过以下公式被执行：
4.根据权利要求3所述的增量视频高光检测系统，其中ph被表达为以下公式：
5.根据权利要求3所述的增量视频高光检测系统，其中所述卷积神经网络、所述变换器编码器、所述高光原型和所述非高光原型通过以下操作在多个训练阶段中的每个训练阶段被训练：
6.根据权利要求5所述的增量视频高光检测系统，其中所述极小极大损失函数包括经验拉格朗日变量与当前训练阶段中的高光原型集和先前训练阶段中的高光原型集之间的差异以及所述当前训练阶段中的非高光原型集和所述先前训练阶段中的非高光原型集之间的差异的乘积。
7.根据权利要求6所述的增量视频高光检测系统，其中所述极小极大损失函数被表达为以下公式：
8.根据权利要求7所述的增量视频高光检测系统，其中d(π(t-1)，πt)通过以下公式被计算：
9.根据权利要求7所述的增量视频高光检测系统，其中所述参数更新函数包括以下公式：
10.一种用于在视频帧中执行增量高光检测的方法，所述方...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。