【技术实现步骤摘要】
本专利技术涉及图像处理，具体为空时多尺度交互的视频摘要生成方法及系统。
技术介绍
1、自媒体时代背景下，每天都有大量的视频产生，仅仅依靠人工无法完成如此海量视频的监管。视频摘要旨在将冗长的视频压缩为更短、更易管理的版本，是一种可行的解决方案。然而，传统的视频摘要方法希望使用一个标准模型来总结所有类别的视频，这需要大量的人工标注数据进行训练，而人工标注的成本很高，因此有效利用可用数据资源至关重要，另一方面，现有的视频摘要方法忽视了一点，即相同类别视频的视频其摘要的重点是类似的，而不同类别的视频很有可能是不同的，因此摘要的重点可以根据视频片段的内容和上下文的不同而大不相同。摘要应捕捉视频的精华，同时满足观众的兴趣和需求，因此理解观众的期望和视频内容的关键要素对于制作有效的摘要至关重要。
2、现有技术中大多使用单一分支预测摘要，例如分别使用动态图和变换器架构的单一分支捕获空间-时间依赖关系，这些方法仅依赖于输入特征的单一尺度操作，这样的特征对于少样本视频摘要来说可能并不足以提供准确的信息。
技术实现思路
【技术保护点】
1.空时多尺度交互的视频摘要生成方法，其特征在于，具体包括以下步骤：
2.根据权利要求1所述的空时多尺度交互的视频摘要生成方法，其特征在于，关于计算得到单尺度时序特征，计算过程如下：
3.根据权利要求2所述的空时多尺度交互的视频摘要生成方法，其特征在于，关于单尺度时序特征和类别相似性特征输入时序多尺度交互组件，得到时域多尺度融合特征，具体如下：
4.根据权利要求2所述的空时多尺度交互的视频摘要生成方法，其特征在于，将重组的查询集视觉特征、支持集视觉特征和支持集摘要特征输入到空间多尺度交互组件，得到空域多尺度融合特征，具体如下：>
5.根据权利...
【技术特征摘要】
1.空时多尺度交互的视频摘要生成方法，其特征在于，具体包括以下步骤：
2.根据权利要求1所述的空时多尺度交互的视频摘要生成方法，其特征在于，关于计算得到单尺度时序特征，计算过程如下：
3.根据权利要求2所述的空时多尺度交互的视频摘要生成方法，其特征在于，关于单尺度时序特征和类别相似性特征输入时序多尺度交互组件，得到时域多尺度融合特征，具体如下：
4.根据权利要求2所述的空时多尺度交互的视频摘要生成方法，其特征在于，将重组的查询集视觉特征、支持集视觉特征和支持集摘要特征输入到空间多尺度交互组件，得到空域多尺度融合特征，具体如下：
5.根据权利要求1所述的空时...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。