【技术实现步骤摘要】
本专利技术属于视频摘要生成，涉及一种基于混合孪生掩码自动编码器的无监督视频摘要方法及系统。
技术介绍
1、伴随着视频分享平台的发展和移动设备的普及，网络上流传的视频数量呈现了爆炸式的增长，如何快速的对海量的视频进行检索、理解和管理成为了迫切的需求。而视频摘要技术正是满足这一需求的关键技术，视频摘要技术是利用视频分析的相关技术，从原始的视频数据中选取具有代表性的部分生成紧凑的摘要，使得用户可以通过摘要快速理解原视频的主要内容。视频摘要方法主要包括两种形式：基于关键帧的静态视频摘要和基于关键镜头的动态视频摘要。
2、近年来，随着深度学习技术的兴起，使用深度学习的研究方法也在视频摘要研究上得到广泛应用。大多数的视频摘要方法总是首先使用kts算法将视频分割成镜头，然后预测每个镜头中的帧重要性分数，并将这些分数组合起来以确定镜头重要性分数。最后，使用0-1背包算法提取关键镜头作为视频摘要。然而，在没有充分利用视频的时间和空间上下文语义的情况下，将镜头重要性得分视为相应帧重要性得分的集合可能是不准确的。
3、此外，有监督方法...
【技术保护点】
1.一种基于混合孪生掩码自动编码器的无监督视频摘要方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于混合孪生掩码自动编码器的无监督视频摘要方法，其特征在于，未掩码的镜头子集中被掩码的镜头的恢复包括以下步骤：
3.根据权利要求1所述的一种基于混合孪生掩码自动编码器的无监督视频摘要方法，其特征在于，所述恢复特征与原始帧特征序列的均方误差损失通过公式(1)计算：
4.根据权利要求1所述的一种基于混合孪生掩码自动编码器的无监督视频摘要方法，其特征在于，获取多样性镜头包括以下步骤：
5.根据权利要求1所述的一种基于...
【技术特征摘要】
1.一种基于混合孪生掩码自动编码器的无监督视频摘要方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于混合孪生掩码自动编码器的无监督视频摘要方法，其特征在于，未掩码的镜头子集中被掩码的镜头的恢复包括以下步骤：
3.根据权利要求1所述的一种基于混合孪生掩码自动编码器的无监督视频摘要方法，其特征在于，所述恢复特征与原始帧特征序列的均方误差损失通过公式(1)计算：
4.根据权利要求1所述的一种基于混合孪生掩码自动编码器的无监督视频摘要方法，其特征在于，获取多样性镜头包括以下步骤：
5.根据权利要求1所述的一种基于混合孪生掩码自动编码器的无监督视频摘要方法，其特征在于，所述多样性镜头的排斥损失通过公式(2)计算：
6.根据权利...
【专利技术属性】
技术研发人员：徐亦飞，吴在强，李向顺，尉萍萍，刘明圻，饶元，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。