一种视频摘要的生成方法以及相关装置制造方法及图纸

本申请公开了一种视频摘要的生成方法以及相关装置，应用于人工智能的机器学习技术。通过获取目标视频；然后提取每个视频帧的图像特征，以生成图像特征序列；并将视频帧序列划分为多个目标分段序列，以生成段落特征序列；将图像特征序列和段落特征序列进行融合，以得到融合特征；进而基于融合特征进行强化学习训练，以生成视频摘要。从而实现无监督的视频摘要生成过程，由于结合了图片级别的图像特征和深度级别的段落特征，保证了视频摘要生成的质量，且无监督的视频摘要生成过程无需人工标注，从而提高了视频摘要生成的效率以及准确性。

【技术实现步骤摘要】
一种视频摘要的生成方法以及相关装置
本申请涉及计算机
，尤其涉及一种视频摘要的生成方法以及相关装置。
技术介绍
随着互联网技术的迅速发展，人们对娱乐形式的要求越来越高。例如在视频观看过程中，可以进行基于视频摘要的快速跳转过程，从而提高视频观看体验。一般，可以采用有监督的视频摘要生成过程进行摘要生成，该过程需要人工标注好的视频序列做为训练样本。首先进行图片特征提取，然后进行特征编码，结合标签训练出一个提取模型，以确定视频序列中的每幅图片属于摘要的概率，然后对视频进行重组，从而获得视频摘要。但是，有监督的视频摘要生成的准确性过程受人工标注的影响，且人工标注的过程耗时耗力，容易出现标注错误的情况，影响视频摘要生成的效率及准确性。
技术实现思路
有鉴于此，本申请提供一种视频摘要的生成方法，可以有效提高视频摘要生成的效率及准确性。本申请第一方面提供一种视频摘要的生成方法，可以应用于终端设备中包含视频摘要的生成功能的系统或程序中，具体包括：获取目标视频，所述目标视频包含视频帧序列，所述视频帧序列包含多个视频帧；提取每个所述视频帧的图像特征，以生成图像特征序列；将所述视频帧序列划分为多个目标分段序列，以生成段落特征序列；将所述图像特征序列和所述段落特征序列进行融合，以得到融合特征；基于所述融合特征进行强化学习训练，以生成视频摘要。可选的，在本申请一些可能的实现方式中，所述将所述视频帧序列划分为多个目标分段序列，以生成段落特征序列，包括：基于预设算法对所述视频帧序列进行划分，以得到多个所述目标分段序列；将所述目标分段序列打包为分段图像特征序列；对所述分段图像特征序列进行编码，以得到分段特征集合；基于所述分段特征集合进行特征提取，以生成所述段落特征序列。可选的，在本申请一些可能的实现方式中，所述对所述分段图像特征序列进行编码，以得到分段特征集合，包括：获取目标分段序列的段数；基于所述目标分段序列的段数将所述分段图像特征序列编码为等长的特征，以得到所述分段特征集合。可选的，在本申请一些可能的实现方式中，所述将所述图像特征序列和所述段落特征序列进行融合，以得到融合特征，包括：基于所述视频帧序列的帧数和所述目标分段序列的段数确定投影矩阵；根据所述投影矩阵对所述图像特征序列进行映射，以得到图像映射矩阵；根据所述投影矩阵对所述段落特征序列进行映射，以得到段落映射矩阵；将所述图像映射矩阵和所述段落映射矩阵进行融合，以得到所述融合矩阵；将所述融合矩阵输入双向长短记忆网络，以得到所述融合特征。可选的，在本申请一些可能的实现方式中，所述基于所述融合特征进行强化学习训练，以生成视频摘要，包括：将所述融合特征输入奖励方程，以得到反馈值，所述反馈值用于指示所述强化学习训练过程中所述融合特征对应的视频帧属于所述视频摘要的概率；若所述反馈值达到预设值，则确定对应的概率分布；基于所述概率分布生成所述视频摘要。可选的，在本申请一些可能的实现方式中，所述方法还包括：将所述视频摘要划分为多个后处理分段序列；提取所述后处理分段序列中的关键段落，以对所述视频摘要进行更新。可选的，在本申请一些可能的实现方式中，所述提取所述后处理分段序列中的关键段落，以对所述视频摘要进行更新，包括：提取所述后处理分段序列中包含的每个视频帧对应的反馈值；基于所述后处理分段序列中包含的每个视频帧对应的反馈值进行加和，以得到分段序列得分；根据所述后处理分段序列中包含的视频帧的数量对所述分段序列得分进行加权，以得到关键得分；基于所述关键得分提取所述后处理分段序列中的关键段落，以对所述视频摘要进行更新。可选的，在本申请一些可能的实现方式中，所述方法还包括：对所述目标分段序列的分段数和所述后处理分段序列的分段数进行调整；统计不同分段数配置下生成的所述视频摘要，以得到性能参数。可选的，在本申请一些可能的实现方式中，所述对所述目标分段序列的分段数和所述后处理分段序列的分段数进行调整，包括：调用预设公式，所述预设公式基于所述目标视频中视频帧的数量设定；基于所述预设公式对所述目标分段序列的分段数和所述后处理分段序列的分段数进行调整。可选的，在本申请一些可能的实现方式中，所述基于所述预设公式对所述目标分段序列的分段数和所述后处理分段序列的分段数进行调整，包括：基于所述预设公式确定基准值；根据所述基准值进行加权，以得到加权值；根据所述加权值对所述目标分段序列的分段数和所述后处理分段序列的分段数进行调整。可选的，在本申请一些可能的实现方式中，所述基于所述预设公式对所述目标分段序列的分段数和所述后处理分段序列的分段数进行调整，包括：基于所述预设公式确定基准值；根据所述基准值划分细粒度参数和粗粒度参数；将所述细粒度参数和粗粒度参数进行组合，以对所述目标分段序列的分段数和所述后处理分段序列的分段数进行调整。可选的，在本申请一些可能的实现方式中，所述方法还包括：响应于目标操作确定所述视频摘要中的跳转图像；基于所述跳转图像将所述目标视频跳转到对应的播放位置，以进行视频播放。本申请第二方面提供一种视频摘要的生成装置，包括：获取单元，用于获取目标视频，所述目标视频包含视频帧序列，所述视频帧序列包含多个视频帧；提取单元，用于提取每个所述视频帧的图像特征，以生成图像特征序列；所述提取单元，还用于将所述视频帧序列划分为多个目标分段序列，以生成段落特征序列；融合单元，用于将所述图像特征序列和所述段落特征序列进行融合，以得到融合特征；生成单元，用于基于所述融合特征进行强化学习训练，以生成视频摘要。可选的，在本申请一些可能的实现方式中，所述提取单元，具体用于基于预设算法对所述视频帧序列进行划分，以得到多个所述目标分段序列；所述提取单元，具体用于将所述目标分段序列打包为分段图像特征序列；所述提取单元，具体用于对所述分段图像特征序列进行编码，以得到分段特征集合；所述提取单元，具体用于基于所述分段特征集合进行特征提取，以生成所述段落特征序列。可选的，在本申请一些可能的实现方式中，所述提取单元，具体用于获取目标分段序列的段数；所述提取单元，具体用于基于所述目标分段序列的段数将所述分段图像特征序列编码为等长的特征，以得到所述分段特征集合。可选的，在本申请一些可能的实现方式中，所述融合单元，具体用于基于所述视频帧序列的帧数和所述目标分段序列的段数确定投影矩阵；所述融合单元，具体用于根据所述投影矩阵对所述图像特征序列进行映射，以得到图像映射矩阵；所述融合单元，具体用于根据所述投影矩阵对所述段落特征序列进行映射，以得到段落映射矩阵；所述融合单元，具本文档来自技高网...

【技术保护点】
1.一种视频摘要的生成方法，其特征在于，包括：/n获取目标视频，所述目标视频包含视频帧序列，所述视频帧序列包含多个视频帧；/n提取每个所述视频帧的图像特征，以生成图像特征序列；/n将所述视频帧序列划分为多个目标分段序列，以生成段落特征序列；/n将所述图像特征序列和所述段落特征序列进行融合，以得到融合特征；/n基于所述融合特征进行强化学习训练，以生成视频摘要。/n

【技术特征摘要】
1.一种视频摘要的生成方法，其特征在于，包括：
获取目标视频，所述目标视频包含视频帧序列，所述视频帧序列包含多个视频帧；
提取每个所述视频帧的图像特征，以生成图像特征序列；
将所述视频帧序列划分为多个目标分段序列，以生成段落特征序列；
将所述图像特征序列和所述段落特征序列进行融合，以得到融合特征；
基于所述融合特征进行强化学习训练，以生成视频摘要。


2.根据权利要求1所述的方法，其特征在于，所述将所述视频帧序列划分为多个目标分段序列，以生成段落特征序列，包括：
基于预设算法对所述视频帧序列进行划分，以得到多个所述目标分段序列；
将所述目标分段序列打包为分段图像特征序列；
对所述分段图像特征序列进行编码，以得到分段特征集合；
基于所述分段特征集合进行特征提取，以生成所述段落特征序列。


3.根据权利要求2所述的方法，其特征在于，所述对所述分段图像特征序列进行编码，以得到分段特征集合，包括：
获取目标分段序列的段数；
基于所述目标分段序列的段数将所述分段图像特征序列编码为等长的特征，以得到所述分段特征集合。


4.根据权利要求1所述的方法，其特征在于，所述将所述图像特征序列和所述段落特征序列进行融合，以得到融合特征，包括：
基于所述视频帧序列的帧数和所述目标分段序列的段数确定投影矩阵；
根据所述投影矩阵对所述图像特征序列进行映射，以得到图像映射矩阵；
根据所述投影矩阵对所述段落特征序列进行映射，以得到段落映射矩阵；
将所述图像映射矩阵和所述段落映射矩阵进行融合，以得到融合矩阵；
将所述融合矩阵输入双向长短记忆网络，以得到所述融合特征。


5.根据权利要求1所述的方法，其特征在于，所述基于所述融合特征进行强化学习训练，以生成视频摘要，包括：
将所述融合特征输入奖励方程，以得到反馈值，所述反馈值用于指示所述强化学习训练过程中所述融合特征对应的视频帧属于所述视频摘要的概率；
若所述反馈值达到预设值，则确定对应的概率分布；
基于所述概率分布生成所述视频摘要。


6.根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：
将所述视频摘要划分为多个后处理分段序列；
提取所述后处理分段序列中的关键段落，以对所述视频摘要进行更新。


7.根据权利要求6所述的方法，其特征在于，所述提取所述后处理分段序列中的关键段落，以对所述视频摘要进行更新，包括：
提取所述后处理分段序列中包含的每个视频帧对应的反馈值；
基于所述后处理分段序列中包含的每个视频帧对应的反馈值进行加和，以得到分段序列得分；
根据所述后处理分段序列中包含的视频帧的数量...

【专利技术属性】
技术研发人员：闫桂霞，王晓利，王瑞琛，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44