一种基于多智能体强化学习的视频摘要生成方法技术

本发明专利技术公开一种基于多智能体强化学习的视频摘要生成方法。视频摘要生成是通过对原有视频的简化和压缩并保留其中的关键信息，在视频监控领域应用前景广阔，可以极大地减轻存储压力并提高工作效率。传统的视频摘要生成方法通过对整体视频进行时间分割，得到每一帧的关键性分数之后，根据分值大小以及所需要的关键帧的数量合成摘要。本发明专利技术提出的基于多智能强化学习的视频摘要生成方法利用多个智能体之间的协同合作特点，对视频的关键帧进行优先级投票选择，模拟人类制作视频摘要数据集关键帧标注的过程，采用多智能体深度确定性策略梯度的方法进行参数的更新，利用Actor

【技术实现步骤摘要】
一种基于多智能体强化学习的视频摘要生成方法


[0001]本专利技术属于多智能体强化学习和视频摘要
，具体涉及一种基于多智能体强化学习的视频摘要生成方法。

技术介绍

[0002]公共区域的摄像头一般都是全天性工作，这给视频存储与关键信息的读取会带来很大的压力。视频摘要技术就是将原本的视频内容进行简化和压缩，只保留其中的有用信息，对视频内容进行全面的总结，因此，高效地处理海量的视频数据，去除其中的冗余信息可以极大地提升工作效率，减轻视频的存储压力。
[0003]现有的视频摘要公开数据集都是通过人工进行标注，对关键帧和关键镜头进行打分，计算几十个人对同一个视频帧的评分，然后对分数进行平均以减少人为标注的主观性。视频摘要的生成模型通过预测帧的评分和关键镜头的选择来生成摘要。由于不同的视频场景，视频关键帧的差异性比较大，通常情况下，要在特定场景下生成视频摘要则需要特定的视频摘要数据集，这种摘要生成方法缺少泛化性，不能很好地应用到其他视频场景中。本专利技术提出的一种基于多智能体强化学习的视频摘要生成方法通过训练多个智能体进行打分，和人一样对视本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多智能体强化学习的视频摘要生成方法，其特征在于：包括以下步骤：步骤1：通过视频帧提取方法将原视频文件按照视频帧率分解成帧序列图片，按照视频帧的时间顺序使用神经网络模型提取图片特征，并使用自注意力机制提取长范围序列特征；步骤2：使用多智能体强化学习方法对视频进行摘要提取，过程主要包括环境、多智能体、奖励获取和智能体协同四部分；所述的多智能体的协同模型建模为：G＝<S,A,P,R,O,Z,n,γ>，其中，S是环境的真实状态信息空间；A是智能体的动作空间，每个智能体各自选择一个动作共同组成一个联合动作；P是状态转移函数，表示在前一个状态下执行联合动作后转移到下一个状态的转移概率；R是全局的回报值，根据之前智能体做出的动作，环境会反馈给智能体相应的奖励；O是局部观测函数，单个智能体根据环境状态S，通过O函数计算得到局部观测；Z是局部观测集，就是智能体在某个时刻接受的是一个独立的部分可观测状态Z；n表示多智能体的个数；γ表示折扣因子，折扣因子与时间范围有关，相较于短期内的奖励更在乎将来的奖励，否则会陷入局部最优解；步骤3：设置多智能体强化学习视频摘要生成过程中的奖励函数为：R＝{R1,R2,
…
,Rn}，其中的R1表示为第一个智能体根据局部观测得到的奖励，R2表示第二个智能体根据局部观测得到的奖励，以此类推，Rn表示第n个智能体得到的全局奖励；步骤4：多智能体之间采用完全合作的策略，根据提取到的视频帧图片特征和长范围序列特征，选择出视频的关键帧，并利用“Top
‑
K原则”，即少数服从多数，选择视频关键信息帧；步骤5：采用策略集成的方法，对K个不同智能体生成的子策略进行汇总，每个回...

【专利技术属性】
技术研发人员：周睿，方家璇，王金强，周庆国，雍宾宾，
申请(专利权)人：兰州大学，
类型：发明
国别省市：