【技术实现步骤摘要】
本申请涉及视频生成领域，且更为具体地，涉及一种基于生成对抗网络的视频生成方法及系统。
技术介绍
1、在游戏设计虚拟动态角色时，需要角色由逼真的动作和表情和一系列复杂且连贯的动作，使其在游戏、动画片或虚拟现实应用中展现出生动的行为和表演。
2、但由于传统视频生成方法通常需要依赖人工设计的规则和特征来生成视频。这要求人们具有专业的领域知识和艺术设计能力，人工设计的能力和想法也是相对有限的，增加了视频生成的难度和成本。而且传统视频生成方法通常基于规则、插值或者简单的模型，无法生成高度逼真的视频。这导致生成的视频在细节、动作、纹理等方面缺乏真实感，难以满足高质量视频的需求。
3、因此，期待一种优化的基于生成对抗网络的视频生成方案。
技术实现思路
1、为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于生成对抗网络的视频生成方法及系统，其采用基于深度神经网络模型的人工智能技术，获取原始图像和多个目标活动轨迹图，分别通过显著性网络检测器和多分支感知域模块提取图像中的重要信息和不同时间步的特征，融合后再通过残差双注意力对不同的空间和通道维度进行加权，以生成视频。这将为视频生成任务提供一种有效的方法，使生成的视频更贴近实际场景，并具有更好的视觉效果和质量。
2、根据本申请的一方面，提供了一种基于生成对抗网络的视频生成方法，其包括：
3、获取原始图像和多个目标活动轨迹图；
4、将所述原始图像通过显著性网络检测器以得到原始图像特征
5、将所述多个目标活动轨迹图通过多分支感知域模块以得到多个活动轨迹特征图；
6、将所述原始图像特征图和所述多个活动轨迹特征图中各个活动轨迹特征图分别进行融合以得到多个活动轨迹特征图；
7、将所述多个活动轨迹特征图通过残差双注意力模型以得到多个增强活动轨迹特征图；
8、将所述多个增强活动轨迹特征图进行级联以得到活动轨迹全局特征图；
9、对所述活动轨迹全局特征图进行基于秩序性的先验化以得到优化活动轨迹全局特征图；
10、将所述优化活动轨迹全局特征图通过基于生成对抗网络的生成器以生成视频。
11、在上述基于生成对抗网络的视频生成方法中，将所述原始图像通过显著性网络检测器以得到原始图像特征图，包括：使用所述包含显著性网络检测器的卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：使用第一卷积核对所述输入数据进行卷积处理以得到第一卷积特征图；使用第二卷积核对所述第一卷积特征图进行卷积处理以得到第二卷积特征图，其中，所述第一卷积核的尺寸大于所述第二卷积核的尺寸；对所述第二卷积特征图进行池化处理以得到池化特征图；以及，对所述池化特征图进行激活处理以得到激活特征图；其中，所述显著性网络检测器的最后一层的输出为所述原始图像特征图，所述显著性网络检测器的第一层的输入为所述原始图像。
12、在上述基于生成对抗网络的视频生成方法中，将所述多个目标活动轨迹图通过多分支感知域模块以得到多个活动轨迹特征图，包括：将所述目标活动轨迹图输入所述多分支感知域模块的第一点卷积层以得到卷积特征图；分别将所述卷积特征图通过所述多分支感知域模块的第一分支感知域单元、第二分支感知域单元和第三分支感知域单元以得到第一分支感知特征图、第二分支感知特征图和第三分支感知特征图，其中，所述第一分支感知域单元、所述第二分支感知域单元和所述第三分支感知域单元具有并行结构；将所述第一分支感知特征图、所述第二分支感知特征图和所述第二分支感知特征图进行级联以得到融合感知特征图；将所述融合感知特征图输入所述多分支感知域模块的第二点卷积层以得到通道校正融合感知特征图；以及，计算所述通道校正融合感知特征图和所述卷积特征图的按位置点加以得到所述活动轨迹特征图。
13、在上述基于生成对抗网络的视频生成方法中，将所述多个活动轨迹特征图通过残差双注意力模型以得到多个增强活动轨迹特征图，包括：将所述活动轨迹特征图通过所述残差双注意力机制模型的空间注意力模块以得到空间注意力图；将所述活动轨迹特征图通过所述残差双注意力机制模型的通道注意力模块以得到通道注意力图；融合所述空间注意力图和所述通道注意力图以得到加权特征图；以及，融合所述活动轨迹特征图和所述加权特征图以得到所述增强活动轨迹特征图。
14、在上述基于生成对抗网络的视频生成方法中，将所述活动轨迹特征图通过所述残差双注意力机制模型的空间注意力模块以得到空间注意力图，包括：对所述活动轨迹特征图分别进行沿通道维度的平均池化和最大值池化以得到平均特征矩阵和最大值特征矩阵；将所述平均特征矩阵和所述最大值特征矩阵进行级联和通道调整以得到通道特征矩阵；使用所述空间注意力模块的卷积层对所述通道特征矩阵进行卷积编码以得到卷积特征矩阵；将所述卷积特征矩阵通过softmax函数以得到空间注意力得分矩阵；以及，将所述空间注意力得分矩阵与所述活动轨迹特征图沿通道维度的各个特征矩阵进行按位置点乘以得到所述空间注意力图。
15、在上述基于生成对抗网络的视频生成方法中，将所述活动轨迹特征图通过所述残差双注意力机制模型的通道注意力模块以得到通道注意力图，包括：对所述活动轨迹特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到通道特征向量；将所述通道特征向量通过softmax函数以得到归一化通道特征向量；以及，以所述归一化通道特征向量中各个位置的特征值作为权重对所述活动轨迹特征图的沿通道维度的特征矩阵进行加权以得到通道注意力图。
16、根据本申请的另一方面，提供了一种基于生成对抗网络的视频生成系统，其包括：
17、图像获取模块，用于获取原始图像和多个目标活动轨迹图；
18、显著性检测模块，用于将所述原始图像通过显著性网络检测器以得到原始图像特征图；
19、多分支提取模块，用于将所述多个目标活动轨迹图通过多分支感知域模块以得到多个活动轨迹特征图；
20、特征融合模块，用于将所述原始图像特征图和所述多个活动轨迹特征图中各个活动轨迹特征图分别进行融合以得到多个活动轨迹特征图；
21、特征注意力增强模块，用于将所述多个活动轨迹特征图通过残差双注意力模型以得到多个增强活动轨迹特征图；
22、特征级联模块，用于将所述多个增强活动轨迹特征图进行级联以得到活动轨迹全局特征图；
23、优化模块，用于对所述活动轨迹全局特征图进行基于秩序性的先验化以得到优化活动轨迹全局特征图；
24、视频生成模块，用于将所述优化活动轨迹全局特征图通过基于生成对抗网络的生成器以生成视频。
25、与现有技术相比，本申请提供的一种基于生成对抗网络的视频生成方法及系统，其采用基于深度神经网络模型的人工智能技术，获取原始图像和多个目标活动轨迹图，分别通过显著性网络检测器和多分支感知域模块提取图像中的重要信息和不同时间步的特征，融合后再通过残差双注意力对不同的空间和通道维度进行加权，以本文档来自技高网...
【技术保护点】
1.一种基于生成对抗网络的视频生成方法，其特征在于，包括：
2.根据权利要求1所述的基于生成对抗网络的视频生成方法，其特征在于，将所述原始图像通过显著性网络检测器以得到原始图像特征图，包括：
3.根据权利要求2所述的基于生成对抗网络的视频生成方法，其特征在于，将所述多个目标活动轨迹图通过多分支感知域模块以得到多个活动轨迹特征图，包括：
4.根据权利要求3所述的基于生成对抗网络的视频生成方法，其特征在于，将所述多个活动轨迹特征图通过残差双注意力模型以得到多个增强活动轨迹特征图，包括：
5.根据权利要求4所述的基于生成对抗网络的视频生成方法，其特征在于，将所述活动轨迹特征图通过所述残差双注意力机制模型的空间注意力模块以得到空间注意力图，包括：
6.根据权利要求5所述的基于生成对抗网络的视频生成方法，其特征在于，将所述活动轨迹特征图通过所述残差双注意力机制模型的通道注意力模块以得到通道注意力图，包括：
7.根据权利要求6所述的基于生成对抗网络的视频生成方法，其特征在于，对所述活动轨迹全局特征图进行基于秩序性的先验化
8.一种基于生成对抗网络的视频生成系统，其特征在于，包括：
9.根据权利要求8所述的基于生成对抗网络的视频生成系统，其特征在于，所述显著性检测模块，用于：
10.根据权利要求9所述的基于生成对抗网络的视频生成系统，其特征在于，所述多分支提取模块，用于：
...【技术特征摘要】
1.一种基于生成对抗网络的视频生成方法，其特征在于，包括：
2.根据权利要求1所述的基于生成对抗网络的视频生成方法，其特征在于，将所述原始图像通过显著性网络检测器以得到原始图像特征图，包括：
3.根据权利要求2所述的基于生成对抗网络的视频生成方法，其特征在于，将所述多个目标活动轨迹图通过多分支感知域模块以得到多个活动轨迹特征图，包括：
4.根据权利要求3所述的基于生成对抗网络的视频生成方法，其特征在于，将所述多个活动轨迹特征图通过残差双注意力模型以得到多个增强活动轨迹特征图，包括：
5.根据权利要求4所述的基于生成对抗网络的视频生成方法，其特征在于，将所述活动轨迹特征图通过所述残差双注意力机制模型的空间注...
【专利技术属性】
技术研发人员：曹铭登，汪宇通，沈雅萍，丁利钦，
申请(专利权)人：杭州心向无限科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。