【技术实现步骤摘要】
本专利技术涉及机器学习，尤其涉及一种基于运动感知和时间风格调制的场景视频生成方法和系统。
技术介绍
1、现有的场景记忆生成方法可分为三组：场景记忆以图像补全的形式生成、场景记忆通过gan以视频的形式生成、场景记忆通过扩散模型以视频的形式生成。
2、(1)场景记忆以图像语义补全的形式生成
3、图像语义补全是计算机视觉中的一个重要研究领域，旨在根据图像中现有部分的语义对图像中的缺失或损坏部分进行填补，使其恢复成完整的图像。该领域的传统方法有纹理合成、图像分割和拼接以及稀疏编码等。在场景记忆生成领域，根据一个中心假设：海马体是以记忆痕迹的形式存储和检索事件的，这必然不是完整的。在回忆时，新皮层根据一般的语义信息合理地填补缺失的部分，这一过程就是语义补全。现有的利用图像语义补全的形式生成场景记忆的方法是利用了vq-vae对前馈和反馈连接的感知语义网络进行建模以及利用了pixelcnn对感知语义网络语义端的循环连接进行建模，通过假设的存储和检索以图像记忆帧的形式在一定程度上模拟了海马体。但是场景记忆不只是静态的，使用图像语...
【技术保护点】
1.一种基于运动感知和时间风格调制的场景视频生成方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于运动感知和时间风格调制的场景视频生成方法，其特征在于，还包括，构建构建运动感知矩阵Mi-1,i之后，引入注意力机制对运动感知矩阵Mi-1,i进行约束，包括以下步骤：
3.如权利要求2所述的基于运动感知和时间风格调制的场景视频生成方法，其特征在于，所述增强条件表示为：
4.如权利要求1所述的基于运动感知和时间风格调制的场景视频生成方法，其特征在于，所述通过增强条件特征进行卷积，生成场景记忆，包括以下步骤：
5.如权利...
【技术特征摘要】
1.一种基于运动感知和时间风格调制的场景视频生成方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于运动感知和时间风格调制的场景视频生成方法，其特征在于，还包括，构建构建运动感知矩阵mi-1,i之后，引入注意力机制对运动感知矩阵mi-1,i进行约束，包括以下步骤：
3.如权利要求2所述的基于运动感知和时间风格调制的场景视频生成方法，其特征在于，所述增强条件表示为：
4.如权利要求1所述的基于运动感知和时间风格调制的场景视频生成方法，其特征在于，所述通过增强条件特征进行卷积，生成场景记忆，包括以下步骤：
...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。