虚拟相机行为生成方法及系统技术方案

本发明专利技术提供了一种虚拟相机行为生成方法及系统，通过将全局演艺场景状态特征和全局相机行为趋势特征融合为演艺场景全局多元数据融合特征，以及预构建的基于全局相机行为趋势特征的相机行为趋势编码模块和基于全局演艺场景状态特征的相机行为生成解码模块；融合基于演艺场景多元数据损失函数，构建基于虚拟演艺全局多元数据融合特征的相机行为生成模型，以预测相机行为序列，并将其传入基于Unity编辑器的演艺场景可视化交互界面，展现生成的相机行为轨迹。充分利用相机行为趋势的全局相关性及其与演艺场景全局状态的强相关性，预测演艺场景相机行为轨迹，具有相机行为预测准确率高的优势。

【技术实现步骤摘要】

本专利技术涉及计算机视觉与虚拟场景演艺，更为具体地，涉及一种虚拟演艺全局多元数据融合特征的相机行为生成方法及系统。

技术介绍

1、随着传媒领域的高速发展，日益增长的视频内容生产量需求对高质量的运镜控制带来了不小的难度，传统的人为全程控制相机运动的方案会产生大量的时间与人力消耗，对相机运动轨迹自动化生成的需求不断提高；同时在自媒体领域视频量井喷式增长的背景下，内容生产的速度需求也加大了人为控制相机运动的难度，高效率、高质量、高稳定性拍摄的实现成本逐步上升。因此，行业对自动化相机运动控制的需求日益增加，智能化拍摄逐步成为了行业所需。

2、然而相机的运动除了需要满足低纬度的构图、运镜方向、角色可见性等因素外，也包含高维层面的较为隐性但业界公认的运镜规则。对于摄制过程中，对于片段的故事描绘或情感表露，均需要有一定的规则控制运镜的方式。而这一高维度的情感特征，其合理性则与导演和观众的尝试认知有关，是一种隐性层面的编码方式。

3、在现有的相机行为计算工作中，实现低维层面控制的常用方法是关键帧指定控制，即在对相机行为进行生成时，用户预先设置若干个本文档来自技高网...

【技术保护点】

1.一种虚拟相机行为生成方法，基于虚拟演艺全局多元数据融合特征实现，包括：

2.如权利要求1所述的虚拟相机行为生成方法，其中，所述全局相机行为趋势特征提取模块从预设参考视频中提取的参考运镜风格特征，包括：

3.如权利要求1所述的虚拟相机行为生成方法，其中，所述对预设参考视频的视频序列进行骨骼识别、坐标提取与风格特征映射，得到所述参考运镜风格特征，包括：

4.如权利要求3所述的虚拟相机行为生成方法，其中，所述基于预设的相机行为趋势编码模块，以所述全局相机行为趋势特征作为输入，并引入与关键帧信息相关的运动趋势向量与到达时间信号，包括：</p>

5.如权...

【技术特征摘要】

1.一种虚拟相机行为生成方法，基于虚拟演艺全局多元数据融合特征实现，包括：

2.如权利要求1所述的虚拟相机行为生成方法，其中，所述全局相机行为趋势特征提取模块从预设参考视频中提取的参考运镜风格特征，包括：

3.如权利要求1所述的虚拟相机行为生成方法，其中，所述对预设参考视频的视频序列进行骨骼识别、坐标提取与风格特征映射，得到所述参考运镜风格特征，包括：

4.如权利要求3所述的虚拟相机行为生成方法，其中，所述基于预设的相机行为趋势编码模块，以所述全局相机行为趋势特征作为输入，并引入与关键帧信息相关的运动趋势向量与到达时间信号，包括：

5.如权利要求4所述的虚拟相机行为生成方法，其中，所述利用自注意力与逐层卷积蒸馏计算方法，编码得到全局相机趋势编码的中间向量，包括：

6.如权利要求5所述的虚拟相机行为生成方...

【专利技术属性】
技术研发人员：金立标，贾博舒，吴晓雨，王兵，郭永康，
申请(专利权)人：中国传媒大学，
类型：发明
国别省市：