一种低成本的电影虚拟化制作系统及方法技术方案

本发明专利技术公开的一种低成本的电影虚拟化制作系统及方法，属于影视制作领域。本发明专利技术同时使用绿幕和LED背景墙作为拍摄背景，采用绿幕扩充拍摄背景，能够根据拍摄需求选择拍摄背景，降低背景的制作成本；加入数字资产建设模块，能够使用移动设备快速地制作数字资产并将其置入场景，缩短场景制作周期，降低制作成本；该系统具有模块化的特点，能够将系统中的模块进行快速替换，而不会影响该系统的整体功能，有利于搭建预算较低的电影虚拟化制作系统；能够使用手机、平板等设备进行拍摄，并进行实时直播，可快速运用于直播等新媒体行业，降低成本投入。本发明专利技术适用于影视制作、视频直播等领域，大幅降低影视虚拟化制作的成本。大幅降低影视虚拟化制作的成本。大幅降低影视虚拟化制作的成本。

【技术实现步骤摘要】
一种低成本的电影虚拟化制作系统及方法


[0001]本专利技术涉及一种低成本的电影虚拟化制作系统及方法，属于影视制作领域。

技术介绍

[0002]制作传统视效镜头的内容时，往往需要先在现场运用绿幕进行拍摄，再将拍摄后的绿幕画面进行后期制作。这导致现场拍摄与后期制作在一定程度上相互割裂，演员在现场拍摄时只能面对绿幕进行表演，这使得表演的难度较大；主创们在进行现场拍摄的过程中并不能实时观看到视觉特效制作完成后的效果，因此无法对现场拍摄进行完美的把控，这在一定程度上会降低电影制作的效率。
[0003]为了解决这一问题，绿幕实时抠像合成技术应运而生，这种技术大大地提升了现场拍摄的把控性，但也依然存在着溢色、反射/透射材质的物体难以合成、光照难以匹配的问题。最新的基于LED背景墙的电影虚拟化制作技术成功地解决了这一问题，该技术将LED背景墙作为拍摄背景，利用摄影机跟踪系统与实时渲染引擎，生成与真实摄影机运动相匹配的虚拟画面，并实时映射在LED背景墙上，有效地解决了绿幕实时抠像合成技术的问题。但基于LED背景墙的电影虚拟化制作技术的成本较高，大部分影视公司难以负担起其前期的搭建成本。

技术实现思路

[0004]针对目前电影虚拟化成本较高的问题，本专利技术的主要目的是提供一种低成本的电影虚拟化制作系统及方法，在满足虚拟化制作效果的情况下大幅降低影视虚拟化制作的成本。
[0005]本专利技术的目的是通过下述技术方案实现的：
[0006]本专利技术公开的一种低成本的电影虚拟化制作系统包括LED背景墙、绿幕、数字灯光、摄影机、实时合成主机、实时渲染主机、摄影机跟踪系统、后台控制系统、动捕系统、面捕系统、前景合成模块、虚拟场景工程模块、数字资产建设模块、信号监看系统、交互控制系统。
[0007]绿幕与LED背景墙相连，作为实时合成背景；渲染主机与LED墙连接，在实时渲染引擎中重构出虚拟的LED背景墙；交互控制系统，通过网络与实时渲染主机连接；数字灯光位于背景和被摄物前面，为背景和被摄物提供光照；摄影机拍摄现实场景和绿幕、LED背景墙共同构成的场景，拍摄的内容进入实时合成主机；摄影机跟踪系统与摄影机连接，实时捕捉摄影机的位置以及姿态，并传输至实时渲染主机；动捕系统、面捕系统能够对人体的肢体动作和面部表情进行捕捉，并将数据传入实时渲染主机；后台控制系统，对虚拟场景工程进行实时的操作和调整；信号监看系统，对现场拍摄素材进行处理、存储和图像分发。
[0008]所述LED背景墙，接收所述实时渲染主机传输的视频流信号并进行显示和播放；
[0009]所述数字灯光，由若干数字照明设备组成，为绿幕、被摄物等提供光照，并能够通过数据调光信号进行控制；
[0010]所述实时合成主机，对现场拍摄的画面进行抠像，并将抠像后的画面与实时渲染画面进行合成，然后将合成后的画面输出至信号监看系统；
[0011]所述实时渲染主机，根据LED背景墙的形状及特性，在实时渲染引擎中重构出虚拟的LED背景墙，提供内外视锥的映射渲染；将摄影机跟踪系统获取的摄影机实时的位置以及姿态信息与虚拟摄影机绑定，以控制虚拟摄影机的位置以及姿态；实时渲染引擎根据当前虚拟摄影机的内参和外参数据在虚拟LED背景墙上投射渲染画面；实时渲染引擎将虚拟LED背景墙上的渲染画面转换成现实LED背景墙可用的视频流信号进行输出；
[0012]所述的摄影机跟踪系统，通过软件实时调用手机的陀螺仪数据，以此得到摄影机的位置和姿态信息，并实时传输至实时渲染主机；
[0013]所述动捕系统，通过摄像头和算法获取人体运动状态的数据，并加以分析，捕捉演员的肢体动作，并与实时渲染引擎中的虚拟角色进行绑定；
[0014]所述面捕系统，通过摄像头和算法实时捕捉演员的面部表情，并与实时渲染引擎中的虚拟角色进行绑定；
[0015]所述前景合成模块，为LED虚拟化制作拍摄的画面合成前景效果，该前景效果与LED虚拟化制作的摄影机运动和透视变化相匹配。
[0016]所述虚拟场景工程模块，包含满足实时渲染需求的虚拟场景，以及虚拟化制作的核心功能即虚拟LED背景墙的构建、多屏多机渲染配置、摄影机跟踪数据与虚拟摄影机的绑定；
[0017]所述数字资产建设模块，通过移动设备快速地将物体建立为数字资产，并将其添加到虚拟场景工程之中；
[0018]所述后台控制系统，对虚拟场景工程进行实时的操作和调整，以达到对所述LED背景墙上的渲染画面进行修改、控制和调整的目的；
[0019]所述信号监看系统，由视频处理系统和若干监视器组成，对现场拍摄素材进行处理和存储，并将实时拍摄画面、内视锥绿幕合成画面、现场调色画面分发到不同的监视器上；
[0020]所述交互控制系统，与所述实时渲染主机通过网络连接，远程对所述实时渲染主机中虚拟场景工程的参数进行调整和控制。
[0021]本专利技术公开的一种低成本的电影虚拟化制作方法，基于所述一种低成本的电影虚拟化制作系统实现。所述一种低成本的电影虚拟化制作方法，包括如下步骤：
[0022]步骤1、搭建绿幕，并在绿幕旁边搭建LED背景墙；
[0023]步骤2、根据LED背景墙和绿幕的形状和尺寸，在实时渲染引擎中重构出虚拟LED背景墙和绿幕，并将LED背景墙的内容和绿幕的内容分为不同的渲染子节点；
[0024]步骤3、将符合影视制作质量要求、满足实时渲染需求的高质量、高性能数字资产在实时渲染主机的实时渲染引擎中进行整合、优化，形成实时渲染引擎中的高质量场景。再结合镜头设计和制作需要，在实时渲染引擎中制作需要的交互控制功能，并将电影虚拟化制作核心功能迁移至虚拟场景工程中；
[0025]步骤4，结合镜头设计，在前景进行置景，并布置数字灯光，该数字灯光能够通过后台控制系统对灯光的亮度、色彩等进行实时调整；
[0026]步骤5、摄影机跟踪系统将摄影机的位置与姿态信息传入实时渲染主机的实时渲
染引擎中并与虚拟摄影机绑定；虚拟摄影机根据摄影机的靶面大小和焦距调整内视锥的大小。
[0027]步骤6、实时渲染引擎进行多屏多机分布式实时渲染，在实时渲染引擎中的虚拟LED背景墙上投射渲染画面；并将虚拟LED背景墙上的渲染画面，转换成现实LED背景墙和实时渲染主机的显示器可用的视频流信号进行输出，LED背景墙的渲染内容在LED背景墙上实时显示、绿幕部分的渲染内容在实时渲染主机的显示器上实时显示；
[0028]步骤7、将摄影机拍摄画面通过视频线采集至实时合成主机，或通过OBS将拍摄画面传入实时合成主机。与此同时，将实时渲染主机显示器的渲染画面采集至实时合成主机。在实时合成主机中打开虚拟场景工程，通过Composure插件；将摄影机拍摄的带有绿幕的画面与实时渲染主机显示器采集的画面进行实时合成。在合成的过程中，通过前景合成模块对画面进行实时的前景合成；
[0029]步骤8、根据拍摄需要，通过动捕系统或面捕系统对演员进行动作捕捉或面部捕捉，并与实时渲染引擎中的虚拟人进行绑定；
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种低成本的电影虚拟化制作系统，其特征在于：包括LED背景墙、绿幕、数字灯光、摄影机、实时合成主机、实时渲染主机、摄影机跟踪系统、后台控制系统、动捕系统、面捕系统、前景合成模块、虚拟场景工程模块、数字资产建设模块、信号监看系统、交互控制系统；绿幕与LED背景墙相连，作为实时合成背景；渲染主机与LED墙连接，在实时渲染引擎中重构出虚拟的LED背景墙；交互控制系统，通过网络与实时渲染主机连接；数字灯光位于背景和被摄物前面，为背景和被摄物提供光照；摄影机拍摄现实场景和绿幕、LED背景墙共同构成的场景，拍摄的内容进入实时合成主机；摄影机跟踪系统与摄影机连接，实时捕捉摄影机的位置以及姿态，并传输至实时渲染主机；动捕系统、面捕系统能够对人体的肢体动作和面部表情进行捕捉，并将数据传入实时渲染主机；后台控制系统，对虚拟场景工程进行实时的操作和调整；信号监看系统，对现场拍摄素材进行处理、存储和图像分发。2.如权利要求1所述的一种低成本的电影虚拟化制作系统，其特征在于：所述LED背景墙，接收所述实时渲染主机传输的视频流信号并进行显示和播放；所述数字灯光，由若干数字照明设备组成，为绿幕、被摄物等提供光照，并能够通过数据调光信号进行控制；所述实时合成主机，对现场拍摄的画面进行抠像，并将抠像后的画面与实时渲染画面进行合成，然后将合成后的画面输出至信号监看系统；所述实时渲染主机，根据LED背景墙的形状及特性，在实时渲染引擎中重构出虚拟的LED背景墙，提供内外视锥的映射渲染；将摄影机跟踪系统获取的摄影机实时的位置以及姿态信息与虚拟摄影机绑定，以控制虚拟摄影机的位置以及姿态；实时渲染引擎根据当前虚拟摄影机的内参和外参数据在虚拟LED背景墙上投射渲染画面；实时渲染引擎将虚拟LED背景墙上的渲染画面转换成现实LED背景墙可用的视频流信号进行输出；所述的摄影机跟踪系统，通过软件实时调用手机的陀螺仪数据，以此得到摄影机的位置和姿态信息，并实时传输至实时渲染主机；所述动捕系统，通过摄像头和算法获取人体运动状态的数据，并加以分析，捕捉演员的肢体动作，并与实时渲染引擎中的虚拟角色进行绑定；所述面捕系统，通过摄像头和算法实时捕捉演员的面部表情，并与实时渲染引擎中的虚拟角色进行绑定；所述前景合成模块，为LED虚拟化制作拍摄的画面合成前景效果，该前景效果与LED虚拟化制作的摄影机运动和透视变化相匹配；所述虚拟场景工程模块，包含满足实时渲染需求的虚拟场景，以及虚拟化制作的核心功能即虚拟LED背景墙的构建、多屏多机渲染配置、摄影机跟踪数据与虚拟摄影机的绑定；所述数字资产建设模块，通过移动设备快速地将物体建立为数字资产，并将其添加到虚拟场景工程之中；所述后台控制系统，对虚拟场景工...

【专利技术属性】
技术研发人员：赵建军，耿天乐，鲁梦河，程绪琪，陈军，
申请(专利权)人：北京电影学院，
类型：发明
国别省市：