用于AR与实时动捕相结合的虚拟摄影棚系统及其方法技术方案

本发明专利技术涉及一种用于AR与实时动捕相结合的虚拟摄影棚系统，其包括位于固定场所内的动捕房间和位于演员身上的动捕装置。其中上述动捕房间包括：三维打印外壳；连接三维打印外壳的主干支架；设置在三维打印外壳的墙壁上或者通过支架支撑的一个或多个动捕摄像头；以及用于接收动作捕捉数据并进行运算处理的图形工作站模组。本发明专利技术还涉及到上述用于AR与实时动捕相结合的虚拟摄影棚系统的方法。本发明专利技术的有益效果是：通过使用增强现实技术，在摄影棚内营造更为真实的虚拟场景，获得让身处摄影棚内演员也能如同身临真实场景中进行拍摄的技术效果。

【技术实现步骤摘要】
用于AR与实时动捕相结合的虚拟摄影棚系统及其方法
本专利技术涉及增强现实(AugmentedReality，简称为AR)技术。特别地，本专利技术涉及到一种用于AR与实时动捕相结合的虚拟摄影棚系统及其方法。
技术介绍
出于制造周期、成本和风险控制的原因，目前不少电影电视节目都采用后期视频合成技术的方式辅助制作某些难以拍摄的镜头，例如在高速公路上多名角色驾驶车辆相互进行追逐打斗的高风险镜头。此外，一些魔幻题材的电影电视作品也不得不采用上述后期视频合成技术的方式，使得演员可以表现一些违反物理定律的表演动作或创造出诸如耸山峻岭的宏伟虚幻场景。然而，当采用这种方式拍摄电影电视节目时，演员一般都是身处在仅用绿幕或者蓝幕所布置的摄影棚内。此时，演员都仅能依靠一些摄影棚内的简易标记或者剧本上对场景的简单描述以进行表演，并同时避免身体碰到虚拟场景中的障碍物。一方面由于演员无法身临其景，这需要演员的花费额外的精力理解当前的拍摄场景；另一方面由于演员无法与摄影棚内所不存在的虚拟场景中的要素进行交互，从而限制了演员的发挥。
技术实现思路
本专利技术提供一种用于AR与实时动捕相结合的虚拟摄影棚系统及其方法，通过使用增强现实技术，在摄影棚内营造更为真实的虚拟场景，获得让身处摄影棚内演员也能如同身临真实场景中进行拍摄的技术效果。为了实现上述目的，本文公开了以下技术方案。本专利技术的第一方面是一种用于AR与实时动捕相结合的虚拟摄影棚系统。上述系统包括位于固定场所内的动捕房间和位于演员身上的动捕装置。其中上述动捕房间包括：三维打印外壳；连接三维打印外壳的主干支架；设置在三维打印外壳的墙壁上或者通过支架支撑的一个或多个动捕摄像头；以及用于接收动作捕捉数据并进行运算处理的图形工作站模组。进一步地，在本专利技术的上述系统中，上述动捕房间还包括设置在三维打印外壳的墙壁或者通过支架支撑的一个或多个照明系统。进一步地，在本专利技术的上述系统中，上述动捕装置包括佩戴在演员头部的AR动捕与面捕显示头盔。该显示头盔包括：无线音频耳麦；无线视频信号传输模块；用于演员观看虚拟场景的无线画面模块；用于拍摄演员前方场景的头盔摄像头；以及设置在演员脸部上方的面部表情识别传感器。进一步地，在本专利技术的上述系统中，上述动捕装置包括穿戴在演员身上的动作捕捉服。其中，动作捕捉服设有关节动捕模块，用于捕捉和识别演员的肢体动作。再进一步地，在本专利技术的上述系统中，动作捕捉服上设有无线数据传输模块和便携供电电池。进一步地，在本专利技术的上述系统中，三维实时游戏引擎程序；三维实时动捕软件程序；与动捕房间的硬件规格数据关联的三维数位模型的程序；用于录制三维动画的成片的采集程序。本专利技术的第二方面是一种用于AR与实时动捕相结合的虚拟摄影棚系统的方法。上述方法包括以下步骤：A、根据拍摄需要，以三维打印方式创建或调整动捕房间中的硬件，该硬件包括三维打印外壳和主干支架；B、提供一个或多个演员搭配使用的AR动捕与面捕显示头盔和动作捕捉服；C、将图形工作站中的游戏引擎中的实时三维图像传输进演员的头戴式AR动捕与面捕显示头盔；D、向动捕房间中穿戴了AR动捕与面捕显示头盔和动作捕捉服的演员，进行录制三维动画或视频。进一步地，在执行上述方法的步骤C时，在图形工作站中制作三维动画中的三维角色和三维场景，并导入到三维引擎，并将三维角色与演员的动作像匹配，然后将动捕数据实时输出到图形工作站，同时将最终画面传输到演员头部佩戴的头戴式AR显示动捕头盔中，使演员能够看到和听到最终的画面效果。进一步地，在执行上述方法的步骤D时，动捕演员佩戴头盔在动捕房间中根据剧本进行动作捕捉表演时，允许通过头盔摄像头和/或动捕摄像头实时观察以自己主观视点和最终视点的画面效果，来调整自己的表演。本专利技术的有益效果为：通过让电影电视节目的演员在扩展现实的场景进行表演，使得演员即使身处摄影棚也能够获取如同身临其景的表演效果。附图说明图1所示为根据本专利技术的用于AR与实时动捕相结合的虚拟摄影棚系统的示意图。图2所示为根据本专利技术的一个实施例的细节示意图。图3所示为根据本专利技术的另一实施例的细节示意图。图4所示为根据本专利技术方法的流程图。图5所示为根据本专利技术方法的一个实施例中，将图形工作站中的游戏引擎中的实时三维图像传输到动捕演员的头戴式AR显示动捕头盔的以实现现实演员和三维虚拟角色的互动的流程。具体实施方式以下将结合实施例和附图对本专利技术的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本专利技术的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。此外，本专利技术中所使用的上、下、左、右等描述仅仅是相对于附图中本专利技术各组成部分的相互位置关系来说的。在本专利技术和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本文所使用的所有的技术和科学术语与本
的技术人员通常理解的含义相同。本文说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本专利技术。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种元件，但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如，在不脱离本公开范围的情况下，第一元件也可以被称为第二元件，类似地，第二元件也可以被称为第一元件。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”。参照图1，根据本专利技术的用于AR与实时动捕相结合的虚拟摄影棚系统，包括位于固定场所内的动捕房间10和位于演员身上的动捕装置，其中所述动捕房间10包括：三维打印外壳11；连接三维打印外壳11的主干支架12；设置在三维打印外壳11的墙壁上或者通过支架支撑的一个或多个动捕摄像头13；以及用于接收动作捕捉数据并进行运算处理的图形工作站模组15。所述动捕房间10还包括设置在三维打印外壳11的墙壁或者通过支架支撑的一个或多个照明系统14。在实际搭建摄影棚系统前，需要制作基于三维动画中AR与实时动捕相结合的虚拟摄影棚的相关设计图纸、电路线路图、三维数位模型、和相关设施的施工图。图形工作站模组15运行的应用程序包括：三维实时游戏引擎程序；三维实时动捕软件程序；与动捕房间10的硬件规格数据关联的三维数位模型的程序；用于录制三维动画的成片的采集程序。参照图2，所述动捕装置包括佩戴在演员头部的AR动捕与面捕显示头盔20。显示头盔包括：无线音频耳麦21；无线视频信号传输模块22；用于演员观看虚拟场景的无线画面模块23；用于拍摄演员前方场景的头盔摄像头24；以及设置在演员脸部上方的面部表情识别传感器25。在一些实施例中，考虑演员的穿戴方便，可以通过三维答应的方式为演员定制化头盔的佩戴零件。参照图3，所述动捕装置包括穿戴在演员身上的动作捕捉服30，其中动作捕捉服30设有关节动捕模块31，用于捕捉和识别演员的肢体动作。动作捕捉服30上设有无线数据传输模块32和便携供电电池33。根据上述的实施例，根本文档来自技高网...

【技术保护点】
1.一种用于AR与实时动捕相结合的虚拟摄影棚系统，其特征在于包括位于固定场所内的动捕房间(10)和位于演员身上的动捕装置，其中所述动捕房间(10)包括：三维打印外壳(11)；连接三维打印外壳(11)的主干支架(12)；设置在三维打印外壳(11)的墙壁上或者通过支架支撑的一个或多个动捕摄像头(13)；以及用于接收动作捕捉数据并进行运算处理的图形工作站模组(15)。

【技术特征摘要】
1.一种用于AR与实时动捕相结合的虚拟摄影棚系统，其特征在于包括位于固定场所内的动捕房间(10)和位于演员身上的动捕装置，其中所述动捕房间(10)包括：三维打印外壳(11)；连接三维打印外壳(11)的主干支架(12)；设置在三维打印外壳(11)的墙壁上或者通过支架支撑的一个或多个动捕摄像头(13)；以及用于接收动作捕捉数据并进行运算处理的图形工作站模组(15)。2.根据权利要求1所述的用于AR与实时动捕相结合的虚拟摄影棚系统，其特征在于，所述动捕房间(10)还包括设置在三维打印外壳(11)的墙壁或者通过支架支撑的一个或多个照明系统(14)。3.根据权利要求1所述的用于AR与实时动捕相结合的虚拟摄影棚系统，其特征在于，所述动捕装置包括佩戴在演员头部的AR动捕与面捕显示头盔(20)，该显示头盔包括：无线音频耳麦(21)；无线视频信号传输模块(22)；用于演员观看虚拟场景的无线画面模块(23)；用于拍摄演员前方场景的头盔摄像头(24)；以及设置在演员脸部上方的面部表情识别传感器(25)。4.根据权利要求1或3所述的用于AR与实时动捕相结合的虚拟摄影棚系统，其特征在于，所述动捕装置包括穿戴在演员身上的动作捕捉服(30)，其中动作捕捉服(30)设有关节动捕模块(31)，用于捕捉和识别演员的肢体动作。5.根据权利要求4所述的用于AR与实时动捕相结合的虚拟摄影棚系统，其特征在于，动作捕捉服(30)上设有无线数据传输模块(32)和便携供电电池(33)。...

【专利技术属性】
技术研发人员：周湘君，芦振华，贺子彬，甘靖山，
申请(专利权)人：珠海金山网络游戏科技有限公司，珠海西山居移动游戏科技有限公司，
类型：发明
国别省市：广东,44