一种在视频中实时合成动画的方法和装置制造方法及图纸

本发明专利技术实施例公开了一种在视频中实时合成动画的方法和装置，应用于实时采集的视频中，获取通过动作捕捉设备实时采集到的动作数据和动作坐标，以及通过面部捕捉设备实时采集到的面部数据和面部坐标，在虚拟区域的目标区域中生成骨骼模型和面部模型；通过虚拟摄像机保持与所述主摄像机同步，获取骨骼模型在虚拟区域中根据动作数据形成的骨骼动画和所述动作数据形成的面部动画；将所述骨骼动画和所述面部模型的面部动画从所述渲染引擎中提取出来，根据所述3D坐标系统在所述视频数据中实时合成所述骨骼动画和所述面部动画的动画数据得到合成视频数据并同时实时的输出，从而实现实时的在视频中合成动画的功能，有效满足了现有的视频视觉传达需求。

【技术实现步骤摘要】

本专利技术涉及实时视频合成领域，特别是涉及一种在视频中实时合成动画的方法和 目.ο
技术介绍
视频属于一种常见的媒体格式，例如，通过摄像机采集的现场直播的电视节目就可以得到实时的现场视频数据。在直播的过程中，为了提高直播效果或者为了增加艺术表现，可以在现场视频数据中通过数据合成的方式，在现场视频中合成出动画效果，是一种新兴的视觉传达形式，例如强化表现人物表情的动画、画外音的艺术文字以及一些背景动画效果等。但是，目前应用在电视或网络视频播放中的动画合成主要还是依靠在视频后期处理的过程中完成，即非直播的情况下，在已经录制完成的视频数据中进行动画合成后，再将合成后的视频数据通过电视或网络播放。在直播的现场视频数据中，由于采集视频数据的摄像机的拍摄角度、摄像位置都无法预判，若想在直播中的现场视频里合成动画，由于无法预估视频画面的变化，为了保证合成效果不突兀，最多只能在视频中合成一些持续时间很短的、2D的动画或图片。可见，目前在视频中的动画合成效果尤其是在直播的现场视频中实时合成动画的能力基本没有，无法有效的满足现有视觉传达的需求。
技术实现思路
为了解决上述技术问题，本专利技术提供了一种在视频中实时合成动画的方法和装置，实现了在视频中实时合成动画的功能，有效满足了现有的视频视觉传达需求。本专利技术实施例公开了如下技术方案:—种在视频中实时合成动画的方法，应用于实时采集的视频中，采集所述视频的固定区域中包括至少一台摄像机，所述视频被所述至少一台摄像机中的主摄像机所采集；服务器建立所述固定区域的3D坐标系统，所述服务器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数；所述服务器使用渲染引擎根据所述固定区域和所述3D坐标系统建立虚拟区域，所述固定区域在所述3D坐标系统中的位置信息与所述虚拟区域在所述3D坐标系统中的位置信息具有比例关系；所述服务器使用所述渲染引擎在所述虚拟区域中设置虚拟摄像机，同步所述虚拟摄像机和所述主摄像机，使得所述虚拟摄像机的位置信息和视频采集参数实时保持与所述主摄像机的一致；所述方法包括:所述服务器根据确定出的用于合成动画的目标区域在所述3D坐标系统获取所述目标区域的区域位置信息；所述服务器获取通过动作捕捉设备实时采集到的动作数据和动作坐标，所述动作坐标和所述3D坐标系统具有对应关系；获取通过面部捕捉设备实时采集到的面部数据和面部坐标，所述面部坐标和所述3D坐标系统具有对应关系，所述动作捕捉设备和所述面部捕捉设备配置在同一个目标体上；所述服务器根据所述区域位置信息、动作数据和动作坐标，在所述虚拟区域的所述目标区域中生成骨骼模型；根据所述区域位置信息、面部数据和面部坐标在所述虚拟区域的所述目标区域中生成具有面部模型； 所述服务器获取所述主摄像机实时采集的所述视频的视频数据；所述服务器通过虚拟摄像机保持与所述主摄像机同步，获取所述骨骼模型在所述虚拟区域中根据所述动作数据形成的骨骼动画；获取所述面部模型在所述虚拟区域中根据所述面部数据形成的面部动画；所述服务器将所述骨骼动画的动画数据和所述面部动画的动画数据从所述渲染引擎中提取出来，根据所述3D坐标系统在所述视频数据中实时合成所述骨骼动画的动画数据和所述面部动画的动画数据得到合成视频数据并同时实时的输出，以使得在播放所述合成视频数据时，展示的合成视频中对应所述目标区域的位置合成了所述骨骼动画和所述面部动画。可选的，所述动作数据中包含若干个子动作数据，所述子动作数据具有各自的节点标识，所述节点标识用于表示被所述动作采集设备采集动作数据的动作采集目标的活动节点；所述服务器根据所述区域位置信息、动作数据和动作坐标，在所述虚拟区域的所述目标区域中生成骨骼模型，包括:所述服务器确定所述节点标识所对应的所述骨骼模型上的骨骼节点；所述服务器依据所述子动作数据和相应的动作坐标，确定所述骨骼节点在所述骨骼模型中的位置；所述服务器根据确定出的所述骨骼节点在所述骨骼模型中的位置，在所述虚拟区域的所述目标区域中生成所述骨骼模型。可选的，所述服务器建立所述固定区域的3D坐标系统，所述服务器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数，包括:所述服务器通过所述固定区域中设置的多个采集设备建立所述固定区域的3D坐标系统，所述服务器根据所述多个采集设备和分别在所述至少一台摄像机上设置的反射器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数。可选的，所述采集设备包括红外线摄像头，所述反射器包括红外反射器。—种在视频中实时合成动画的装置，应用于实时采集的视频中，采集所述视频的固定区域中包括至少一台摄像机，所述视频被所述至少一台摄像机中的主摄像机所采集；服务器建立所述固定区域的3D坐标系统，所述服务器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数；所述服务器使用渲染引擎根据所述固定区域和所述3D坐标系统建立虚拟区域，所述固定区域在所述3D坐标系统中的位置信息与所述虚拟区域在所述3D坐标系统中的位置信息具有比例关系；所述服务器使用所述渲染引擎在所述虚拟区域中设置虚拟摄像机，同步所述虚拟摄像机和所述主摄像机，使得所述虚拟摄像机的位置信息和视频采集参数实时保持与所述主摄像机的一致；所述装置包括:位置信息获取单元，用于根据确定出的用于合成动画的目标区域在所述3D坐标系统获取所述目标区域的区域位置信息；动作获取单元，用于获取通过动作捕捉设备实时采集到的动作数据和动作坐标，所述动作坐标和所述3D坐标系统具有对应关系；骨骼模型生成单元，用于根据所述区域位置信息、动作数据和动作坐标，在所述虚拟区域的所述目标区域中生成骨骼模型；骨骼动画获取单元，用于获取所述主摄像机实时采集的所述视频的视频数据；所述服务器通过虚拟摄像机保持与所述主摄像机同步，获取所述骨骼模型在所述虚拟区域中根据所述动作数据形成的骨骼动画；实时合成单元，用于将所述骨骼动画的动画数据从所述渲染引擎中提取出来，根据所述3D坐标系统在所述视频数据中实时合成所述骨骼动画的动画数据得到合成视频数据并同时实时的输出，以使得在播放所述合成视频数据时，展示的合成视频中对应所述目标区域的位置合成了所述骨骼动画；还包括:面部获取单元，用于在触发实时合成单元之前，获取通过面部捕捉设备实时采集到的面部数据和面部坐标，所述面部坐标和所述3D坐标系统具有对应关系；面部模型生成单元，用于根据所述区域位置信息、面部数据和面部坐标在所述虚拟区域的所述目标区域中生成具有面部模型；面部动画获取单元，用于通过虚拟摄像机保持与所述主摄像机同步，获取所述面部模型在所述虚拟区域中根据所述面部数据形成的面部动画；所述实时合成单元还用于将所述骨骼动画的动画数据和所述面部动画的动画数据从所述渲染引擎中提取出来，根据所述3D坐标系统在所述视频数据中实时合成所述骨骼动画的动画数据和所述面部动画的动画数据得到合成视频数据并同时实时的输出，以使得在播放所述合成视频数据时，展示的合成视频中对应所述目标区域的位置合成了所述骨骼动画和所述面部动画。可选的，所述动作数据中包含若干个子动作数据，所述子动作数据具有各自的节点标识，所述节点标识用于表本文档来自技高网...

【技术保护点】
一种在视频中实时合成动画的方法，其特征在于，应用于实时采集的视频中，采集所述视频的固定区域中包括至少一台摄像机，所述视频被所述至少一台摄像机中的主摄像机所采集；服务器建立所述固定区域的3D坐标系统，所述服务器实时采集所述至少一台摄像机在所述3D坐标系统中的位置信息和所述主摄像头的视频采集参数；所述服务器使用渲染引擎根据所述固定区域和所述3D坐标系统建立虚拟区域，所述固定区域在所述3D坐标系统中的位置信息与所述虚拟区域在所述3D坐标系统中的位置信息具有比例关系；所述服务器使用所述渲染引擎在所述虚拟区域中设置虚拟摄像机，同步所述虚拟摄像机和所述主摄像机，使得所述虚拟摄像机的位置信息和视频采集参数实时保持与所述主摄像机的一致；所述方法包括：所述服务器根据确定出的用于合成动画的目标区域在所述3D坐标系统获取所述目标区域的区域位置信息；所述服务器获取通过动作捕捉设备实时采集到的动作数据和动作坐标，所述动作坐标和所述3D坐标系统具有对应关系；获取通过面部捕捉设备实时采集到的面部数据和面部坐标，所述面部坐标和所述3D坐标系统具有对应关系，所述动作捕捉设备和所述面部捕捉设备配置在同一个目标体上；所述服务器根据所述区域位置信息、动作数据和动作坐标，在所述虚拟区域的所述目标区域中生成骨骼模型；根据所述区域位置信息、面部数据和面部坐标在所述虚拟区域的所述目标区域中生成具有面部模型；所述服务器获取所述主摄像机实时采集的所述视频的视频数据；所述服务器通过虚拟摄像机保持与所述主摄像机同步，获取所述骨骼模型在所述虚拟区域中根据所述动作数据形成的骨骼动画；获取所述面部模型在所述虚拟区域中根据所述面部数据形成的面部动画；所述服务器将所述骨骼动画的动画数据和所述面部动画的动画数据从所述渲染引擎中提取出来，根据所述3D坐标系统在所述视频数据中实时合成所述骨骼动画的动画数据和所述面部动画的动画数据得到合成视频数据并同时实时的输出，以使得在播放所述合成视频数据时，展示的合成视频中对应所述目标区域的位置合成了所述骨骼动画和所述面部动画。...

【技术特征摘要】

【专利技术属性】
技术研发人员：殷元江，
申请(专利权)人：北京七维视觉科技有限公司，
类型：发明
国别省市：北京;11