虚拟形象的虚拟演播系统及方法技术方案

本申请实施例提供了一种虚拟形象的虚拟演播系统及方法，通过实时采集现包含有第一现实形象的现实演播影像数据以及现场音频数据，以及实时采集第二现实形象的动作数据，且以所述动作数据实时驱动所述虚拟模型而生成虚拟形象动画数据，并通过合成所述虚拟形象动画数据与所述现实演播影像数据，以将虚拟形象植入到所述现实演播现场中，并通过同步整合所述现场音频数据，从而生成所述虚拟形象与所述第一现实形象在所述现实演播现场中实时互动的虚拟演播影音数据。

【技术实现步骤摘要】
虚拟形象的虚拟演播系统及方法
本申请实施例涉及直播视频制作技术，尤其涉及虚拟形象的虚拟演播系统及方法。
技术介绍
随着计算机技术与虚拟现实技术的不断发展，实现了虚拟形象与现实形象之间的互动的演播技术。然而，目前此项技术大都应用于影视制作中，也就是说，虚拟演播的影音资料是提前制作完成，因此，当前的制作技术并无法适用于实时广播电视在线演播或实时网络在线演播等应用情境。有鉴于此，如何实现虚拟形象与现实形象在同一场景空间内互动的直播视频的制作，即为本申请待解决的技术课题。
技术实现思路
有鉴于此，本专利技术实施例的主要目的在于提供一种虚拟形象的虚拟演播系统及方法，实现了虚拟形象与现实形象在同一场景空间内互动的直播视频的制作，以适用于实时广播电视在线演播或实时网络在线演播的应用情境。本申请实施例提供了一种虚拟形象的虚拟演播系统，其特征在于，包括：现场影像采集模块，用于实时采集现实演播现场的影像画面以生成现实演播影像数据，所述现实演播影像数据包括在所述现实演播现场中表演的第一现实形象；虚拟形象生成模块，用于导入虚拟形象的虚拟模型，并实时采集第二现实形象的动作轨迹以生成动作数据，并利用所述动作数据实时驱动所述虚拟模型执行动作，从而实时生成所述虚拟形象的虚拟形象动画数据；虚拟形象植入模块，用于实时合成所述虚拟形象动画数据与所述现实演播影像数据，以将所述虚拟形象植入到所述现实演播现场中，从而实时生成虚拟演播影像数据；现场音频采集模块，用于实时采集所述现实演播现场的演播声音，以生成现场音频数据，所述现场音频数据至少包括所述第一现实形象的第一音频数据与所述第二现实形象的第二音频数据；以及影音同步整合模块，用于将所述现场音频数据与所述虚拟演播影像数据进行同步整合，从而实时生成所述虚拟形象与所述第一现实形象在所述现实演播现场中实时互动的虚拟演播影音数据。可选地，在本申请的任一实施例中，所述虚拟形象植入模块还包括依据所述现实演播影像数据，分析所述现场影像采集模块的相机追踪参数，并基于所述相机追踪参数将所述虚拟形象动画数据导入所述现实演播影像数据中。可选地，在本申请的任一实施例中，所述虚拟形象植入模块还包括于所述现实演播现场的影像画面中设定虚拟形象初始坐标参数，以定义所述虚拟形象植入所述现实演播现场的影像画面中的初始位置。可选地，在本申请的任一实施例中，所述虚拟形象植入模块还包括以所述虚拟形象初始坐标参数为原点而定义所述虚拟形象在所述现实演播现场的影像画面中的移动范围。可选地，在本申请的任一实施例中，其特征在于，所述现实演播影像数据还包括显示所述现实演播现场中的现实背景场景的现实背景场景影像数据，且所述虚拟形象植入模块还包括：虚拟背景场景建立单元，其通过分析所述现实背景场景影像数据所显示的所述现实背景场景，以建立虚拟背景场景的虚拟场景模型，并生成虚拟背景场景影像数据；以及第一合成单元，用于合成所述虚拟形象动画数据与所述虚拟场景影像数据，以生成所述虚拟形象在所述虚拟场景中表演的虚拟合成动画数据。可选地，在本申请的任一实施例中，所述虚拟形象植入模块还包括第二合成单元，其用于将所述虚拟合成动画数据与所述演播现场影像数据进行合成，以使所述虚拟背景场景与所述现实背景场景相互重叠，从而生成所述虚拟形象与所述第一现实形象在所述演播现场中互动表演的虚拟演播影像画面。可选地，在本申请的任一实施例中，所述虚拟背景场景建立单元还包括：依据所述现实背景场景影像数据，分析所述现实背景场景中的现实物体的位置坐标，据以生成所述虚拟背景场景中的虚拟物体，以使所述现实背景场景中的现实物体与所述虚拟背景场景中的虚拟物体相互映射。可选地，在本申请的任一实施例中，所述虚拟形象植入模块还包括：渲染单元，其用于依据所述现实背景场景中的所述现实物体的现实显示效果，针对所述虚拟背景场景中的所述虚拟物体进行渲染以模拟所述现实物体的所述现实显示效果。可选地，在本申请的任一实施例中，所述影音同步整合模块还包括记录所述现场音频数据与所述虚拟演播影像数据的生成时间，据以计算所述现场音频数据与所述虚拟演播影像数据的时间点偏差值，并依据所述时间点偏差值针对所述现场音频数据与所述虚拟演播影像数据的输出时间点进行调整，以实现所述现场音频数据与所述虚拟演播影像数据的同步处理。本申请的另一实施例还提供虚拟形象的虚拟演播方法，其特征在于，包括：导入虚拟形象的虚拟模型；实时采集现实演播现场的影像画面以生成现实演播影像数据，实时采集第二现实形象的动作轨迹以生成动作数据，以及实时采集所述现实演播现场的演播声音以生成现场音频数据，其中，所述现实演播影像数据包括在所述现实演播现场中表演的第一现实形象，所述现场音频数据至少包括所述第一现实形象的第一音频数据与所述第二现实形象的第二音频数据；以所述动作数据实时驱动所述虚拟模型执行动作，从而实时生成所述虚拟形象的虚拟形象动画数据；实时合成所述虚拟形象动画数据与所述现实演播影像数据，以将所述虚拟形象植入到所述现实演播现场中，从而实时生成虚拟演播影像数据；以及同步整合所述现场音频数据与所述虚拟演播影像数据，从而生成所述虚拟形象与所述第一现实形象在所述现实演播现场中实时互动的虚拟演播影音数据。可选地，在本申请的任一实施例中，所述方法还包括通过现场影像采集模块以采集并生成所述现实演播影像数据，并依据所述现实演播影像数据，分析所述现场影像采集模块的相机追踪参数，且基于所述相机追踪参数将所述虚拟形象动画数据导入所述现实演播影像数据中。可选地，在本申请的任一实施例中，所述方法还包括于所述现实演播现场的影像画面中设定虚拟形象初始坐标参数，以定义所述虚拟形象植入所述现实演播现场的影像画面中的初始位置。可选地，在本申请的任一实施例中，所述方法还包括以所述虚拟形象初始坐标参数为原点而定义所述虚拟形象在所述现实演播现场的影像画面中的移动范围。可选地，在本申请的任一实施例中，所述现实演播影像数据还包括显示所述现实演播现场中的现实背景场景的现实背景场景影像数据，且所述方法还包括分析所述现实背景场景影像数据所显示的所述现实背景场景，以建立虚拟背景场景的虚拟场景模型，并生成虚拟背景场景影像数据；以及合成所述虚拟形象动画数据与所述虚拟场景影像数据，以生成所述虚拟形象在所述虚拟场景中表演的虚拟合成动画数据。可选地，在本申请的任一实施例中，所述方法还包括将所述虚拟合成动画数据与所述演播现场影像数据进行合成，以使所述虚拟背景场景与所述现实背景场景相互叠加，从而生成所述虚拟形象与所述第一现实形象在所述演播现场中互动表演的虚拟演播影像画面。可选地，在本申请的任一实施例中，所述方法还包括：依据所述现实背景场景影像数据，分析所述现实背景场景中的现实物体的外观及其位置坐标，据以生成所述虚拟背景场景中的虚拟物体，以使所述现实背景场景中的现实物体与所述虚拟背景场景中的虚拟物体相互映射。可选地，在本申请的任一实施例中，所述方法还包括：依据所述现实背景场景中的所述现实物体的现实显示效果，针对所述虚拟背景场景中的所述虚拟物体进行渲染以模拟所述现实物体的所述现实显示效果。可选地，在本申请的任一实施例中，所述方法还包括：记录所述现场音频数据与所述虚拟演播影像数据的生成时间，据以计算所述现场音频数据与所述虚拟演播影像数据的时间本文档来自技高网...

【技术保护点】
1.一种虚拟形象的虚拟演播系统，其特征在于，包括：现场影像采集模块，用于实时采集现实演播现场的影像画面以生成现实演播影像数据，所述现实演播影像数据包括在所述现实演播现场中表演的第一现实形象；虚拟形象生成模块，用于导入虚拟形象的虚拟模型，并实时采集第二现实形象的动作轨迹以生成动作数据，并利用所述动作数据实时驱动所述虚拟模型执行动作，从而实时生成所述虚拟形象的虚拟形象动画数据；虚拟形象植入模块，用于实时合成所述虚拟形象动画数据与所述现实演播影像数据，以将所述虚拟形象植入到所述现实演播现场中，从而实时生成虚拟演播影像数据；现场音频采集模块，用于实时采集所述现实演播现场的演播声音，以生成现场音频数据，所述现场音频数据至少包括所述第一现实形象的第一音频数据与所述第二现实形象的第二音频数据；以及影音同步整合模块，用于将所述现场音频数据与所述虚拟演播影像数据进行同步整合，从而实时生成所述虚拟形象与所述第一现实形象在所述现实演播现场中实时互动的虚拟演播影音数据。

【技术特征摘要】
1.一种虚拟形象的虚拟演播系统，其特征在于，包括：现场影像采集模块，用于实时采集现实演播现场的影像画面以生成现实演播影像数据，所述现实演播影像数据包括在所述现实演播现场中表演的第一现实形象；虚拟形象生成模块，用于导入虚拟形象的虚拟模型，并实时采集第二现实形象的动作轨迹以生成动作数据，并利用所述动作数据实时驱动所述虚拟模型执行动作，从而实时生成所述虚拟形象的虚拟形象动画数据；虚拟形象植入模块，用于实时合成所述虚拟形象动画数据与所述现实演播影像数据，以将所述虚拟形象植入到所述现实演播现场中，从而实时生成虚拟演播影像数据；现场音频采集模块，用于实时采集所述现实演播现场的演播声音，以生成现场音频数据，所述现场音频数据至少包括所述第一现实形象的第一音频数据与所述第二现实形象的第二音频数据；以及影音同步整合模块，用于将所述现场音频数据与所述虚拟演播影像数据进行同步整合，从而实时生成所述虚拟形象与所述第一现实形象在所述现实演播现场中实时互动的虚拟演播影音数据。2.根据权利要求1所述的虚拟形象的虚拟演播系统，其特征在于，所述虚拟形象植入模块还包括依据所述现实演播影像数据，分析所述现场影像采集模块的相机追踪参数，并基于所述相机追踪参数将所述虚拟形象动画数据导入所述现实演播影像数据中。3.根据权利要求2所述的虚拟形象的虚拟演播系统，其特征在于，所述虚拟形象植入模块还包括于所述现实演播现场的影像画面中设定虚拟形象初始坐标参数，以定义所述虚拟形象植入所述现实演播现场的影像画面中的初始位置。4.根据权利要求3所述的虚拟形象的虚拟演播系统，其特征在于，所述虚拟形象植入模块还包括以所述虚拟形象初始坐标参数为原点而定义所述虚拟形象在所述现实演播现场的影像画面中的移动范围。5.根据权利要求1所述的虚拟形象的虚拟演播系统，其特征在于，所述现实演播影像数据还包括显示所述现实演播现场中的现实背景场景的现实背景场景影像数据，且所述虚拟形象植入模块还包括：虚拟背景场景建立单元，其通过分析所述现实背景场景影像数据所显示的所述现实背景场景，以建立虚拟背景场景的虚拟场景模型，并生成虚拟背景场景影像数据；以及第一合成单元，用于合成所述虚拟形象动画数据与所述虚拟场景影像数据，以生成所述虚拟形象在所述虚拟场景中表演的虚拟合成动画数据。6.根据权利要求5所述的虚拟形象的虚拟演播系统，其特征在于，所述虚拟形象植入模块还包括第二合成单元，其用于将所述虚拟合成动画数据与所述演播现场影像数据进行合成，以使所述虚拟背景场景与所述现实背景场景相互重叠，从而生成所述虚拟形象与所述第一现实形象在所述演播现场中互动表演的虚拟演播影像画面。7.根据权利要求5所述的虚拟形象的虚拟演播系统，其特征在于，所述虚拟背景场景建立单元还包括：依据所述现实背景场景影像数据，分析所述现实背景场景中的现实物体的位置坐标，据以生成所述虚拟背景场景中的虚拟物体，以使所述现实背景场景中的现实物体与所述虚拟背景场景中的虚拟物体相互映射。8.根据权利要求7所述的虚拟形象的虚拟演播系统，其特征在于，所述虚拟形象植入模块还包括：渲染单元，其用于依据所述现实背景场景中的所述现实物体的现实显示效果，针对所述虚拟背景场景中的所述虚拟物体进行渲染以模拟所述现实物体的所述现实显示效果。9.根据权利要求1所述的虚拟形象的虚拟演播系统，其特征在于，所述影音同步整合模块还包括记录所述现场音频数据与所述虚拟演播影像数据的生成时间，据以计算所述现场音频数据与所述虚拟演播影像数据的时间点偏差值，并依据所述时间点偏差值针对所述现场音...

【专利技术属性】
技术研发人员：刘勇，曹介白，
申请(专利权)人：北京蜜枝科技有限公司，
类型：发明
国别省市：北京,11