融合制播系统及方法技术方案

本申请实施例提供一种融合制播系统及方法，包括：摄像机跟踪模块获取多个摄像机的位置参数和工作参数；显示渲染模块根据摄像机的位置参数和工作参数确定多个数字场景之间的立体透视关系，根据立体透视关系和数字场景得到三维虚拟场景，将三维虚拟场景发送至显示屏进行呈现；运动捕捉模块获取摄像机录制的视频，基于AI人体运动跟踪技术得到视频中人体的运动参数以进行制作，其中，视频基于显示屏呈现的三维虚拟场景和真实场景融合得到。本申请实施例通过摄像机跟踪模块获取多个摄像机的位置参数，方便多机位协同及切换匹配，采用AI智能动捕技术实现一套系统内多套摄像机同步跟踪及身体动作跟踪，无需佩戴额外的穿戴动作捕捉设备。捕捉设备。捕捉设备。

【技术实现步骤摘要】
融合制播系统及方法


[0001]本申请涉及广播电视制作
，尤其是一种融合制播系统及方法。

技术介绍

[0002]随着文化传媒行业与三维视效制作技术的前进与发展，虚拟演播作为新兴的视效制作技术手段被广泛应用于电视、电影、新媒体节目制作，通过三维数字化手段实现丰富多彩的演播室场景设计实现，节省大量人力、物力、财力，并且能极大缩短制作周期，拓展节目创意空间，提升节目呈现效果，已被越来越多的节目制作及有关人员所关注。
[0003]目前制播系统中，虚拟演播技术大多基于绿幕\蓝箱的传统虚拟制作方式，其实质是将计算机制作的虚拟三维场景与摄像机现场拍摄的人物活动图像进行数字化的实时合成，使人物与虚拟背景能够同步变化，从而实现两者天衣无缝的融合，从而创造出逼真的、立体感很强的电视演播室效果。然而现有的制播系统中，一台摄像机需搭配一套跟踪装备，多机位协同及切换匹配难度大，表演演员或主持人需要额外的穿戴动作捕捉设备才能进行运动跟踪。

技术实现思路

[0004]为了解决上述技术缺陷之一，本申请实施例中提供了一种融合制播系统及方法。
[0005]根据本申请实施例的第一个方面，提供了一种融合制播系统，包括：摄像机跟踪模块，用于获取多个摄像机的位置参数和工作参数；显示渲染模块，用于根据所述摄像机的位置参数和工作参数确定多个数字场景之间的立体透视关系，根据所述立体透视关系和所述数字场景得到三维虚拟场景，将所述三维虚拟场景发送至显示屏进行呈现；运动捕捉模块，用于获取所述摄像机录制的视频，基于AI人体运动跟踪技术得到所述视频中人体的运动参数以进行制作，其中，所述视频基于所述显示屏呈现的三维虚拟场景和真实场景融合得到。
[0006]在一个实施例中，所述获取多个摄像机的位置参数和工作参数，包括：基于红外光学运动捕捉技术获取多机位摄像机及其道具的实时位置参数；基于自动化伺服技术获取摄像机镜头的实时工作参数。
[0007]在一个实施例中，所述显示渲染模块包括：渲染模块，用于对所述数字场景内容进行渲染，并根据所述摄像机的位置参数和工作参数确定多个数字场景之间的立体透视关系，根据所述立体透视关系和所述数字场景得到三维虚拟场景；融合模块，用于基于空间扩展技术将所述三维虚拟场景扩展至所述显示屏以外的区域；切换模块，用于将所述显示屏呈现的三维虚拟场景和真实场景融合得到的视频传输至监视器。
[0008]在一个实施例中，所述显示屏为三块互相垂直的LED显示屏，或者所述显示屏为互相垂直的弧形屏和地屏。
[0009]在一个实施例中，所述渲染模块还用于基于色域匹配及转换技术实现显示屏与所述三维虚拟场景的色域相匹配，基于HSB色彩调节实现所述显示屏的色彩一致。
[0010]在一个实施例中，所述融合模块还用于根据所述运动参数在所述三维虚拟场景中叠加对应的特效。
[0011]在一个实施例中，所述获取所述摄像机录制的视频，基于AI人体运动跟踪技术得到所述视频中人体的运动参数，包括：获取所述摄像机录制的视频，基于卷积神经网络架构得到人体骨骼解算器，根据所述人体骨骼解算器得到所述视频中人体的运动参数。
[0012]在一个实施例中，还包括：对齐模块，用于将显示屏坐标系、摄像机跟踪坐标系和运动捕捉坐标系原点对齐。
[0013]根据本申请实施例的第二个方面，提供了一种融合制播方法，包括：获取摄像机的位置参数和工作参数；根据所述摄像机的位置参数和工作参数确定多个数字场景之间的立体透视关系，根据所述立体透视关系和所述数字场景得到三维虚拟场景，将所述三维虚拟场景发送至显示屏进行呈现；获取所述摄像机录制的视频，得到所述视频中人体的运动参数以进行制作，其中，所述视频基于所述显示屏呈现的三维虚拟场景和真实场景融合得到。
[0014]在一个实施例中，在所述获取摄像机的位置参数和工作参数之前，还包括：将显示屏坐标系、摄像机跟踪坐标系和运动捕捉坐标系原点对齐。
[0015]采用本申请实施例中提供的融合制播系统及方法，通过摄像机跟踪模块获取多个摄像机的位置参数，方便多机位协同及切换匹配，采用AI智能动捕技术实现一套系统内多套摄像机同步跟踪及表演演员/主持人身体动作跟踪，无需佩戴额外的穿戴动作捕捉设备。
附图说明
[0016]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1为本申请实施例提供的融合制播系统的结构示意图；图2为本申请实施例提供的融合制播系统一个实施例的示意图；图3为本申请实施例提供的显示渲染模块的结构示意图；图4为本申请实施例提供的运动捕捉模块的结构示意图；图5为软件设计的架构示意图；图6为本申请实施例提供的融合制播方法的流程示意图。
具体实施方式
[0017]为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实
施例中的特征可以相互组合。
[0018]图1为本申请实施例提供的融合制播系统的结构示意图，参照图1和图2，本申请提供了一种融合制播系统，包括：摄像机跟踪模块110，用于获取多个摄像机的位置参数和工作参数。
[0019]显示渲染模块120，用于根据所述摄像机的位置参数和工作参数确定多个数字场景之间的立体透视关系，根据所述立体透视关系和所述数字场景得到三维虚拟场景，将所述三维虚拟场景发送至显示屏进行呈现。
[0020]运动捕捉模块130，用于获取所述摄像机录制的视频，基于AI人体运动跟踪技术得到所述视频中人体的运动参数以进行制作，其中，所述视频基于所述显示屏呈现的三维虚拟场景和真实场景融合得到。
[0021]演播厅中摄像机的数量为多个，本申请基于一套摄像机跟踪装置即可获取多个摄像机的位置参数，摄像机的位置参数包括摄像机的位置和摄像头的角度等。摄像机的工作参数包括摄像机镜头Zoom、Focus、Iris等参数。
[0022]可选的，所述获取多个摄像机的位置参数和工作参数，包括：基于红外光学运动捕捉技术获取多机位摄像机及其道具的实时位置参数。具体的，在显示屏上设置若干红外测距装置，确定上述红外测距装置在显示屏坐标系中的坐标值，红外测距装置测量其与摄像机及道具的距离，根据红外测距装置的坐标值和距离，得到摄像机及其道具在显示屏坐标系中的坐标值。
[0023]基于自动化伺服技术获取摄像机镜头的实时工作参数。具体的，自动化伺服技术指的是自动化控制的伺服电机技术，比如摄像机镜头调焦可通过自动化控制芯片驱动调焦电机带动调焦片实现调焦，获取自动化控制芯片的驱动信号并对其进行变换，即可得到摄像机镜头的实时调焦参数。
[0024]可选的，本申请运用信息融合技术对实时位置参数和实时工作参数进行同步分析，还设计了S
‑
C（Server
‑
...

【技术保护点】

【技术特征摘要】
1.一种融合制播系统，其特征在于，包括：摄像机跟踪模块，用于获取多个摄像机的位置参数和工作参数；显示渲染模块，用于根据所述摄像机的位置参数和工作参数确定多个数字场景之间的立体透视关系，根据所述立体透视关系和所述数字场景得到三维虚拟场景，将所述三维虚拟场景发送至显示屏进行呈现；运动捕捉模块，用于获取所述摄像机录制的视频，基于AI人体运动跟踪技术得到所述视频中人体的运动参数以进行制作，其中，所述视频基于所述显示屏呈现的三维虚拟场景和真实场景融合得到。2.根据权利要求1所述的融合制播系统，其特征在于，所述获取多个摄像机的位置参数和工作参数，包括：基于红外光学运动捕捉技术获取多机位摄像机及其道具的实时位置参数；基于自动化伺服技术获取摄像机镜头的实时工作参数。3.根据权利要求1所述的融合制播系统，其特征在于，所述显示渲染模块包括：渲染模块，用于对所述数字场景内容进行渲染，并根据所述摄像机的位置参数和工作参数确定多个数字场景之间的立体透视关系，根据所述立体透视关系和所述数字场景得到三维虚拟场景；融合模块，用于基于空间扩展技术将所述三维虚拟场景扩展至所述显示屏以外的区域；切换模块，用于将所述显示屏呈现的三维虚拟场景和真实场景融合得到的视频传输至监视器。4.根据权利要求3所述的融合制播系统，其特征在于，所述显示屏为三块互相垂直的LED显示屏，或者所述显示屏为互相垂直的弧形屏和地屏。5.根据权利要求3所述的融...

【专利技术属性】
技术研发人员：姜文波，赵贵华，谭阳，蔺飞，范晓轩，陈瑾，李丹，高夕晴，熊伟，曾义，
申请(专利权)人：中央广播电视总台，
类型：发明
国别省市：