一种在虚拟演播室中合成前景人物阴影的方法、装置及存储介质制造方法及图纸

本发明专利技术涉及一种在虚拟演播室中合成前景人物阴影的方法、装置及存储介质，属于虚拟演播室领域，其包括以下步骤：步骤S1、获取含人物且人物置于指定颜色背景中的输入视频流；步骤S2、运用计算机视觉方法分析输入视频流，捕获到人物的全身肢体动作；步骤S3、选择内置三维人物模型与所述骨骼跟踪数据矩阵绑定；步骤S4、处理器渲染三维人物模型在三维场景中产生的阴影；步骤S5、将输入视频流的色键抠像结果与含所述阴影的三维场景叠加。本发明专利技术通过对含真实人物视频做分析提取出骨骼关节点位置，再绑定到三维人物模型上渲染出阴影，使得最终与色键后的前景做叠加的阴影与人物的动作保持一致。

A method, device and storage medium for synthesizing foreground character shadow in virtual studio

【技术实现步骤摘要】
一种在虚拟演播室中合成前景人物阴影的方法、装置及存储介质
本专利技术涉及虚拟演播室领域，尤其是涉及一种在虚拟演播室中合成前景人物阴影的方法、装置及存储介质。
技术介绍
虚拟演播室是近年发展起来的一种独特的电视节目制作技术。它的实质是将计算机制作的虚拟三维场景与电视摄像机现场拍摄的人物活动图像进行数字化的实时合成，使人物与虚拟背景能够同步变化，从而实现两者天衣无缝的融合，以获得完美的合成画面。为达到这一效果，在三维虚拟演播室中要用到色键抠像技术，通过将前景人物（通常是主持人）置于特定颜色的背景板前，再将拍摄到画面中特定颜色的背景部分抠掉，用渲染的三维虚拟背景替换特定颜色的背景来构成输出的合成画面。大部分的情况下，人物与三维背景直接合成。如果人物在三维场景没有阴影，在近景中真实摄像机只拍摄人物半身时，有没有阴影是不会影响观众的感受。但是，如果拍摄的全身人物时在三维场景中没有阴影，会让观众有人物漂浮在场景中的错觉，影响真实感，因此在虚拟演播室中阴影的合成非常重要。现有的人物与阴影的合成方式通常有四种：方法一是在真实摄像机画面中分析人物轮廓，确定人物脚部位置，在人物脚下放置一张固定的阴影图片。该方法的缺陷在于阴影图片与人物的肢体运动以及三维场景的光线难以匹配；人物阴影的长度、角度无法缺乏变化、真实感较差。方法二是依据真实摄像机中拍摄的人物生成一个类似阴影的剪影，放置在虚拟演播室中。该方法发的缺陷是在于剪影与人物来源于一个平面，对于模拟侧向光源产生的阴影会产生严重失真，人物运动时尤其明显。>方法三是真实摄像机拍摄人物脚下的阴影是灰黑色，通过色键技术将其还原。该方法的缺陷是对蓝绿箱内的灯光布置要求很高，蓝绿箱不能有任何污渍或印迹，而且这种方法常常会导致输出视频中夹杂着阴影噪声，影响视觉效果。方法四是增加第二台真实摄影机放置于与三维虚拟场景中需要生成的阴影的对称点（也就是虚拟场景的光源位置），得到人物在该点的图像，生成黑色剪影放置在虚拟演播室中。该方法的缺陷是不仅需要添加额外的摄像机和抠像器，增加了系统的成本和复杂性，而且人必须同时处在两台摄像机的视野范围内，大大限制了人物在蓝绿箱中的活动范围。综上所述现有的四种技术方案都不能提供一种成本低而真实感好的方法来实现虚拟演播室中的前景人物的阴影生成以及与前景人物的合成。因此，需要提出一种新的技术方案来解决上述技术问题。
技术实现思路
本专利技术的目的一是提供一种在虚拟演播室中合成前景人物阴影的方法，通过对含真实人物视频做分析提取出骨骼关节点位置，再绑定到三维人物模型上渲染出阴影，使得最终与色键后的前景做叠加的阴影与人物的动作保持一致。本专利技术的上述专利技术目的一是通过以下技术方案得以实现的：一种在虚拟演播室三维场景中合成前景人物阴影的方法，其特征在于：包括以下步骤：步骤S1、获取含人物且人物置于指定颜色背景中的输入视频流，该输入视频流来自实时视频拍摄或来自视频文件解码；步骤S2、运用计算机视觉方法分析输入视频流，捕获到人物的全身肢体动作，计算出人体的各个关节坐标信息，建立人物的骨骼跟踪数据矩阵；步骤S3、根据人物特征，选择内置对应的三维人物模型坐标矩阵与所述骨骼跟踪数据矩阵绑定，通过所述骨骼跟踪数据矩阵驱动内置三维人物模型坐标矩阵运动；步骤S4、完成对应三维人物模型绑定后，处理器渲染三维人物模型在三维场景中产生的阴影；步骤S5、将所述输入视频流的色键抠像结果与含所述阴影的三维场景叠加。通过采用上述技术方案，通过对实时视频中的人物进行肢体识别，提取出骨骼关节点位置，再绑定到三维人物模型，通过骨架跟踪数据来驱动预设的三维人物模型运动，计算机依据虚拟三维人物模型渲染出对应真实人物的阴影；最后将包含有阴影的虚拟场景与色键后的前景做叠加形成最终输出，使得合成的阴影，与人物的动作保持一致，可以完美地投射到虚拟场景中的墙面、桌椅等不规则的形体上，还可以根据多角度的灯光生成对应多角度的阴影，解决现有的技术无法在虚拟墙面、桌椅或凹凸不平的地面上形成正确的阴影以及合成的阴影无法和虚拟场景中的光源匹配的问题。本专利技术进一步设置为：所述步骤S2、运用计算机视觉方法分析输入视频流，捕获到人物的全身肢体动作，计算出人体的各个关节坐标信息，建立人物的骨骼跟踪数据矩阵，具体包括如下步骤：步骤S201、对所述输入视频流中的前景人物活动的骨骼关节点进行跟踪，并获得关节点坐标；步骤S202、通过公式将分别将所述关节点的坐标依次转换为对应的三维场景空间坐标；步骤S203、整合所述关节点的三维场景空间坐标，组成人物的骨骼跟踪数据矩阵。通过采用上述技术方案，通过采集人物活动的骨骼关节点的三维坐标，提高处理精度的同时，还可以利用这一数据极其简便地完成人体姿态和动作的识别。本专利技术进一步设置为：步骤S3中所述三维人物模型的人物特征包括A、B、C、D中一种或多种。通过采用上述技术方案，通过在虚拟三维人物模型中设置多种人物特征，使得获得的三维人物模型更加贴进现实人物的实际情况。本专利技术进一步设置为：步骤S4中阴影通过采用ShadowMap的方法生成。通过采用上述技术方案，ShadowMap具有运算快、原理简单、编写简单等优点，提高视频流中人物阴影生成的流畅性。本专利技术进一步设置为：步骤S4中的阴影生成公式为：Shadow=B*Pl*Vl*Mp，其中B为偏差矩阵，可表示为：Pl为场景中的灯光投影矩阵，Vl为场景中灯光的视角矩阵，Mp为三维人物模型坐标矩阵。通过采用上述技术方案，由于顶点经过矩阵变化之后，其xyz分量的取值范围是[-1,1]，我们需要使用这个变化过的顶点值来找到Shadowdepthmap中对应的点来比较深度，即要作为UV使用，而UV的取值范围是[0,1]，因此需要使用偏差矩阵进行一个值域的变换。本专利技术进一步设置为：步骤S5、将所述视频流的色键抠像结果与含所述阴影的三维场景叠加，三维场景叠加的具体公式为：Y=Scene*(1-α)+V*α，其中Y为最终合成结果画面，α为通过键混器获得的视频流的Alpha键，Scene为含阴影的三维场景，V为步骤S1中的输入视频流。通过采用上述技术方案，该阴影生成的方法是基于肢体识别得到骨架信息即可实现对驱动三维人物模型，从而渲染阴影，在保证人物与阴影的完美贴合的同时，虚拟灯光增加时，各个角度都可以生成正确的阴影。本专利技术目的二是提供一种在虚拟演播室中合成前景人物阴影的装置，具有成本低、但合成真实感强的前景人物阴影的特点。本专利技术的上述专利技术目的二是通过以下技术方案得以实现：一种在虚拟演播室中合成前景人物阴影的装置，包括存储器和处理器，所述存储器存储有能够被处理器加载并执行上述在虚拟演播室三维场景中合成前景人物阴影方法的计算机程序。本专利技术目的三是提供一种计算机可读存储介质，具有便于实现低成本、高逼真度的前景人物阴影合成的特点。本专利技术的上本文档来自技高网...

【技术保护点】
1.一种在虚拟演播室中合成前景人物阴影的方法，其特征在于：包括以下步骤：/n步骤S1、获取含人物且人物置于指定颜色背景中的输入视频流，该输入视频流来自实时视频拍摄或来自视频文件解码；/n步骤S2、运用计算机视觉方法分析输入视频流，捕获到人物的全身肢体动作，计算出人体的各个关节坐标信息，建立人物的骨骼跟踪数据矩阵；/n步骤S3、根据人物特征，选择内置对应的三维人物模型坐标矩阵与所述骨骼跟踪数据矩阵绑定，通过所述骨骼跟踪数据矩阵驱动内置三维人物模型坐标矩阵运动；/n步骤S4、完成对应三维人物模型绑定后，处理器渲染三维人物模型在三维场景中产生的阴影；/n步骤S5、将所述输入视频流的色键抠像结果与含所述阴影的三维场景叠加。/n

【技术特征摘要】
1.一种在虚拟演播室中合成前景人物阴影的方法，其特征在于：包括以下步骤：
步骤S1、获取含人物且人物置于指定颜色背景中的输入视频流，该输入视频流来自实时视频拍摄或来自视频文件解码；
步骤S2、运用计算机视觉方法分析输入视频流，捕获到人物的全身肢体动作，计算出人体的各个关节坐标信息，建立人物的骨骼跟踪数据矩阵；
步骤S3、根据人物特征，选择内置对应的三维人物模型坐标矩阵与所述骨骼跟踪数据矩阵绑定，通过所述骨骼跟踪数据矩阵驱动内置三维人物模型坐标矩阵运动；
步骤S4、完成对应三维人物模型绑定后，处理器渲染三维人物模型在三维场景中产生的阴影；
步骤S5、将所述输入视频流的色键抠像结果与含所述阴影的三维场景叠加。


2.根据权利要求1所述的一种在虚拟演播室中合成前景人物阴影的方法，其特征在于：所述步骤S2、运用计算机视觉方法分析输入视频流，捕获到人物的全身肢体动作，计算出人体的各个关节坐标信息，建立人物的骨骼跟踪数据矩阵，具体包括如下步骤：
步骤S201、对所述输入视频流中的前景人物活动的骨骼关节点进行跟踪，并获得关节点坐标；
步骤S202、通过公式将分别将所述关节点的坐标依次转换为对应的三维场景空间坐标；
步骤S203、整合所述关节点的三维场景空间坐标，组成人物的骨骼跟踪数据矩阵。


3.根据权利要求1所述的一种在虚拟演播室中合成前景...

【专利技术属性】
技术研发人员：张涛，徐菁，李佳，
申请(专利权)人：深圳市励得数码科技有限公司，
类型：发明
国别省市：广东;44