【技术实现步骤摘要】
本专利技术属于虚拟现实，具体涉及一种高真实感增强现实演播室实现方法及其装置。
技术介绍
1、随着新媒体的发展，观众对节目逼真性和创意性要求不断提高。电视节目只有体现精良、生动和多元特点，才能吸引观众视线和提升收视率。传统拍摄系统在时间和资金成本上难以满足上述要求，且难以低成本快速构建多元化和高吸引率的文娱节目。虚拟演播室技术的出现与发展，如常见的基于绿幕的虚拟演播室，前景人物在这样的虚拟演播室中进行节目录制，可以达到身临其境的效果，现场的摄像机同时对前景人物和背景进行虚实结合拍摄，实现了低成本、高效及多元化的虚拟演播室，因此也极大地促进了电视节目行业的发展。
2、然而现有虚拟演播室技术实现上仍然面临以下问题：演播背景及前景人物分割的实时性、以及人物分割不清晰、人物边缘提取效果差，视频序列图像中人物与虚拟背景存在复杂遮挡关系，虚拟演播厅高质量渲染的场景构建和光线追踪技术欠缺等导致前景人物与虚拟背景无法实现高质量的无缝融合。
技术实现思路
1、本专利技术的目的在于提供一种高真实感增强现实演播室实现方法及其装置，基于机械臂控制拍摄的高真实感虚拟演播室，有效提高绿幕环境下前景人物实时分割和姿态实时追踪，以及增强现实演播室中前景人物和高真实感虚拟场景的匹配融合。
2、为了达到上述目的，本专利技术提供了一种高真实感增强现实演播室实现装置，包括：绿幕背景、多自由度机器人、摄像机和示教器，摄像机安装于多自由度机器人上，绿幕场景作为摄像机的拍摄场景，并通过示教器获取多自由度机
3、进一步的，所述多自由度机器人还包括leapmotion传感器，通过传感器识别操作员的手势三维骨架信息来操控多自由度机器人。
4、进一步的，所述多自由度机器人具有支持tcp协议通讯接口。
5、进一步的，所述装置还包括ue4内虚拟相机，ue4内虚拟相机与摄像机的世界坐标绑定，并同步。
6、本专利技术还提供了一种高真实感增强现实演播室实现方法所采用的技术方案，包括以下步骤：
7、步骤1：前景人物实时分割和多人姿态实时估计，对摄像机获取的图像进行处理，以实现图像无缝融合和编辑，以及识别人体骨骼和关节点信息，同时获取摄像机和人体之间距离的信息；
8、步骤2：面向全局光照真实感的虚拟场景构建和实时渲染，实现拍摄处理过程中前景人物与虚拟场景光照效果一致，实现自然柔和的虚拟演播室渲染效果；
9、步骤3：虚拟背景与视频序列人物的高质量融合，构建基于euler-lagrange方程的梯度算子边界条件，采用引导向量场的泊松方程插值，实现合成序列图像边界颜色梯度场的连续性，启用ue4的virtual texture(虚拟纹理)支持，使用rvt(runtimevirtualtexture)将物体与地形混合过渡实现多尺度纹理合成，完成高真实度视频录制；
10、步骤4：基于机械臂操作的虚拟拍摄，对虚拟相机与摄像机位置参数进行匹配与校准，对真实摄像机与虚拟摄像机在世界坐标各自由度移动时的系数比进行调整，确保摄像机工作范围能够覆盖整个工作区域。
11、进一步的，高真实感增强现实演播室实现方法还包括步骤5：后处理，调色、剪辑、多窗口比较，实现虚拟演播室系统的用户界面示意图及功能展示。
12、进一步的，所述步骤1具体步骤包括：
13、1.1采用长时递归卷积神经网络在无标签的数据上进行无监督学习，从而得到最佳的时空特征表示方法，实现长时间视频数据的实时特征提取；
14、1.2人物实时分割及人体姿态实时估计，应用鲁棒性极好的高分辨率图像分割算法robustvideomatting(rvm)进行人物分割，rvm使用递归神经网络(rnn)来处理具有时间记忆特性的视频，递归神经网络具有强大的表示能力，该算法能够做到对4k视频的实时高帧处理，能够满足高清电影视频抠像要求；采用kinect技术，来感知和捕捉环境中的物体和人体技术的位置信息，获取人体的骨架信息以及关节点的三维坐标位置，准确的进行人体骨骼识别以及距离测定。
15、进一步的，所述步骤2具体步骤包括：实时阴影贴图具体采用级联阴影贴图(cascaded shadow maps，csm)算法，全局光照计算算法采用基于锥体素光线追踪算法。
16、进一步的，所述步骤4具体步骤包括：
17、4.1基于动态骨架手势识别的人机协作，经手势骨架数据预处理、动态手势滑动检测、连续手势稳定识别、连续手势状态机建模、协作指令映射将命令传达给带有摄像头的机械臂，机械臂按照操作员的意图移动到所需要拍摄场景的准确位置，来进行拍摄场景的精准定位；
18、4.2机械臂末端执行坐标系与虚拟场景相机坐标系的标定，携带摄像机的机器人和ue4系统里的虚拟场景实现连接，以机械臂为客户端发送信息，随着操作员在实时场景中的需要进行调整和空间位移，ue4内的虚拟相机作为服务端接受信息并识别命令及执行，从而完成整个视频拍摄过程。
19、进一步的，所述步骤4.1中，采用一种多尺度滑动窗口检测投票机制，通过32，64，96，128帧四个大小的窗口进行动作识别并投票识别结果。在不定长的连续动态手势(静止、上下挥动、静止、挥手)数据中，对于多尺度滑动窗口，前三个滑动窗口从数据流中检测出挥手动作，而最后一个滑动窗口尺寸覆盖了两个动作数据，其识别结果将会在挥手和静止之间抖动，当前帧的识别结果通过多个滑动窗口的结果平均得出。
20、本专利技术的有益效果：
21、本专利技术基于深度学习的人物识别和人体姿态实时追踪技术、基于全局光照真实感虚拟场景构建和实时渲染方法、基于泊松编辑的人物和背景匹配融合方法以及机械臂末端执行坐标系与虚拟场景坐标系的同步标定来达到高真实感增强现实演播室实现方法，可实现前景与后景间正确透视关系，真实性高、处理速度快，融合效果更好，采用机械臂控制，操作者可以通过远程手势控制六自由度机器人实现摄像机的移动，极大拓展了虚拟演播室的使用场景范围，不用再局限于室内，在一些恶劣环境下也能实现正常使用。
本文档来自技高网...【技术保护点】
1.一种高真实感增强现实演播室实现装置，其特征在于，包括：绿幕背景、多自由度机器人、摄像机和示教器，摄像机安装于多自由度机器人上，绿幕场景作为摄像机的拍摄场景，并通过示教器获取多自由度机器人的关节角度调节摄像机的坐标方向。
2.根据权利要求1所述的高真实感增强现实演播室实现装置，其特征在于，所述多自由度机器人还包括LeapMotion传感器，通过传感器识别操作员的手势三维骨架信息来操控多自由度机器人。
3.根据权利要求1所述的高真实感增强现实演播室实现装置，其特征在于，多自由度机器人具有支持TCP协议通讯接口。
4.根据权利要求3所述的高真实感增强现实演播室实现装置，其特征在于，所述装置还包括UE4内虚拟相机，UE4内虚拟相机与摄像机的世界坐标绑定，并同步。
5.一种高真实感增强现实演播室实现方法，其特征在于，通过如权利要求1-4任一所述的装置实现，包括以下步骤：
6.根据权利要求5所述的高真实感增强现实演播室实现方法，其特征在于，高真实感增强现实演播室实现方法还包括步骤5：后处理，调色、剪辑、多窗口比较，实现虚拟演播室
7.根据权利要求6所述的高真实感增强现实演播室实现方法，其特征在于，所述步骤1具体包括：
8.根据权利要求7所述的高真实感增强现实演播室实现方法，其特征在于，所述步骤2具体包括：采用级联阴影贴图和基于锥体素光线追踪，级联阴影贴图为针对相机视锥的不同部分，使用多个阴影贴图级别，从而在不同距离上使用不同的分辨率的贴图，确保在渲染时获得高性能的阴影效果；基于锥体素光线追踪在每个体素内部使用锥形来采样光线，来模拟全局光照效果。
9.根据权利要求8所述的高真实感增强现实演播室实现方法，其特征在于，所述步骤4具体包括：4.1基于动态骨架手势识别的人机协作，经手势骨架数据预处理、动态手势滑动检测、连续手势稳定识别、连续手势状态机建模、协作指令映射将命令传达给带有摄像头的机械臂，机械臂按照操作员的意图移动到所需要拍摄场景的准确位置，来进行拍摄场景的精准定位；4.2机械臂末端执行坐标系与虚拟场景相机坐标系的标定，携带摄像机的机器人和UE4系统里的虚拟场景实现连接，以机械臂为客户端发送信息，随着操作员在实时场景中的需要进行调整和空间位移，UE4内的虚拟相机作为服务端接受信息并识别命令及执行，从而完成整个视频拍摄过程。
10.根据权利要求9所述的高真实感增强现实演播室实现方法，其特征在于，所述连续手势稳定识别中采用多尺度滑动窗口检测投票方法，通过32、64、96、128帧四个大小的窗口进行动作识别并投票识别结果，当前帧的识别结果通过多个滑动窗口的结果平均得出，不定长的连续动态手势包括静止、上下挥动、静止、挥手。
...【技术特征摘要】
1.一种高真实感增强现实演播室实现装置，其特征在于，包括：绿幕背景、多自由度机器人、摄像机和示教器，摄像机安装于多自由度机器人上，绿幕场景作为摄像机的拍摄场景，并通过示教器获取多自由度机器人的关节角度调节摄像机的坐标方向。
2.根据权利要求1所述的高真实感增强现实演播室实现装置，其特征在于，所述多自由度机器人还包括leapmotion传感器，通过传感器识别操作员的手势三维骨架信息来操控多自由度机器人。
3.根据权利要求1所述的高真实感增强现实演播室实现装置，其特征在于，多自由度机器人具有支持tcp协议通讯接口。
4.根据权利要求3所述的高真实感增强现实演播室实现装置，其特征在于，所述装置还包括ue4内虚拟相机，ue4内虚拟相机与摄像机的世界坐标绑定，并同步。
5.一种高真实感增强现实演播室实现方法，其特征在于，通过如权利要求1-4任一所述的装置实现，包括以下步骤：
6.根据权利要求5所述的高真实感增强现实演播室实现方法，其特征在于，高真实感增强现实演播室实现方法还包括步骤5：后处理，调色、剪辑、多窗口比较，实现虚拟演播室系统的用户界面示意图及功能展示。
7.根据权利要求6所述的高真实感增强现实演播室实现方法，其特征在于，所述步骤1具体包括：
8.根据权利要求7所述的高真实感增强现实演播室实现方...
【专利技术属性】
技术研发人员：易兵，刘鑫鑫，李伟，钟浩宇，刘嘉，吴令仪，
申请(专利权)人：中南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。