视频数据的处理方法技术

本发明专利技术提供了一种视频数据的处理方法，其中，该方法包括：在播放端上显示实景视频画面和对应虚拟视频画面的加载入口；在检测到针对加载入口的触发指令之后，在播放端加载虚拟视频渲染数据，虚拟视频渲染数据用于显示与实景视频画面对应的虚拟视频画面；其中，虚拟视频渲染数据包括以下至少之一：与实景视频画面中的至少一个对象对应的虚拟角色模型，虚拟角色模型的动作特征数据，虚拟角色模型的表情特征数据。通过本发明专利技术，增强了相关技术中实景视频对应的展示方式，并结合虚拟渲染技术提供了对应实景视频更多的可显示方式和可交互方式，从而提高了实景视频播放的娱乐效果与体验。而提高了实景视频播放的娱乐效果与体验。而提高了实景视频播放的娱乐效果与体验。

【技术实现步骤摘要】
视频数据的处理方法


[0001]本专利技术涉及计算机
，具体而言，涉及一种视频数据的处理方法。

技术介绍

[0002]相关技术中，针对实景视频(例如抖音中用户自己用手机拍摄的实景视频)，都是在实体的舞台上由实体的人物道具等呈现，有些会有一个背景幕布，用于播放与前景节目对应的音视频等，缺乏趣味性和屏幕前观众之间交互性。
[0003]在一些特殊的环节中，也会引入虚拟元素，例如通过AR等光学技术呈现的虚拟人物在舞台上表演，但该虚拟人员还不能与实体舞台，背景舞台进行灵活交互，也不能实现实体场景与虚拟场景的同步。相关技术中的视频都是通过实体的舞台人物道具进行呈现，不能通过虚拟舞台同步演出，也不能将实景视频切换为虚拟视频。
[0004]针对相关技术中存在的上述问题，目前尚未发现有效的解决方案。

技术实现思路

[0005]本专利技术实施例提供了一种视频数据的处理方法。
[0006]根据本专利技术的一个实施例，提供了一种视频数据的处理方法，包括：在播放端上显示实景视频画面和对应虚拟视频画面的加载入口；在检测到针对所述加载入口的触发指令之后，在所述播放端加载虚拟视频渲染数据，所述虚拟视频渲染数据用于显示与所述实景视频画面对应的虚拟视频画面；其中，所述虚拟视频渲染数据包括以下至少之一：与所述实景视频画面中的至少一个对象对应的虚拟角色模型，所述虚拟角色模型的动作特征数据，所述虚拟角色模型的表情特征数据。
[0007]可选的，在所述播放端加载虚拟视频渲染数据之后，所述方法还包括：接收第一摄像头设置指令，其中，所述第一摄像头设置指令用于指示虚拟摄像头的运动轨迹；根据所述第一摄像头设置指令所确定的虚拟摄像头的运动轨迹，与所述虚拟视频渲染数据渲染出在所述播放端上展示的第一虚拟视频画面。
[0008]可选的，在所述播放端加载虚拟视频渲染数据之后，所述方法还包括：在所述播放端的第一区域显示所述虚拟视频画面，在所述播放端的第二区域显示所述实景视频画面，其中，所述播放端包括：所述第一区域，所述第二区域，切换控件，交互控件，所述切换控件用于根据用户指令在所述播放端上切换所述虚拟视频画面和所述实景视频画面的显示位置，所述交互控件用于根据用户指令在所述播放端上执行所述虚拟视频画面与所述实景视频画面之间的交互动作。
[0009]可选的，在在所述播放端加载虚拟视频渲染数据之后，所述方法还包括：接收第二摄像头设置指令，其中，所述第二摄像头设置指令用于确定虚拟摄像头的镜头机位；根据所述第二摄像头设置指令确定的虚拟摄像头的镜头机位，与所述虚拟视频渲染数据，渲染出在所述播放端上展示的第二虚拟视频画面。
[0010]可选的，接收第二摄像头设置指令包括以下之一：接收第一指令，其中，所述第一
指令用于选择第一镜头机位，所述第一镜头机位的布置位置与所述虚拟视频画面中的虚拟主角对应；接收第二指令，其中，所述第二指令用于选择第二镜头机位，所述第二镜头机位的布置位置与所述虚拟视频画面中的虚拟配角对应。
[0011]可选的，在所述播放端加载虚拟视频渲染数据之前，所述方法还包括：从云服务器获取与所述实景视频画面同步的第一虚拟视频渲染数据。
[0012]可选的，在所述播放端加载虚拟视频渲染数据之前，所述方法还包括：在本地播放端生成与所述实景视频画面同步的第二虚拟视频渲染数据。
[0013]可选的，在所述播放端加载虚拟视频渲染数据之后，所述方法还包括：取所述实景视频画面采用的摄像机运动轨迹参数和/或摄像机机位参数；依据所述摄像机运动轨迹参数和/或摄像机机位参数以及所述虚拟视频渲染数据渲染出在所述播放端上展示的第三虚拟视频画面，其中，所述第三虚拟视频画面与所述实景视频画面的中的摄像机控制参数相同。
[0014]可选的，所述第一虚拟视频渲染数据或所述第二虚拟视频渲染数据通过采用动捕数据和预设虚拟角色模型生成，所述动捕数据用于表征所述实景视频画面中真人的动作数据，所述动捕数据通过内置在目标对象上的动捕设备采集得到。
[0015]可选的，在所述播放端加载虚拟视频渲染数据之前，所述方法还包括：获取真实场景中真实对象的动作数据，其中，所述实景视频画面中包括所述真实对象；确定与所述真实对象匹配的虚拟对象，所述虚拟视频画面包括所述虚拟对象，所述虚拟对象是所述真实对象的虚拟角色模型；根据所述动作数据生成所述虚拟对象的驱动数据，其中，所述驱动数据包括所述动作特征数据和所述表情特征数据；采用所述虚拟角色模型和所述驱动数据打包生成所述虚拟视频渲染数据。
[0016]可选的，获取真实场景中真实对象的动作数据包括：采用动捕设备采集所述真实对象的运动参数，其中，所述动捕设备内置在所述真实对象的身体上；基于所述运动参数生成所述真实对象的肢体动作数据。
[0017]可选的，基于所述运动参数生成所述真实对象的肢体动作数据包括：提取每个标记点采集的运动子参数，其中，所述动捕设备包括多个标记点，每个动捕点分别内置在所述真实对象的一个身体部位上，每个标记点对应一份运动子参数；针对每个标记点，按照预设周期构建运动子参数的移动曲线，并计算移动曲线的复杂度；在所有标记点中选择复杂度最大的若干个目标标记点；将所述若干个目标标记点的移动曲线确定为所述真实对象肢体表演的动作曲线。
[0018]可选的，计算移动曲线的复杂度包括：计算所述移动曲线的延伸长度，以及计算所述移动曲线的曲率；基于所述延伸长度和所述曲率加权计算的所述移动曲线的复杂度。
[0019]可选的，获取真实场景中真实对象的动作数据包括：采用三维结构光相机采集所述真实对象的面部点云，其中，所述三维结构光相机相对设置在所述真实对象的身体前方；基于所述面部点云的深度信息生成所述真实对象的脸部动作数据。
[0020]可选的，基于所述面部点云的深度信息生成所述真实对象的脸部动作数据包括：从所述面部点云中提取各个点的水平坐标值，基于所述水平坐标值确定所述面部点云围成的面部区域；将所述面部区域缩放到与所述虚拟对象的脸部尺寸相同；提取所述面部点云中各个点的深度坐标值，从所述面部点云中选择深度坐标值与标准深度的差值大于预设值
的目标点；将所述目标点确定为所述真实对象的脸部动作数据。
[0021]可选的，若所述动作数据为动作曲线，根据所述动作数据生成所述虚拟对象的驱动数据包括：根据若干条动作曲线识别所述虚拟对象待执行的动作类型；在所述虚拟对象的指令集中查找与所述动作类型匹配的第一骨骼驱动指令。
[0022]可选的，若所述动作数据为脸部动作数据，根据所述动作数据生成所述虚拟对象的驱动数据包括：在预设表情库中查找与所述脸部动作数据匹配的虚拟脸部表情；在所述虚拟对象的指令集中查找与所述虚拟脸部表情匹配的捏脸指令。
[0023]可选的，所述方法还包括：从所述实景视频画面中获取视频背景的素材资源，和/或，从自定义图片中获取视频背景的素材资源；采用所述素材资源渲染生成所述虚拟视频画面的虚拟背景画面。
[0024]可选的，在所述播放端加载虚拟视频渲染数据之后，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频数据的处理方法，其特征在于，包括：在播放端上显示实景视频画面和对应虚拟视频画面的加载入口；在检测到针对所述加载入口的触发指令之后，在所述播放端加载虚拟视频渲染数据，所述虚拟视频渲染数据用于显示与所述实景视频画面对应的虚拟视频画面；其中，所述虚拟视频渲染数据包括以下至少之一：与所述实景视频画面中的至少一个对象对应的虚拟角色模型，所述虚拟角色模型的动作特征数据，所述虚拟角色模型的表情特征数据。2.根据权利要求1所述的方法，其特征在于，在所述播放端加载虚拟视频渲染数据之后，所述方法还包括：接收第一摄像头设置指令，其中，所述第一摄像头设置指令用于指示虚拟摄像头的运动轨迹；根据所述第一摄像头设置指令所确定的虚拟摄像头的运动轨迹，与所述虚拟视频渲染数据渲染出在所述播放端上展示的第一虚拟视频画面。3.根据权利要求1所述的方法，其特征在于，在所述播放端加载虚拟视频渲染数据之后，所述方法还包括：接收第二摄像头设置指令，其中，所述第二摄像头设置指令用于确定虚拟摄像头的镜头机位；根据所述第二摄像头设置指令确定的虚拟摄像头的镜头机位，与所述虚拟视频渲染数据，渲染出在所述播放端上展示的第二虚拟视频画面。4.根据权利要求3所述的方法，其特征在于，接收第二摄像头设置指令包括以下之一：接收第一指令，其中，所述第一指令用于选择第一镜头机位，所述第一镜头机位的布置位置与所述虚拟视频画面中的虚拟主角对应；接收第二指令，其中，所述第二指令用于选择第二镜头机位，所述第二镜头机位的布置位置与所述虚拟视频画面中的虚拟配角对应。5.根据权利要求1所述的方法，其特征在于，在所述播放端加载虚拟视频渲染数据之后，所述方法还包括：获取所述实景视频画面采用的摄像机运动轨迹参数和/或摄像机机位参数；依据所述摄像机运动轨迹参数和/或摄像机机位参数以及所述虚拟视频渲染数据渲染出在所述播放端上展示的第三虚拟视频画面，其中，所述第三虚拟视频画面与所述实景视频画面的中的摄像机控制参数相同。6.根据权利要求...

【专利技术属性】
技术研发人员：王唯翔，宋丽婷，
申请(专利权)人：完美世界北京软件科技发展有限公司，
类型：发明
国别省市：