互动画面的渲染方法、装置、设备、存储介质及程序产品制造方法及图纸

本申请提供了一种互动画面的渲染方法、装置、设备、计算机可读存储介质及计算机程序产品；方法包括：获取同台互动的至少两个真实角色的互动数据、以及所述至少两个真实角色中目标角色的动捕数据；其中，所述动捕数据，用于驱动所述目标角色对应的虚拟角色执行与所述目标角色一致的互动动作；基于所述互动数据及所述动捕数据进行画面渲染，得到所述虚拟角色与所述至少两个真实角色中除所述目标角色之外的其他角色进行同台互动的画面。通过本申请，能够提高真实角色与虚拟角色之间的互动自然度。度。度。

【技术实现步骤摘要】
互动画面的渲染方法、装置、设备、存储介质及程序产品


[0001]本申请涉及计算机
，尤其涉及一种互动画面的渲染方法、装置、设备、计算机可读存储介质及计算机程序产品。

技术介绍

[0002]随着计算机技术与网络技术的发展，虚拟角色直播在视频直播业务中占据着越来越大的比例，虚拟角色直播是以特定的虚拟角色替代真实人物的真实形象(即中之人)进行视频直播。相关技术中在涉及真实角色(真人演员)和中之人同台互动演出的情况时，通常是真实角色在舞台上表演，中之人在动捕棚中进行动捕数据的捕捉，然后通过电脑使用中之人的动捕数据还原虚拟角色，实时在真人舞台上进行合成，以呈现真实角色与虚拟角色同台演出的画面。
[0003]然而，上述方式中，由于真实角色和中之人在拍摄过程中不在同一个空间中，彼此独立表演，缺乏互动，导致在合成的画面中真实角色和虚拟角色很难做到真正眼神上的交流，使得互动不自然，给人不好的观感体验。

技术实现思路

[0004]本申请实施例提供一种互动画面的渲染方法、装置、设备、计算机可读存储介质及计算机程序产品，能够提高真实角色与虚拟角色之间的互动自然度。
[0005]本申请实施例的技术方案是这样实现的：
[0006]本申请实施例提供一种互动画面的渲染方法，包括：
[0007]获取同台互动的至少两个真实角色的互动数据、以及所述至少两个真实角色中目标角色的动捕数据；
[0008]其中，所述动捕数据，用于驱动所述目标角色对应的虚拟角色执行与所述目标角色一致的互动动作；
>[0009]基于所述互动数据及所述动捕数据进行画面渲染，得到所述虚拟角色与所述至少两个真实角色中除所述目标角色之外的其他角色进行同台互动的画面。
[0010]本申请实施例提供一种互动画面的渲染装置，包括：
[0011]获取模块，用于获取同台互动的至少两个真实角色的互动数据、以及所述至少两个真实角色中目标角色的动捕数据；
[0012]其中，所述动捕数据，用于驱动所述目标角色对应的虚拟角色执行与所述目标角色一致的互动动作；
[0013]渲染模块，用于基于所述互动数据及所述动捕数据进行画面渲染，得到所述虚拟角色与所述至少两个真实角色中除所述目标角色之外的其他角色进行同台互动的画面。
[0014]上述方案中，所述获取模块，还用于获取挂载在机械臂上的真实相机录制的所述同台互动的至少两个真实角色的原始数据；其中，所述机械臂与所述真实相机通过机械臂末端执行器连接；确定所述真实相机与所述机械臂之间的第一坐标转换关系，以及所述机
械臂与用于进行所述画面渲染的虚拟相机之间的第二坐标转换关系；基于所述第一坐标转换关系及所述第二坐标转换关系，对所述原始数据进行映射处理，得到所述原始数据在所述虚拟相机中的映射数据，以将所述映射数据作为获取的所述同台互动的至少两个真实角色的互动数据。
[0015]上述方案中，所述获取模块，还用于获取所述真实相机与所述机械臂末端执行器之间的第三坐标转换关系，以及所述机械臂末端执行器与机械臂底座坐标系之间的第四坐标转换关系；基于所述第三坐标转换关系及所述第四坐标转换关系，确定所述真实相机与所述机械臂之间的第一坐标转换关系。
[0016]上述方案中，当所述原始数据包括背景数据时，所述获取模块，还用于当所述至少两个真实角色未同台互动时，控制所述机械臂以目标轨迹进行运动，并在所述机械臂运动过程中，控制挂载在所述机械臂上的真实相机录制不包括所述至少两个真实角色的第一背景数据；当所述至少两个真实角色同台互动时，控制所述机械臂以所述目标轨迹进行运动，并在所述机械臂运动过程中，控制所述真实相机录制包括同台互动的所述至少两个真实角色的原始互动数据，所述原始互动数据包括第二背景数据；将所述第一背景数据及所述原始互动数据，确定为所述同台互动的至少两个真实角色的原始数据。
[0017]上述方案中，所述获取模块，还用于响应于接收到的针对所述所述机械臂的运动指令，控制控制所述机械臂以所述目标轨迹进行运动；获取所述运动指令的接收时刻，以及将所述原始互动数据由所述真实相机传递至所述虚拟相机所需的目标时长；在从所述接收时刻达到所述目标时长时，接收到针对所述第一背景数据的播放指令，并响应于所述播放指令，播放所述第一背景数据，以将播放的所述第一背景数据与录制的所述原始互动数据确定为所述同台互动的至少两个真实角色的原始数据。
[0018]上述方案中，所述获取模块，还用于基于所述第一坐标转换关系及所述第二坐标转换关系，对所述第一背景数据进行映射处理，得到所述第一背景数据在所述虚拟相机中的第一映射数据；基于所述第一坐标转换关系及所述第二坐标转换关系，对所述原始互动数据进行映射处理，得到所述原始互动数据在所述虚拟相机中的第二映射数据；将所述第一映射数据及所述第二映射数据作为所述原始数据在所述虚拟相机中的映射数据。
[0019]上述方案中，所述渲染模块，还用于分别对所述第一映射数据及所述第二映射数据进行画面渲染，得到对应的第一渲染画面和第二渲染画面；基于所述机械臂的运动数据创建所述目标角色对应的空间遮罩，并对所述空间遮罩进行画面渲染，得到第三渲染画面；基于所述动捕数据，在所述目标角色关联的位置处创建所述目标角色对应的虚拟角色，并对所述虚拟角色进行画面渲染，得到包括所述虚拟角色的第四渲染画面；将所述第一渲染画面、所述第二渲染画面、所述第三渲染画面及所述第四渲染画面进行画面叠加处理，得到所述虚拟角色与所述至少两个真实角色中除所述目标角色之外的其他角色进行同台互动的画面。
[0020]上述方案中，所述基于所述互动数据及所述动捕数据进行画面渲染之前，所述装置还包括：同步模块，用于将所述第一背景数据及所述第二背景数据映射至时间轴上，并在所述时间轴上展示所述第一背景数据对应的至少一个第一关键帧以及所述第二背景数据对应的至少一个第二关键帧；从所述至少一个第二关键帧中筛选出与所述至少一个第一关键帧中的第一目标关键帧相对应的第二目标关键帧；获取所述第一目标关键帧与所述第二
目标关键帧对应的时间差，并当所述时间差大于第一时间阈值时，调整所述第一背景数据及所述第二背景数据在所述时间轴上的位置，直至所述时间差低于第二时间阈值。
[0021]上述方案中，所述获取模块，还用于获取所述真实相机与所述虚拟相机之间的色彩映射关系；基于所述色彩映射关系，对所述原始数据进行色彩空间转换处理，得到所述原始数据在所述虚拟相机中的映射数据；相应的，所述渲染模块，还用于基于所述互动数据及所述动捕数据进行画面渲染，得到所述虚拟角色与所述至少两个真实角色中除所述目标角色之外的其他角色进行同台互动的初始渲染画面；基于所述色彩映射关系，对所述初始渲染画面进行色彩空间逆转换处理，得到最终渲染画面，以输出所述最终渲染画面。
[0022]上述方案中，所述获取模块，还用于当所述至少两个真实角色中目标角色穿戴有动作捕捉设备时，获取真实相机捕捉的所述动作捕捉设备上的标记点的位置变化数据，并将所述位置变化数据作为所述目标角色的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种互动画面的渲染方法，其特征在于，所述方法包括：获取同台互动的至少两个真实角色的互动数据、以及所述至少两个真实角色中目标角色的动捕数据；其中，所述动捕数据，用于驱动所述目标角色对应的虚拟角色执行与所述目标角色一致的互动动作；基于所述互动数据及所述动捕数据进行画面渲染，得到所述虚拟角色与所述至少两个真实角色中除所述目标角色之外的其他角色进行同台互动的画面。2.如权利要求1所述的方法，其特征在于，所述获取同台互动的至少两个真实角色的互动数据，包括：获取挂载在机械臂上的真实相机录制的所述同台互动的至少两个真实角色的原始数据；其中，所述机械臂与所述真实相机通过机械臂末端执行器连接；确定所述真实相机与所述机械臂之间的第一坐标转换关系，以及所述机械臂与用于进行所述画面渲染的虚拟相机之间的第二坐标转换关系；基于所述第一坐标转换关系及所述第二坐标转换关系，对所述原始数据进行映射处理，得到所述原始数据在所述虚拟相机中的映射数据，以将所述映射数据作为获取的所述同台互动的至少两个真实角色的互动数据。3.如权利要求2所述的方法，其特征在于，所述确定所述真实相机与所述机械臂之间的第一坐标转换关系，包括：获取所述真实相机与所述机械臂末端执行器之间的第三坐标转换关系，以及所述机械臂末端执行器与机械臂底座坐标系之间的第四坐标转换关系；基于所述第三坐标转换关系及所述第四坐标转换关系，确定所述真实相机与所述机械臂之间的第一坐标转换关系。4.如权利要求2所述的方法，其特征在于，当所述原始数据包括背景数据时，所述获取挂载在机械臂上的真实相机录制的所述同台互动的至少两个真实角色的原始数据，包括：当所述至少两个真实角色未同台互动时，控制所述机械臂以目标轨迹进行运动，并在所述机械臂运动过程中，控制挂载在所述机械臂上的真实相机录制不包括所述至少两个真实角色的第一背景数据；当所述至少两个真实角色同台互动时，控制所述机械臂以所述目标轨迹进行运动，并在所述机械臂运动过程中，控制所述真实相机录制包括同台互动的所述至少两个真实角色的原始互动数据，所述原始互动数据包括第二背景数据；将所述第一背景数据及所述原始互动数据，确定为所述同台互动的至少两个真实角色的原始数据。5.如权利要求4所述的方法，其特征在于，所述控制所述机械臂以所述目标轨迹进行运动，包括：响应于接收到的针对所述所述机械臂的运动指令，控制所述机械臂以所述目标轨迹进行运动；所述将所述第一背景数据及所述原始互动数据，确定为所述同台互动的至少两个真实角色的原始数据，包括：获取所述运动指令的接收时刻，以及将所述原始互动数据由所述真实相机传递至所述
虚拟相机所需的目标时长；在从所述接收时刻达到所述目标时长时，接收到针对所述第一背景数据的播放指令，并响应于所述播放指令，播放所述第一背景数据，以将播放的所述第一背景数据与录制的所述原始互动数据确定为所述同台互动的至少两个真实角色的原始数据。6.如权利要求4所述的方法，其特征在于，基于所述第一坐标转换关系及所述第二坐标转换关系，对所述原始数据进行映射处理，得到所述原始数据在所述虚拟相机中的映射数据，包括：基于所述第一坐标转换关系及所述第二坐标转换关系，对所述第一背景数据进行映射处理，得到所述第一背景数据在所述虚拟相机中的第一映射数据；基于所述第一坐标转换关系及所述第二坐标转换关系，对所述原始互动数据进行映射处理，得到所述原始互动数据在所述虚拟相机中的第二映射数据；将所述第一映射数据及所述第二映射数据作为所述原始数据在所述虚拟相机中的映射数据。7.如权利要求6所述的方法，其特征在于，所述基于所述互动数据及所述动捕数据进行画面渲染，得到所述虚拟角色与所述至少两个真实角色中除所述目标角色之外的其他角色进行同台互动的画面，包括：分别对所述第一映射数据及所述第二映射数据进行画面渲染，得到对应的第一渲染画面和第二渲染画面；基于所述机械臂的运动数据创建所述目标角色对应的空间遮罩，并对所述空间遮罩进行画面渲染，得到第三渲染画面；基于所述动捕数据，在所述目标角色关联的位置处创建所述目标角色对应的虚拟角色，并对所述虚拟角色进行画面渲染，得到包括所述虚拟角色的第四渲染画面...

【专利技术属性】
技术研发人员：李锐，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：