3D模型的驱动方法、装置、电子设备及可读存储介质制造方法及图纸

本申请提供了一种3D模型的驱动方法、装置、电子设备及计算机可读存储介质；所述方法包括：在开播时，主播端获取元宇宙直播间主播的开播3D坐标数据并上传到直播服务器，确定主播从预设的3D模型中选择直播3D模型后计算开播3D坐标数据转换为直播3D模型的骨骼点坐标的转换关系；直播过程中，将直播3D模型下发至观众端端本地，实时获取主播的直播3D坐标数据并映射为直播3D模型的骨骼点坐标；然后将骨骼点坐标下发至观众端，对直播3D模型的骨骼点坐标进行更新，最后通过播放器播放直播3D模型。该技术方案，实现了对3D模型的动作进行驱动控制，使得3D模型在元宇宙直播间中能够与主播的行为保持一致，提升了主播与观众用户之间的互动性。动性。动性。

【技术实现步骤摘要】
3D模型的驱动方法、装置、电子设备及可读存储介质


[0001]本申请涉及网络直播
，特别是涉及一种3D模型的驱动方法、装置、电子设备及计算机可读存储介质。

技术介绍

[0002]目前在直播领域中，往往使用虚拟人物形象进行视频直播，利用虚拟人物(如小人模型)代替主播真人与观众用户进行直播互动，在直播过程中，通过摄像头获取主播实时的行为动作及人脸数据，然后驱动小人模型执行相同的行为动作及呈现相应的脸部状态，从而实现直播互动效果。
[0003]常规技术方案在驱动小人模型运动时，通常是对人体动作和人脸数据进行2D识别，利用采集的识别数据去驱动小人模型呈现特定的行为动作及脸部表情；在这个过程中，首先客户端需要加载小人模型，然后直播服务器采集主播的识别数据传递给客户端，客户端根据识别数据驱动小人模型姿态坐标变化在2D平面上进行相应的动作。
[0004]随着元宇宙技术的发展，在直播领域也得到越来越多的应用，元宇宙直播间中，各种3D模型大量使用，可供主播和观众可以进行更加沉浸式的虚拟互动，由于用户对于虚拟模型展现需求也是越来越高，而基于常规技术方案的驱动方式，只能驱动2D平面上的小人模型，立体感和互动性不足，难以适应元宇宙直播间的需求。

技术实现思路

[0005]基于此，有必要针对上述技术问题之一，提供一种3D模型的驱动方法、装置、电子设备及计算机可读存储介质，提升3D模型的驱动的立体交互性，提高元宇宙直播间的3D播放效果。
[0006]第一方面，本申请提供了一种3D模型的驱动方法，所述方法包括：
[0007]获取主播端上传的元宇宙直播间主播的开播3D坐标数据；
[0008]确定主播从预设的3D模型中选择直播3D模型，并计算所述开播3D坐标数据转换为所述直播3D模型的骨骼点坐标的转换关系；
[0009]将所述直播3D模型下发至当前接入到元宇宙直播间的观众端本地；
[0010]在直播过程中，实时获取主播端上传的所述主播的直播3D坐标数据，并根据所述转换关系将所述直播3D坐标数据映射为所述直播3D模型的骨骼点坐标；
[0011]将所述骨骼点坐标下发至观众端，使得所述观众端对所述直播3D模型的骨骼点坐标进行更新，并通过播放器播放所述直播3D模型。
[0012]在一个实施例中，所述开播3D坐标数据包括主播的人脸数据及人体姿态数据；
[0013]所述获取主播端上传的元宇宙直播间主播的开播3D坐标数据，包括：
[0014]通过主播端配置的3D摄像头采集主播的视频图像以及对所述视频图像进行人脸识别和姿态估计输出3D坐标数据；
[0015]接收主播端上传的3D坐标数据作为开播3D坐标数据。
[0016]在一个实施例中，确定主播从预设的3D模型中选择直播3D模型，包括：
[0017]预先采集多种3D摄像头所输出的开播3D坐标数据，并分别针对于各种设备类型3D摄像头的开播3D坐标数据对3D模型设计相应的骨骼点位置；
[0018]将所述开播3D坐标数据与3D模型的骨骼点位置进行适配，确定当前主播端使用的3D摄像头的设备类型匹配的可选模型列表；
[0019]获取主播从所述可选模型列表上选择一个骨骼点位置相匹配的3D模型，作为主播的直播3D模型。
[0020]在一个实施例中，根据所述转换关系将所述直播3D坐标数据映射为所述直播3D模型的骨骼点坐标，包括：
[0021]根据所述转换关系将所述直播3D坐标数据与所述直播3D模型的骨骼点坐标的位置进行一一对应，将所述直播3D坐标数据使用对应的坐标用骨骼点坐标进行重命名，得到更新的骨骼点坐标。
[0022]在一个实施例中，将所述直播3D模型下发至当前接入到元宇宙直播间的观众端本地，包括：
[0023]获取进入到元宇宙直播间的观众端；
[0024]将所述直播3D模型的模型id和下载链接发送至所述观众端；
[0025]当所述观众端本地未存储有所述模型id对应的直播3D模型时，根据所述下载链接下载所述直播3D模型到观众端本地。
[0026]在一个实施例中，所述的3D模型的驱动方法，还包括：
[0027]将所述直播3D模型所添加的特效资源下发至观众端本地，并加载到所述播放器上；
[0028]当所述观众端上触发所述特效资源的播放权限时，调用所述播放器播放相应的特效资源的动画内容。
[0029]在一个实施例中，所述的3D模型的驱动方法，还包括：
[0030]将所述直播3D模型所添加的动作脚本下发至观众端本地，由所述观众端根据该动作脚本配置直播3D模型的脚本控制功能；
[0031]当所述观众端上输入控制操作时，根据所述动作脚本对播放所述直播3D模型的状态进行控制。
[0032]在一个实施例中，所述的3D模型的驱动方法，还包括：
[0033]将所述直播3D模型所添加的击事件脚本下发至观众端本地，由所述观众端根据该点击事件脚本配置直播3D模型响应点击事件并执行相应方法的功能；
[0034]当所述观众端上进行点击操作时，检测点击操作并响应点击事件，并执行该点击事件所对应的方法。
[0035]在一个实施例中，获取主播端上传的元宇宙直播间主播的开播3D坐标数据，包括：
[0036]获取主播端上传的主播的视频流数据；
[0037]调用人脸识别算法及人体估算算法从所述视频流数据中识别出各个视频帧人脸关键点及人物姿态的3D坐标数组，并记录当前帧数时间。
[0038]在一个实施例中，并通过播放器播放所述直播3D模型，包括：
[0039]根据所述当前帧数时间获取主播的上一帧直播界面数据进行展示，并根据所述直
播3D坐标数组在元宇宙直播间中播放所述直播3D模型。
[0040]在一个实施例中，所述的3D模型的驱动方法，还包括：
[0041]在直播过程中，获取主播端识别的主播的声音数据；
[0042]识别所述声音数据的振幅和音高，并将所述振幅和音高转换为控制3D模型的嘴唇动画的语音参数；
[0043]将所述声音数据及控制参数下发至观众端，使得所述观众端根据所述语音参数播放所述声音数据以及播放相匹配的嘴唇动画。
[0044]在播放所述3D模型时，播放所述声音数据以及在3D模型对应位置处播放所述嘴唇动画。
[0045]在一个实施例中，所述的3D模型的驱动方法，还包括：
[0046]按照音高大小将声音划分为多种音高类型，根据钢琴音高力度对音高类型进行划分力度，并设定每一度对应的频率范围；
[0047]获取主播声音数据的频率并根据所述频率范围进行音高编码得到语音参数，并针对所述语音参数配置所述3D模型相应的嘴唇动画。
[0048]第二方面，本申请提供了一种3D模型的驱动装置，包括：
[0049]开播模块，用于获取主播端上传的元宇宙直播间主播的开播3D坐标数据；其中，所述开播3D坐标数据包括主播的人脸数据及本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种3D模型的驱动方法，其特征在于，包括：获取主播端上传的元宇宙直播间主播的开播3D坐标数据；确定主播从预设的3D模型中选择直播3D模型，并计算所述开播3D坐标数据转换为所述直播3D模型的骨骼点坐标的转换关系；将所述直播3D模型下发至当前接入到元宇宙直播间的观众端本地；在直播过程中，实时获取主播端上传的所述主播的直播3D坐标数据，并根据所述转换关系将所述直播3D坐标数据映射为所述直播3D模型的骨骼点坐标；将所述骨骼点坐标下发至观众端，使得所述观众端对所述直播3D模型的骨骼点坐标进行更新，并通过播放器播放所述直播3D模型。2.根据权利要求1所述的3D模型的驱动方法，其特征在于，所述开播3D坐标数据包括主播的人脸数据及人体姿态数据；所述获取主播端上传的元宇宙直播间主播的开播3D坐标数据，包括：通过主播端配置的3D摄像头采集主播的视频图像以及对所述视频图像进行人脸识别和姿态估计输出3D坐标数据；接收主播端上传的3D坐标数据作为开播3D坐标数据。3.根据权利要求2所述的3D模型的驱动方法，其特征在于，确定主播从预设的3D模型中选择直播3D模型，包括：预先采集多种3D摄像头所输出的开播3D坐标数据，并分别针对于各种设备类型3D摄像头的开播3D坐标数据对3D模型设计相应的骨骼点位置；将所述开播3D坐标数据与3D模型的骨骼点位置进行适配，确定当前主播端使用的3D摄像头的设备类型匹配的可选模型列表；获取主播从所述可选模型列表上选择一个骨骼点位置相匹配的3D模型，作为主播的直播3D模型。4.根据权利要求1所述的3D模型的驱动方法，其特征在于，根据所述转换关系将所述直播3D坐标数据映射为所述直播3D模型的骨骼点坐标，包括：根据所述转换关系将所述直播3D坐标数据与所述直播3D模型的骨骼点坐标的位置进行一一对应，将所述直播3D坐标数据使用对应的坐标用骨骼点坐标进行重命名，得到更新的骨骼点坐标。5.根据权利要求1所述的3D模型的驱动方法，其特征在于，将所述直播3D模型下发至当前接入到元宇宙直播间的观众端本地，包括：获取进入到元宇宙直播间的观众端；将所述直播3D模型的模型id和下载链接发送至所述观众端；当所述观众端本地未存储有所述模型id对应的直播3D模型时，根据所述下载链接下载所述直播3D模型到观众端本地。6.根据权利要求1所述的3D模型的驱动方法，其特征在于，还包括：将所述直播3D模型所添加的特效资源下发至观众端本地，并加载到所述播放器上；当所述观众端上触发所述特效资源的播放权限时，调用所述播放器播放相应的特效资源的动画内容。7.根据权利要求6所述的3D模型的驱动方法，其特征在于，还包括：
将所述直播3D模型所添加的动作脚本下发至观众端本地，由所述观众端根据该动作脚本配置直播3D模型的脚本控制功能；当所述观众端上输入控制操作时，根据所述动作脚本对播放所述直播3D模型的状态进行控制。8.根据权利要...

【专利技术属性】
技术研发人员：许英俊，
申请(专利权)人：广州方硅信息技术有限公司，
类型：发明
国别省市：