一种显示方法、装置、直播系统、设备及存储介质制造方法及图纸

本申请提供一种显示方法、装置、直播系统、设备及存储介质。显示方法包括：响应于特效生成指令，获取待处理的视频帧中的人体关键点数据；特效生成指令包括指定的特效物体以及特效物体待绑定的人体关节；人体关键点数据包括各个关键点在视频帧中的位置信息；根据人体关键点数据生成人体三维模型；以及，根据人体关键点数据中与待绑定的人体关节相关的目标关键点数据，确定特效物体的物体三维模型相对于人体三维模型的位姿；根据位置信息以及位姿，对人体三维模型和物体三维模型进行渲染，生成特效图像；将特效图像和视频帧进行叠加显示；位置信息用于使人体三维模型和视频帧中的人体在叠加后重合。本实施例实现特效物体跟随绑定关节运动的效果。关节运动的效果。关节运动的效果。

【技术实现步骤摘要】
一种显示方法、装置、直播系统、设备及存储介质


[0001]本申请涉及图像处理
，尤其涉及一种显示方法、装置、直播系统、设备及存储介质。

技术介绍

[0002]随着技术的发展，越来越多的用户通过终端设备拍摄相应的视频。为了进一步提高视频内容的趣味性，通常会为视频中的用户添加相应的特效。
[0003]相关技术中，为视频中的用户添加相应的特效，更多在于对用户脸部或者头部添加特效，比如将预先设定好的脸部贴图叠加到视频帧中的用户脸部。特效的添加方式较为局限，无法满足用户的多样性需求。

技术实现思路

[0004]有鉴于此，本申请提供一种显示方法、装置、直播系统、设备及存储介质。
[0005]具体地，本申请是通过如下技术方案实现的：
[0006]第一方面，本申请实施例提供了一种显示方法，包括：
[0007]响应于特效生成指令，获取待处理的视频帧中的人体关键点数据；所述特效生成指令包括指定的特效物体以及所述特效物体待绑定的人体关节；所述人体关键点数据包括人体各个关节对应的关键点在所述视频帧中的位置信息；...

【技术保护点】

【技术特征摘要】
1.一种显示方法，其特征在于，包括：响应于特效生成指令，获取待处理的视频帧中的人体关键点数据；所述特效生成指令包括指定的特效物体以及所述特效物体待绑定的人体关节；所述人体关键点数据包括人体各个关节对应的关键点在所述视频帧中的位置信息；根据所述人体关键点数据生成人体三维模型；以及，根据所述人体关键点数据中与所述待绑定的人体关节相关的目标关键点数据，确定所述特效物体的物体三维模型相对于所述人体三维模型的位姿；根据所述位置信息以及所述位姿，对所述人体三维模型和所述物体三维模型进行渲染，生成特效图像；将所述特效图像和所述视频帧进行叠加显示；其中，所述位置信息用于使所述人体三维模型和所述视频帧中的人体在叠加后重合。2.根据权利要求1所述的方法，其特征在于，所述根据所述人体关键点数据生成人体三维模型，包括：将所述人体关键点数据输入预先建立的参数预测模型中，获取所述参数预测模型对所述人体关键点数据进行处理后输出的形状参数和姿态参数；根据所述形状参数和所述姿态参数对预设的标准人体模型进行调整，获取所述人体三维模型。3.根据权利要求2所述的方法，其特征在于，所述显示方法应用于电子设备；所述标准人体模型包括的三维网格点的数量与所述电子设备的运行资源和/或所述特效图像的预设处理时长成正相关关系。4.根据权利要求3所述的方法，其特征在于，若所述电子设备的运行资源小于参考人体模型指示的参考运行资源、和/或所述特效图像的预设处理时长小于所述参考人体模型指示的参考处理时长，所述标准人体模型为合并所述参考人体模型中相邻的三维网格点得到。5.根据权利要求2所述的方法，其特征在于，所述参数预测模型还用于对所述人体关键点数据进行处理后输出相机外参；所述相机外参用于指示所述人体关键点数据对应的人体在视频帧中的相对显示位置；所述根据所述位置信息以及所述位姿，对所述人体三维模型和所述物体三维模型进行渲染，包括：根据所述相机外参以及所述位姿，对所述人体三维模型和所述物体三维模型进行渲染；所述相机外参用于使所述人体三维模型和所述人体关键点数据对应的人体在叠加后重合。6.根据权利要求5所述的方法，其特征在于，所述参数预测模型包括第一神经网络层、第二神经网络层、形状参数预测网络、姿态参数预测网络和相机参数预测网络；所述第一神经网络层用于从所述人体关键点数据中提取低维度特征；所述第二神经网络层用于从所述低维度特征中提取高维度特征；所述形状参数预测网络用于对所述高维度特征进行处理，获取所述形状参数；所述姿态参数预测网络用于对所述高维度特征进行处理，获取与人体各个关节相关的姿态参数；
所述相机参数预测网络...

【专利技术属性】
技术研发人员：钱立辉，韩欣彤，
申请(专利权)人：佛山虎牙虎信科技有限公司，
类型：发明
国别省市：