虚拟人物模型控制方法、装置及电子设备制造方法及图纸

本申请实施例提供的虚拟人物模型控制方法、装置及电子设备，通过针对不同肢体部分提取不同的第一关键点数据集，并使用不同的第一预测模型进行处理以获得与不同肢体部分对应的第一关键点三维位姿数据，然后综合各组第一关键点三维位姿数据一起控制同一虚拟人物模型执行相应的动作。如此，在预测模型的训练样本较少的情况下也可以实现不同肢体对应的第一关键点三维位姿数据之间的解耦合，从而在使用各组第一关键点三维位姿数据一起控制同一虚拟人物模型时避免虚拟人物模型出现错误的肢体联动。肢体联动。肢体联动。

【技术实现步骤摘要】
虚拟人物模型控制方法、装置及电子设备


[0001]本申请涉及图像处理
，具体而言，涉及一种虚拟人物模型控制方法、装置及电子设备。

技术介绍

[0002]在一些图像处理场景中，可以对人物的二维视频图像进行关键点识别和预测，从而获得人物的肢体关键点的三维位姿数据(如空间位置坐标和姿态角)进行建模或模型控制。例如，在一些直播场景中，可以对从主播终端获取到的二维直播视频图像进行人体肢体关键点位置识别，然后根据肢体关键点在二维图像中的坐标位置数据进行三维位姿数据预测，获得肢体关键点的三维位姿数据，最后根据三维位姿数据驱动对应的虚拟人物模型模仿主播的动作。其中，根据关键点二维坐标数据预测获得三维位姿数据的动作通常是由机器学习模型执行的，但是由于机器学习模型的训练样本数量或者训练样本数据多样性的限制，可能导致在预测结果中相对独立的肢体对应的三维位姿数据耦合性过高，使得后续建模或模型控制过程产生错误的肢体联动，影响建模或模型控制效果。

技术实现思路

[0003]为了克服现有技术中的上述不足，本申请的目的在于提供一种虚拟人物模型控制方法，所述方法包括：
[0004]从二维图像中获取目标人物的关键点二维坐标数据；
[0005]针对人体四肢中的至少两个肢体部分，分别从所述关键点二维坐标数据中提取对应的至少两组第一关键点数据集；
[0006]将所述至少两组第一关键点数据集分别输入至少两个不同的第一预测模型进行处理，获得分别与所述至少两个肢体部分对应的第一关键点三维位姿数据；
[0007]根据获得的各组所述第一关键点三维位姿数据控制同一虚拟人物模型执行相应的动作。
[0008]在一种可能的实现方式中，所述针对人体四肢中的至少两个肢体部分，分别从所述关键点二维坐标数据中提取对应的至少两组第一关键点数据集的步骤，包括：
[0009]针对所述至少两个肢体部分的每个肢体部分，从所述关键点二维坐标数据中提取包括与该肢体部分对应的关键点二维坐标数据及与躯干部分对应的关键点二维坐标数据作为该肢体部分的第一关键点数据集。
[0010]在一种可能的实现方式中，所述第一关键点三维位姿数据包括对应的肢体部分中预设关节点的空间位置数据及姿态角度数据。
[0011]在一种可能的实现方式中，所述方法还包括：
[0012]将目标人物的关键点二维坐标数据整体作为第二关键点数据集；
[0013]将所述第二关键点数据集输入第二预测模型进行处理，获得整体三维位姿数据，其中，所述整体三维位姿数据包括与所述至少两个肢体部分对应的第三关键点三维位姿数
据及与躯干部分对应的第二关键点三维位姿数据；
[0014]所述根据获得的各组所述第一关键点三维位姿数据控制同一虚拟人物模型执行相应的动作的步骤，包括：
[0015]使用所述第一关键点三维位姿数据替换所述整体三维位姿数据中的第三关键点三维位姿数据，并使用替换处理后的整体三维位姿数据控制所述虚拟人物模型执行相应的动作。
[0016]在一种可能的实现方式中，所述至少两个肢体部分包括左臂和右臂，所述至少两个不同的第一预测模型包括左臂预测模型和右臂预测模型；
[0017]所述左臂预测模型包括依次连接的左臂第一全连接网络、左臂第二全连接网络和左臂第三全连接网络；所述左臂第一全连接网络的输入为44维的左臂的所述第一关键点数据集，所述左臂第一全连接网络的输出为512维的数据；所述左臂第二全连接网络的输入为所述左臂第一全连接网络输出的512维的数据，所述左臂第二全连接网络的输出为512维的数据；所述左臂第三全连接网络的输入为所述左臂第二全连接网络输出的512维的数据，所述左臂第三全连接网络的输出为12维的左臂的所述第一关键点三维位姿数据；
[0018]所述右臂预测模型包括依次连接的右臂第一全连接网络、右臂第二全连接网络和右臂第三全连接网络；所述右臂第一全连接网络的输入为44维的右臂的所述第一关键点数据集，所述右臂第一全连接网络的输出为512维的数据；所述右臂第二全连接网络的输入为所述右臂第一全连接网络输出的512维的数据，所述右臂第二全连接网络的输出为512维的数据；所述右臂第三全连接网络的输入为所述右臂第二全连接网络输出的512维的数据，所述右臂第三全连接网络的输出为12维的右臂的所述第一关键点三维位姿数据；
[0019]所述第二预测模型包括依次连接的躯干第一全连接网络、躯干第二全连接网络和躯干第三全连接网络；所述躯干第一全连接网络的输入为48维的所述第二关键点三维位姿数据，所述躯干第一全连接网络的输出为512维的数据；所述躯干第二全连接网络的输入为所述躯干第一全连接网络输出的512维的数据，所述躯干第二全连接网络的输出为512维的数据；所述躯干第三全连接网络的输入为所述躯干第二全连接网络输出的512维的数据，所述躯干第三全连接网络的输出为144维的所述整体三维位姿数据。
[0020]在一种可能的实现方式中，所述方法还包括：
[0021]从所述关键点二维坐标数据中提取包括躯干部分关键点的第二关键点数据集；
[0022]将所述第二关键点数据集输入第二预测模型进行处理，获得第二关键点三维位姿数据；
[0023]所述根据获得的各组所述第一关键点三维位姿数据控制同一虚拟人物模型执行相应的动作的步骤，包括：
[0024]使用所述第一关键点三维位姿数据和所述第二关键点三维位姿数据控制同一虚拟人物模型执行相应的动作。
[0025]在一种可能的实现方式中，所述从二维图像中获取目标人物的关键点二维坐标数据的步骤，包括：
[0026]从主播用户的第一直播视频图像中获取主播用户的关键点二维坐标数据；所述第一直播视频图像为所述二维图像；
[0027]所述根据获得的各组所述第一关键点三维位姿数据控制同一虚拟人物模型执行
相应的动作的步骤，包括：
[0028]根据获得的各组所述第一关键点三维位姿数据，控制与所述主播用户对应的虚拟人物模型执行相应的动作，使所述虚拟人物模型执行与所述主播用户相似的动作。
[0029]本申请的另一目的在于提供一种虚拟人物模型控制装置，所述装置包括：
[0030]获取模块，用于从二维图像中获取目标人物的关键点二维坐标数据；
[0031]提取模块，用于针对人体四肢中的至少两个肢体部分，分别从所述关键点二维坐标数据中提取对应的至少两组第一关键点数据集；
[0032]预测模块，用于将所述至少两组第一关键点数据集分别输入至少两个不同的第一预测模型进行处理，获得分别与所述至少两个肢体部分对应的第一关键点三维位姿数据；
[0033]模型控制模块，用于根据获得的各组所述第一关键点三维位姿数据控制同一虚拟人物模型执行相应的动作。
[0034]本申请的另一目的在于提供一种电子设备，包括处理器及机器可读存储介质，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被所述处理器执行时，实现本申请提供的虚拟人物模型控制方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟人物模型控制方法，其特征在于，所述方法包括：从二维图像中获取目标人物的关键点二维坐标数据；针对人体四肢中的至少两个肢体部分，分别从所述关键点二维坐标数据中提取对应的至少两组第一关键点数据集；将所述至少两组第一关键点数据集分别输入至少两个不同的第一预测模型进行处理，获得分别与所述至少两个肢体部分对应的第一关键点三维位姿数据；根据获得的各组所述第一关键点三维位姿数据控制同一虚拟人物模型执行相应的动作。2.根据权利要求1所述的方法，其特征在于，所述针对人体四肢中的至少两个肢体部分，分别从所述关键点二维坐标数据中提取对应的至少两组第一关键点数据集的步骤，包括：针对所述至少两个肢体部分的每个肢体部分，从所述关键点二维坐标数据中提取包括与该肢体部分对应的关键点二维坐标数据及与躯干部分对应的关键点二维坐标数据作为该肢体部分的第一关键点数据集。3.根据权利要求2所述的方法，其特征在于，所述第一关键点三维位姿数据包括对应的肢体部分中预设关节点的空间位置数据及姿态角度数据。4.根据权利要求2所述的方法，其特征在于，所述方法还包括：将目标人物的关键点二维坐标数据整体作为第二关键点数据集；将所述第二关键点数据集输入第二预测模型进行处理，获得整体三维位姿数据；其中，所述整体三维位姿数据包括与所述至少两个肢体部分对应的第三关键点三维位姿数据及与躯干部分对应的第二关键点三维位姿数据；所述根据获得的各组所述第一关键点三维位姿数据控制同一虚拟人物模型执行相应的动作的步骤，包括：使用所述第一关键点三维位姿数据替换所述整体三维位姿数据中的第三关键点三维位姿数据，并使用替换处理后的整体三维位姿数据控制所述虚拟人物模型执行相应的动作。5.根据权利要求4所述的方法，其特征在于，所述至少两个肢体部分包括左臂和右臂，所述至少两个不同的第一预测模型包括左臂预测模型和右臂预测模型；所述左臂预测模型包括依次连接的左臂第一全连接网络、左臂第二全连接网络和左臂第三全连接网络；所述左臂第一全连接网络的输入为44维的左臂的所述第一关键点数据集，所述左臂第一全连接网络的输出为512维的数据；所述左臂第二全连接网络的输入为所述左臂第一全连接网络输出的512维的数据，所述左臂第二全连接网络的输出为512维的数据；所述左臂第三全连接网络的输入为所述左臂第二全连接网络输出的512维的数据，所述左臂第三全连接网络的输出为12维的左臂的所述第一关键点三维位姿数据；所述右臂预测模型包括依次连接的右臂第一全连接网络、右臂第二全连接网络和右臂第三全连接网络；所述右臂第一全连接网络的输入为44维的右臂的所述第一关键点数据集，所述右臂第一全连接网络的输出为512维的数据；所述右臂第二全连接网络的输入为所述右臂第一全连接网络输出的512维的数据，所述右臂第二全连接网络的输出为5...

【专利技术属性】
技术研发人员：钱立辉，韩欣彤，
申请(专利权)人：广州虎牙科技有限公司，
类型：发明
国别省市：