一种虚拟直播人物的腿部动作预测方法及设备技术

本发明专利技术公开了一种虚拟直播人物的腿部动作预测方法及设备，属于虚拟直播技术领域，用于解决现有的腿部动作预测方法所需的训练数据量大，模型训练速度慢，模型预测结果准确性较低的技术问题。方法包括：构建腿部动作预测网络模型；采集实验对象的腿部动作数据以及脚部压力数据，并汇集为模型训练集；通过模型训练集，训练腿部动作预测网络模型；对虚拟直播中缺失实际腿部动作的直播对象，生成第一画面帧对应的初始腿部动作数据，输入腿部动作预测网络模型中，得到第二画面帧对应的腿部动作预测数据以及脚部压力预测数据，生成第二画面帧的腿部预测动作，并显示在直播对象的虚拟形象上。本发明专利技术缩减了训练数据量，增加了腿部预测动作的真实性。动作的真实性。动作的真实性。

【技术实现步骤摘要】
一种虚拟直播人物的腿部动作预测方法及设备


[0001]本申请涉及虚拟直播
，尤其涉及一种虚拟直播人物的腿部动作预测方法及设备。

技术介绍

[0002]虚拟直播是通过“虚拟+现实”实现的新型直播方式，比起传统直播，虚拟直播搭建速度快，变化灵活，可快速切换不同空间和不同的虚拟形象。目前已经出现了大量的虚拟主播，深受年轻人欢迎。而在虚拟直播的实现过程中，姿态识别技术是重要的支撑技术，目前已经有很多半身虚拟人物以及全身虚拟人物生成技术，可以通过识别主播的姿态、动作，使虚拟人物形象作出同样的动作。
[0003]但是在全身虚拟人物的直播过程中，可能会出现主播的腿部出现在镜头视野之外的情况，比如主播距离镜头过近的情况。此时，由于无法获取腿部动作，虚拟形象的腿部就会无规律地乱动，非常影响直播效果。现有的解决方法是通过可见关键点的位置预测不可见关键点的动作姿态，但这些方法中使用的训练数据为关键点位置数据，训练所需的数据量庞大，模型训练速度慢。并且通过可见的少数几个关键点预测不可见的多个关键点，作为参考数据的关键点数量较少，并且未结合其他可体现腿部动作的因素，无法保、证预测结果的准确性。

技术实现思路

[0004]本申请实施例提供了一种虚拟直播人物的腿部动作预测方法及设备，用于解决如下技术问题：现有的腿部动作预测方法所需的训练数据量大，模型训练速度慢，模型预测结果准确性较低。
[0005]本申请实施例采用下述技术方案：
[0006]一方面，本申请实施例提供了一种虚拟直播人物的腿部动作预测方法，所述方法包括：构建腿部动作预测网络模型；其中，所述腿部动作预测网络模型由LSTM预测网络以及脚部压力分类器构成；采集实验对象的腿部动作数据以及脚部压力数据，并汇集为模型训练集；其中，所述腿部动作数据至少包括所述实验对象的身体位移以及各关键点的相对方向；通过所述模型训练集，训练所述腿部动作预测网络模型；对虚拟直播过程中缺失实际腿部动作的直播对象，生成第一画面帧对应的初始腿部动作数据；并将所述初始腿部动作数据输入所述腿部动作预测网络模型中，得到第二画面帧对应的腿部动作预测数据以及脚部压力预测数据；根据所述腿部动作预测数据以及所述脚部压力预测数据，生成第二画面帧的腿部预测动作，并显示在所述直播对象的虚拟形象上。
[0007]在一种可行的实施方式中，构建腿部动作预测网络模型，具体包括：搭建LSTM预测网络，并设置所述LSTM预测网络的网络参数；其中，所述网络参数至少包括时间步、Batch Size、输入数据长度、输出数据长度、隐藏层Size以及隐藏层层数；构建一个分类器结构，并设置所述分类器结构的分类器参数，得到所述脚部压力分类器；其中，所述分类器参数至少
包括时间步以及输出数据长度；将所述LSTM预测网络的一个输出端与所述脚部压力分类器的输入端连接，并将所述LSTM预测网络的另一个输出端作为所述腿部动作预测网络模型的第一输出端，将所述脚部压力分类器的输出端作为所述腿部动作预测网络模型的第二输出端。
[0008]在一种可行的实施方式中，采集实验对象的腿部动作数据以及脚部压力数据，并汇集为模型训练集，具体包括：确定所述实验对象身体上的若干个关键点，并在所述若干个关键点之间创建父子节点关系；在预设实验时间内，通过动作捕捉设备，持续采集所述实验对象运动过程中各个关键点的相对方向；其中，所述相对方向为当前关键点相对于父节点的旋转角度的四元数；在所述父子节点关系中，获取根节点对应的关键点的当前位置以及上一时刻位置，并将所述当前位置与上一时刻位置相减，得到所述实验对象每一时刻的身体位移；通过安装于所述实验对象双脚底部的压力传感器，采集所述实验对象双脚的脚部压力数据；将所述预设实验时间内采集的每一时刻各个关键点的相对方向、实验对象的身体位移以及脚部压力数据，汇集为所述模型训练集。
[0009]在一种可行的实施方式中，确定所述实验对象身体上的若干个关键点，并在所述若干个关键点之间创建父子节点关系，具体包括：将所述实验对象身体上的预设部位确定为所述关键点；其中，所述预设部位包括脊椎、盆骨、右臀、右膝、右脚踝、左臀、左膝以及左脚踝；将盆骨对应的关键点确定为根节点，并将脊椎关键点、左臀关键点及右臀关键点确定为所述根节点的子节点；根据腿部关节的上下位置关系，为剩余关键点创建父子节点关系。
[0010]在一种可行的实施方式中，通过所述模型训练集，训练所述腿部动作预测网络模型，具体包括：将所述模型训练集中每一帧的腿部动作数据作为所述腿部动作预测网络模型的输入，将对应的下一帧腿部动作数据作为所述LSTM预测网络的输出，以及，将对应的下一帧脚部压力数据作为所述脚部压力分类器的输出，对所述腿部动作预测网络模型进行训练；通过测试数据集，对训练后的所述腿部动作预测网络模型进行测试；通过第一损失函数，计算测试后得到的腿部动作预测数据与实际腿部动作数据之间的均方误差；通过第二损失函数，计算测试后得到的脚部压力预测数据与实际脚部压力数据之间的二元交叉熵；根据所述均方误差与所述二元交叉熵之和，更新所述腿部动作预测网络模型的权重参数，并重新训练所述腿部动作预测网络模型，直至模型收敛。
[0011]在一种可行的实施方式中，对虚拟直播过程中缺失实际腿部动作的直播对象，生成第一画面帧对应的初始腿部动作数据；并将所述初始腿部动作数据输入所述腿部动作预测网络模型中，得到第二画面帧对应的腿部动作预测数据以及脚部压力预测数据，具体包括：虚拟直播过程中，在检测到直播对象的腿部关键点被遮挡或不在镜头画面内时，将当前时刻的画面帧确定为第一画面帧，将所述第一画面帧的上一帧画面帧确定为第零画面帧；其中，所述第零画面帧中的所有关键点均可见；根据所述第一画面帧中可见关键点的位置坐标，为不可见关键点生成初始位置坐标；其中，所述可见关键点至少包括脊椎关键点以及盆骨关键点；根据所述第一画面帧中所有关键点的位置坐标，以及所述第零画面帧中所有关键点的已知位置坐标，确定出所述初始腿部动作数据；其中，所述初始腿部动作数据包括：当前帧各关键点的相对方向以及所述直播对象的身体位移；将所述初始腿部动作数据输入到所述腿部动作预测网络模型中，以使所述腿部动作预测网络模型中的LSTM预测网络输出第二画面帧对应的腿部动作预测数据，脚部压力分类器输出脚部压力预测数据。
[0012]在一种可行的实施方式中，根据所述腿部动作预测数据以及所述脚部压力预测数据，生成第二画面帧的腿部预测动作，并显示在所述直播对象的虚拟形象上，具体包括：将所述腿部动作预测数据中的各关键点按照各自的相对方向进行排布，并根据排布结果以及所述腿部动作预测数据中的身体位移，驱动所述直播对象的虚拟形象作出相同的腿部预测动作及身体位移；根据所述脚部压力预测数据，确定所述第二画面帧中直播对象的脚部实际位置，并根据所述脚部实际位置，对所述虚拟形象的腿部预测动作进行调整。
[0013]在一种可行的实施方式中，根据所述脚部压力预测数据，确定所述第二画面帧中直播对象的脚部实际位置，具体包括：若所述脚部压力预测数据中，至少有一条压力值本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟直播人物的腿部动作预测方法，其特征在于，所述方法包括：构建腿部动作预测网络模型；其中，所述腿部动作预测网络模型由LSTM预测网络以及脚部压力分类器构成；采集实验对象的腿部动作数据以及脚部压力数据，并汇集为模型训练集；其中，所述腿部动作数据至少包括所述实验对象的身体位移以及各关键点的相对方向；通过所述模型训练集，训练所述腿部动作预测网络模型；对虚拟直播过程中缺失实际腿部动作的直播对象，生成第一画面帧对应的初始腿部动作数据；并将所述初始腿部动作数据输入所述腿部动作预测网络模型中，得到第二画面帧对应的腿部动作预测数据以及脚部压力预测数据；根据所述腿部动作预测数据以及所述脚部压力预测数据，生成第二画面帧的腿部预测动作，并显示在所述直播对象的虚拟形象上。2.根据权利要求1所述的一种虚拟直播人物的腿部动作预测方法，其特征在于，构建腿部动作预测网络模型，具体包括：搭建LSTM预测网络，并设置所述LSTM预测网络的网络参数；其中，所述网络参数至少包括时间步、Batch Size、输入数据长度、输出数据长度、隐藏层Size以及隐藏层层数；构建一个分类器结构，并设置所述分类器结构的分类器参数，得到所述脚部压力分类器；其中，所述分类器参数至少包括时间步以及输出数据长度；将所述LSTM预测网络的一个输出端与所述脚部压力分类器的输入端连接，并将所述LSTM预测网络的另一个输出端作为所述腿部动作预测网络模型的第一输出端，将所述脚部压力分类器的输出端作为所述腿部动作预测网络模型的第二输出端。3.根据权利要求1所述的一种虚拟直播人物的腿部动作预测方法，其特征在于，采集实验对象的腿部动作数据以及脚部压力数据，并汇集为模型训练集，具体包括：确定所述实验对象身体上的若干个关键点，并在所述若干个关键点之间创建父子节点关系；在预设实验时间内，通过动作捕捉设备，持续采集所述实验对象运动过程中各个关键点的相对方向；其中，所述相对方向为当前关键点相对于父节点的旋转角度的四元数；在所述父子节点关系中，获取根节点对应的关键点的当前位置以及上一时刻位置，并将所述当前位置与上一时刻位置相减，得到所述实验对象每一时刻的身体位移；通过安装于所述实验对象双脚底部的压力传感器，采集所述实验对象双脚的脚部压力数据；将所述预设实验时间内采集的每一时刻各个关键点的相对方向、实验对象的身体位移以及脚部压力数据，汇集为所述模型训练集。4.根据权利要求3所述的一种虚拟直播人物的腿部动作预测方法，其特征在于，确定所述实验对象身体上的若干个关键点，并在所述若干个关键点之间创建父子节点关系，具体包括：将所述实验对象身体上的预设部位确定为所述关键点；其中，所述预设部位包括脊椎、盆骨、右臀、右膝、右脚踝、左臀、左膝以及左脚踝；将盆骨对应的关键点确定为根节点，并将脊椎关键点、左臀关键点及右臀关键点确定为所述根节点的子节点；
根据腿部关节的上下位置关系，为剩余关键点创建父子节点关系。5.根据权利要求1所述的一种虚拟直播人物的腿部动作预测方法，其特征在于，通过所述模型训练集，训练所述腿部动作预测网络模型，具体包括：将所述模型训练集中每一帧的腿部动作数据作为所述腿部动作预测网络模型的输入，将对应的下一帧腿部动作数据作为所述LSTM预测网络的输出，以及，将对应的下一帧脚部压力数据作为所述脚部压力分类器的输出，对所述腿部动作预测网络模型进行训练；通过测试数据集，对训练后的所述腿部动作预测网络模型进行测试；通过第一损失函数，计算测试后得到的腿部动作预测数据与实际腿部动作数据之间的均方误差；通过第二损失函数，计算测试后得到的脚部压力预测数据与实际脚部压力数据之间的二元交叉熵；根据所述均方...

【专利技术属性】
技术研发人员：梅嵩，
申请(专利权)人：北京云舶在线科技有限公司，
类型：发明
国别省市：