一种基于单目RGB输入的移动端实时3D人体动作捕捉方法及系统、电子设备、存储介质技术方案

本发明专利技术公开了一种基于单目RGB输入的移动端实时3D人体动作捕捉方法及系统、电子设备、存储介质，属于虚拟技术领域，包括获取用户在初始状态下所有点位的初始位置，确定每个点位的序号、名称以及相邻点位的距离，并保存初始姿态模型；获取RGB图像信息，并捕捉RGB图像中所有点位的目标位置；根据IK算法、点位的初始位置以及图像中所有点位的目标位置，计算初始姿态模型做出与RGB图像信息一样的动作时，初始状态下每个相邻点位的旋转角度，并驱动初始姿态模型做出与RGB图像信息一样的动作。本发明专利技术实现了一种基于RGB输入的移动端实时的3D人体动作捕捉和可视化应用。体动作捕捉和可视化应用。体动作捕捉和可视化应用。

【技术实现步骤摘要】
一种基于单目RGB输入的移动端实时3D人体动作捕捉方法及系统、电子设备、存储介质


[0001]本专利技术属于虚拟
，特别涉及一种基于单目RGB输入的移动端实时3D人体动作捕捉方法及系统、电子设备、存储介质。

技术介绍

[0002]人体动作捕捉技术是一种能够检测人体在三维空间中的姿态和运动的轨迹，并在虚拟三维环境中重现人体运动的技术。当前业界比较常用的动作捕捉技术主要是光学式的和惯性式，其中光学式动作捕捉技术精确度很高可以达到亚毫米级，但是成本非常高，通常用于自动化控制、影视动画等领域，而成本稍低一些的惯性式动作捕捉技术则精度不如光学动补，且存在误差累计和传感器磁化的问题，通常使用在一些对精度要求不那么高的领域。虽然惯性式动作捕捉设备的成本已经不是很高了，但是还是难以普及到一般的用户群体中，主要由于：1)其需要穿戴配套设备才能使用，且限制了使用场景2)成本相对于手机这种已经非常普及的设备而言还是过高。

技术实现思路

[0003]针对上述的问题，本专利技术提供一种基于单目RGB输入的移动端实时3D人体动作捕捉方法及系统、电子设备、存储介质，其方法包括：
[0004]获取用户在初始状态下所有点位的初始位置，确定每个所述点位的序号、名称以及相邻所述点位的距离，并保存初始姿态模型；
[0005]获取RGB图像信息，并捕捉所述RGB图像中所有点位的目标位置；
[0006]根据IK算法、所述点位的初始位置以及所述RGB图像中所有点位的目标位置，计算所述初始姿态模型做出与所述RGB图像信息一样的动作时，初始状态下每个相邻所述点位的旋转角度，并驱动所述初始姿态模型做出与所述RGB图像信息一样的动作。
[0007]优选的是，所述点位包括手指点位和身体点位。
[0008]优选的是，所述手指点位的获取步骤包括：
[0009]对手部区域的RGB图像采用MobileNetV2神经网络检测手指2D关键点，获得所述手指的2D点位；
[0010]对所述位手指的2D点位采用全连接神经网络，回归获得所述手指的3D点位。
[0011]优选的是，所述身体点位的获取步骤包括：
[0012]数据采集；
[0013]构建身体点位的backbone网络模型；
[0014]根据所述数据，对所述身体点位的backbone网络模型进行训练；
[0015]对训练好的所述身体点位的网络模型输入身体区域的RGB图像，获得所述RGB图像的身体点位。
[0016]优选的是，所述数据采集包括身体的3D数据集和2D数据集；
[0017]所述3D数据集包括：
[0018]搜集3D人物模型，构建人物3D模型数据集；
[0019]搜集人物动画数据，构建基础动作数据集；
[0020]使用渲染软件，将所述基础动作数据集渲染到所述人物3D模型数据集，获得所述3D数据集；
[0021]所述2D数据集包括采集人像视频，并从所述人像视频中选取服饰、场景和动作丰富的图像。
[0022]优选的是，对所述身体点位的backbone网络模型进行训练包括：
[0023]使用backbone网络模型中的loss函数对所述2D数据集进行训练，获取所述backbone网络模型的所有权重参数；
[0024]固定所述所有权重参数，使用loss函数分别对所述2D数据集和所述3D数据集进行训练，直至收敛；
[0025][0026]解开所述权重参数中的weights，使用loss函数E
all
以及交叉监督函数E
cross
进行训练，直至收敛；
[0027][0028]其中，为网络2D输出的第n张点位热度图heatmap，为2D数据集中的真实标注的点位热度图，为网络2D输出的第n张肢体热度图，为2D数据集中真实标注的肢体热度图；为网络3D分支输出的第n张点位热度图，为3D数据集中的真实标注点位热度图，为网络3D分支输出的第n张肢体热度图，为3D数据集中真实标注的肢体热度图；H
3d^2d
为3D数据集中和2D数据集的共有点位；H
2d^3d
表示2D数据集中和3D数据集的共有点位。
[0029]优选的是，根据IK算法、所述点位的初始位置以及所述RGB图像中所有点位的目标位置，计算所述初始姿态模型做出与所述RGB图像信息一样的动作时，初始状态下每个相邻所述点位的旋转角度包括：
[0030]根据所述点位的初始位置以及所述RGB图像中所有点位的目标位置，获得所有活动关节；
[0031]根据IK算法，计算每个所述活动关节中骨骼的旋转角度，其算法包括：
[0032]将一个所述活动关节中外侧顶端的所述点位放置对应的目标位置；
[0033]将所述活动关节中其余所述点位按照公式移动到对应位置；
[0034][0035]将所述活动关节中内侧顶端的所述点位放置到所述点位的初始位置；
[0036]将所述活动关节中其余所述点位按照公式移动到对应位置；
[0037][0038]式中，b
x
为所述活动关节中任意点位的当前位置；b
x
‑1为与所述b
x
相邻点位的当前位置；B
x
为所述活动关节中任意点位对应的所述目标位置；B
x
‑1为与所述B
x
相邻点位对应的所述目标位置；x为自然数；
[0039]判断每个所述点位的当前位置到所述目标位置的距离是否小于阈值；
[0040]若小于，则每个所述活动关节中骨骼的旋转角度；若大于，则循环迭代上述步骤直至每个所述点位的当前位置到所述目标位置的距离小于所述阈值。
[0041]本专利技术实施例提供一种基于单目RGB输入的移动端实时3D人体动作捕捉的系统，包括：
[0042]初始姿态模型模块，用于获取用户在初始状态下所有点位的初始位置，确定每个所述点位的序号、名称以及相邻所述点位的距离，并保存初始姿态模型；
[0043]捕捉模块，用于获取RGB图像信息，并捕捉所述RGB图像中所有点位的目标位置；
[0044]驱动模块，用于根据IK算法、所述点位的初始位置以及所述RGB图像中所有点位的目标位置，计算所述初始姿态模型做出与所述RGB图像信息一样的动作时，初始状态下每个相邻所述点位的旋转角度，并驱动所述初始姿态模型做出与所述RGB图像信息一样的动作。
[0045]本专利技术实施例提供的一种电子设备，包括至少一个处理单元以及至少一个存储单元，其中，所述存储单元存储有程序，当所述程序被所述处理单元执行时，使得所述处理单元执行上述所述的方法。
[0046]本专利技术实施例提供的一种计算机可读存储介质，其存储有可由电子设备执行的计算机程序，当所述程序在所述电子设备上运行时，使得所述电子设备执行上述所述的方法。
[0047]与现有技术相比，本专利技术的有益效果为：
[0048]本专利技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于单目RGB输入的移动端实时3D人体动作捕捉方法，其特征在于，包括：获取用户在初始状态下所有点位的初始位置，确定每个所述点位的序号、名称以及相邻所述点位的距离，并保存初始姿态模型；获取RGB图像信息，并捕捉所述RGB图像中所有点位的目标位置；根据IK算法、所述点位的初始位置以及所述RGB图像中所有点位的目标位置，计算所述初始姿态模型做出与所述RGB图像信息一样的动作时，初始状态下每个相邻所述点位的旋转角度，并驱动所述初始姿态模型做出与所述RGB图像信息一样的动作。2.如权利要求1所述的基于单目RGB输入的移动端实时3D人体动作捕捉方法，其特征在于，所述点位包括手指点位和身体点位。3.如权利要求2所述的基于单目RGB输入的移动端实时3D人体动作捕捉方法，其特征在于，所述手指点位的获取步骤包括：对手部区域的RGB图像采用MobileNetV2神经网络检测手指2D关键点，获得所述手指的2D点位；对所述位手指的2D点位采用全连接神经网络，回归获得所述手指的3D点位。4.如权利要求2所述的基于单目RGB输入的移动端实时3D人体动作捕捉方法，其特征在于，所述身体点位的获取步骤包括：数据采集；构建身体点位的backbone网络模型；根据所述数据，对所述身体点位的backbone网络模型进行训练；对训练好的所述身体点位的网络模型输入身体区域的RGB图像，获得所述RGB图像的身体点位。5.如权利要求4所述的基于单目RGB输入的移动端实时3D人体动作捕捉方法，其特征在于，所述数据采集包括身体的3D数据集和2D数据集；所述3D数据集包括：搜集3D人物模型，构建人物3D模型数据集；搜集人物动画数据，构建基础动作数据集；使用渲染软件，将所述基础动作数据集渲染到所述人物3D模型数据集，获得所述3D数据集；所述2D数据集包括采集人像视频，并从所述人像视频中选取服饰、场景和动作丰富的图像。6.如权利要求4所述的基于单目RGB输入的移动端实时3D人体动作捕捉方法，其特征在于，对所述身体点位的backbone网络模型进行训练包括：使用backbone网络模型中的loss函数对所述2D数据集进行训练，获取所述backbone网络模型的所有权重参数；固定所述所有权重参数，使用loss函数分别对所述2D数据集和所述3D数据集进行训练，直至收敛；
解开所述权重参数中的weights，使用loss函数E
all
以及交叉监督函数E
cross
进行训练，直至收敛；其中，为网络2D输出的第n张点位热度图heatmap，为2D数据集中的真实标注的点位热度图，为网络2D输出的第n张肢体热度图，为2D数据集中真实标注的肢体热度图；为网络3D分支输出的第n张点位热度图，为3D数据集中的真实...

【专利技术属性】
技术研发人员：杨凯航，李冬平，米楠，
申请(专利权)人：杭州相芯科技有限公司，
类型：发明
国别省市：