人体运动重定向方法与系统技术方案

本发明专利技术提供一种人体运动重定向系统

【技术实现步骤摘要】
人体运动重定向方法与系统


[0001]本专利技术属于计算机
，具体涉及计算机图形学以及人工智能，特别涉及基于骨架的三维人体运动处理和三维人体运动重定向方法与系统
。

技术介绍

[0002]三维人体运动重定向旨在将源运动重定向至目标骨架
S
tgt
上，生成运动现有的三维人体运动重定向主要分为两类，一种属于非数据驱动的方法，而另一类为数据驱动的方法
。
传统非数据驱动的人体运动重定向将该问题视为时空优化问题，公式如下：
[0003]ming(x) s.t.f(x)
＝
c
[0004]其中
x
表示人体运动参数
(
一般为局部关节点旋转和根关节点位置
)。
通过给定如脚步接触
、
末端关节点约束下迫使目标满足用户的空间约束，同时通过优化使得运动足够的平滑
、
自然
。
当源
‑
目标骨架之间结构差异过大时，传统方法则需要依赖于运动插值方法，即首先选择关键帧，并构建关键帧之间的静态映射，然后利用插值方法补全中间的运动实现骨架结构差异大时的重定向
。
[0005]随着深度学习的发展，数据驱动的重定向方法蓬勃而出，有许多技术利用神经网络实现运动重定向，包括基于
RNN(
循环神经网络
)
的方法，基于一维图卷积的方法，以及基于全连接网络的方法
。
基于全连接网络和r/>RNN
的方法仅考虑到运动的时序建模方面，而没有涉及骨架的空间结构，将重定向局限于同结构的骨架之间，即只能处理同关节点个数
、
不同骨长比例的运动重定向
。
基于一维图卷积的方法将人体骨架视为一个连接图，通过关节点的物理连接关系来建模运动的空间特征
。
然而，人体运动的空间属性复杂，即使没有物理连接的关节点之间依然会存在关联，比如走路时人左右手的摆动等
。
[0006]据如上描述，传统的运动重定向方法以及基于神经网络的方法均存在着局限性
。
传统方法需要根据源
‑
目标骨架的实际情况手工设计约束特征，导致整个过程是半自动的，而且由于设定的特征一般仅约束局部关节点，这使得全身运动的自然性以及重定向的正确性难以保证
。
基于神经网络的方法通过学习的方法来对齐不同骨架结构的运动空间，从而能够实现全自动的运动重定向，但目前的深度学习方法大多仅考虑运动的时间建模，在空间上少有涉猎
。
因此，现有的方法对源
‑
目标骨架结构
、
关节点个数有较强的约束，存在空间对应不灵活的问题
。
同时，缺乏精细的空间建模也导致了目前基于深度学习方法在重定向精度方面存在缺陷
。

技术实现思路

[0007]因此，本专利技术的目的在于克服上述现有技术的缺陷，提供一种人体运动重定向方法与系统
。
[0008]根据本专利技术的第一方面，提供一种人体运动重定向系统，用于将源骨架表演的运
动重定向至目标骨架，所述系统包括：
[0009]源骨架运动编码器，根据输入的源骨架表演的运动数据生成源运动编码；
[0010]目标骨架编码器，根据输入的目标骨架数据生成目标骨架编码；
[0011]目标骨架运动解码器，根据输入的目标骨架编码和源运动编码合成的融合编码生成重定向运动；
[0012]目标骨架运动编码器，根据输入的重定向运动数据生成目标运动编码；
[0013]源骨架编码器，根据输入的源骨架数据生成源骨架编码；
[0014]源骨架运动解码器，根据输入的源骨架编码和目标运动编码合成的融合编码生成循环重定向运动，根据输入的源骨架编码和源运动编码合成的融合编码生成重建运动；
[0015]目标骨架运动判别器，对输入的目标骨架表演的运动数据进行判别，以及
[0016]损失计算模块，根据损失函数计算损失值以更新所述系统参数
。
[0017]根据本专利技术的一个实施例，所述源骨架运动编码器，所述源骨架编码器和所述源骨架运动解码器是基于源骨架的隶属矩阵维度数据搭建的神经网络模块，目标骨架编码器，目标骨架运动解码器，目标骨架运动编码器，目标骨架运动判别器是基于目标骨架的隶属矩阵维度数据搭建的神经网络模块，其中，所述源骨架隶属矩阵和目标骨架隶属矩阵通过如下方法构建：将全身划分为左
/
右手臂
、
左
/
右腿
、
躯干和头部六个部位，根关节点的速度被定义为特殊的关节点，再把源骨架和目标骨架的每个关节点划分到对应的身体部位中，并选择一个固定且相同的身体部位顺序定义所述隶属矩阵的行，关节点定义所述隶属矩阵的列
。
[0018]根据本专利技术的一个实施例，所述隶属矩阵的定义如下：
[0019]P
＝
(p
i,j
)∈R
N
×
(J+1)
，
[0020]其中
N
为划分的身体部位数量；
J
为关节点数；根关节点的速度定义第
J+1
列；若关节点
j
隶属于身体部位
i
，则
p
i,j
＝1，否则
p
i,j
＝0，
p
i,J+1
＝
1。
[0021]根据本专利技术的一个实施例，所述源骨架编码器和所述目标骨架编码器由全连接网络构成，编码公式如下：
[0022]w(S
k
)
＝
Relu(Relu(S
k
W
k0
+b
k0
)W
k1
+b
k1
)W
k2
+b
k2
[0023]其中
S
k
∈R
Lk
×3，
k∈N
为第
k
个身体部位的骨架数据；
Relu
表示激活函数；
W
k0
和
b
k0
，
W
k1
和
b
k1
，
W
k2
和
b
k2
分别表示全连接网络中第一层，第二层，第三层的权重矩阵和偏置量
。
[0024]根据本专利技术的一个实施例，所述源骨架运动编码器和所述目标骨架运动编码器由姿态注意力网络和两层一维卷积层构成，所述姿态注意力网络由两层
Transformer
模型组成
。
[0025]根据本专利技术的一个实施例，所述
Transf本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种人体运动重定向系统，用于将源骨架表演的运动重定向至目标骨架，所述系统包括：源骨架运动编码器，根据输入的源骨架表演的运动数据生成源运动编码；目标骨架编码器，根据输入的目标骨架数据生成目标骨架编码；目标骨架运动解码器，根据输入的目标骨架编码和源运动编码合成的融合编码生成重定向运动；目标骨架运动编码器，根据输入的重定向运动数据生成目标运动编码；源骨架编码器，根据输入的源骨架数据生成源骨架编码；源骨架运动解码器，根据输入的源骨架编码和目标运动编码合成的融合编码生成循环重定向运动，根据输入的源骨架编码和源运动编码合成的融合编码生成重建运动；目标骨架运动判别器，对输入的目标骨架表演的运动数据进行判别，以及损失计算模块，根据损失函数计算损失值以更新所述系统参数
。2.
根据权利要求1所述的人体运动重定向系统，其特征在于，所述源骨架运动编码器，所述源骨架编码器和所述源骨架运动解码器是基于源骨架的隶属矩阵维度数据搭建的神经网络模块，目标骨架编码器，目标骨架运动解码器，目标骨架运动编码器，目标骨架运动判别器是基于目标骨架的隶属矩阵维度数据搭建的神经网络模块，其中，所述源骨架隶属矩阵和目标骨架隶属矩阵通过如下方法构建：将全身划分为左
/
右手臂
、
左
/
右腿
、
躯干和头部六个部位，根关节点的速度被定义为特殊的关节点，再把源骨架和目标骨架的每个关节点划分到对应的身体部位中，并选择一个固定且相同的身体部位顺序定义所述隶属矩阵的行，关节点定义所述隶属矩阵的列
。3.
根据权利要求2所述的人体运动重定向系统，其特征在于，所述隶属矩阵的定义如下：
P
＝
(p
i,j
)∈R
N
×
(J+1)
，其中
N
为划分的身体部位数量；
J
为关节点数；根关节点的速度定义第
J+1
列；若关节点
j
隶属于身体部位
i
，则
p
i,j
＝1，否则
p
i,j
＝0，
p
i,J+1
＝
1。4.
根据权利要求1所述的人体运动重定向系统，其特征在于，所述源骨架编码器和所述目标骨架编码器由全连接网络构成，编码公式如下：
w(S
k
)
＝
Relu(Relu(S
k
W
k0
+b
k0
)W
k1
+b
k1
)W
k2
+b
k2
其中
S
k
∈R
Lk
×3，
k∈N
为第
k
个身体部位的骨架数据；
Relu
表示激活函数；
W
k0
和
b
k0
，
W
k1
和
b
k1
，
W
k2
和
b
k2
分别表示全连接网络中第一层，第二层，第三层的权重矩阵和偏置量
。5.
根据权利要求1所述的人体运动重定向系统，其特征在于，所述源骨架运动编码器和所述目标骨架运动编码器由姿态注意力网络和两层一维卷积层构成，所述姿态注意力网络由两层
Transformer
模型组成
。6.
根据权利要求5所述的人体运动重定向系统，其特征在于，所述
Transformer
模型所用的
Attention
公式如下
:
其中
Q
t
,K
t
,V
t
分别表示
t
时刻人体姿态通过线性映射后得到的矩阵，
U
为分隔矩阵，
d
为身体部位隐特征的维度
。7.
根据权利要求6所述的人体运动重定向系统，其特征在于，所述分隔矩阵
U
＝
{u
i,j
}∈R
(N+J+1)
×
(N+J+1)
由骨架的隶属矩阵
P
引导生成，
U
矩阵的前
N
行表示所述骨架的
N
个身体部位，第
N+1
行至第
N+J+1
行表示所述骨架的
J
个关节点和1个根关节点，身体部位以及关节点的表示顺序与所述隶属矩阵相对应，
U
矩阵的列元素的定义相同；当
i∈[1,N],j∈[1,N]
时，若身体部位
i
和身体部位
j
是相同的身体部位则
u
i,j
＝0，否则为
‑
∞
；当
i∈[1,N],j∈[N+1,N+J+1]
时，若关节点
j

【专利技术属性】
技术研发人员：夏时洪，胡磊，许逸文，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：