基于SCAPE的多视角的虚拟人成像方法技术

本发明专利技术提出基于SCAPE的多视角的虚拟人成像方法，包括以下步骤：S1，利用多方位设置的数台相机对对象人体进行拍摄，将多方位图片收集构成训练集；S2，训练集经过深度残差神经网络模型的训练，生成相应的二维图片特征向量,将该二维图片特征向量经过预先设置的卷积神经网络进行处理后得到成像亲和度集合和成像置信值集合；S3，通过成像置信值集合进行连线，并根据成像亲和度集合排除错误的连线，得到对应的关节点二维坐标，通过高度差值组将关节点二维坐标转换成关节点三维坐标；S4，通过卷积神经网络提取出目标特征向量，再将得到的目标特征向量经过全连接层转换模型进行训练后得到人像轮廓图，并将人像轮廓图经过SCAPE模型生成虚拟人成像。成虚拟人成像。成虚拟人成像。

【技术实现步骤摘要】
基于SCAPE的多视角的虚拟人成像方法


[0001]本专利技术涉及一种人成像领域，特别是基于SCAPE的多视角的虚拟人成像方法。

技术介绍

[0002]虚拟人成像是目前较为热门的领域，再日常生活中也是广泛运用，比如VR游戏人脸建模、自拍建模等等，如专利申请号为202010313008.9，名称为“基于标签传播算法的多视角人体姿态重建方法”的专利，内容为“搭建多相机捕捉系统，对所述多相机捕捉系统中多个工业相机的内参和外参进行标定；利用所述多相机捕捉系统采集数字信号，将所述数字信号转码为RGB输入图像；等等”，其效果在于：将建模问题转换成一个概率图问题，并加入了姿态估计、亲和度等相关技术方案。但我们还发现关于人成像技术中，往往会出现多视角图片信息采集之后，会出现各个角度的关键关节点出现较大的错位，使得成像不真实。

技术实现思路

[0003]本专利技术旨在至少解决现有技术中存在的技术问题，特别创新地提出了基于SCAPE的多视角的虚拟人成像方法。
[0004]为了实现本专利技术的上述目的，本专利技术提供了基于SCAPE的多视角的虚拟人成像方法，包括以下步骤：
[0005]S1，使预拍摄对象定位于某处，利用多方位设置的数台相机对该对象人体进行长时间拍摄，并建立该数台相机摆设的三维坐标系，将所述人体的各个关节点的多方位图片收集构成训练集，该训练集中包括数个不同角度的图片的子集，每个所述子集中包括数个关节点，并定义一个二维坐标系，用于将每个关节点定义一个相应的二维坐标；
[0006]S2，所述训练集经过深度残差神经网络模型的训练，生成相应的二维图片特征向量,将该二维图片特征向量经过预先设置的卷积神经网络进行处理后得到成像亲和度集合和成像置信值集合；
[0007]S3，通过成像置信值集合进行连线，并根据所述成像亲和度集合排除错误的连线，得到数张同一角度的二维图片及其对应的关节点二维坐标，从S1步骤中建立的所述三维坐标系中提取出高度差值组，并通过所述高度差值组将数张同一角度的二维图片的关节点二维坐标转换成对应的关节点三维坐标；
[0008]S4，通过卷积神经网络将关节点三维坐标进行特征提取，并将提取的特征组合成相应的目标特征向量，再将得到的目标特征向量经过全连接层转换模型进行训练后得到人像轮廓图，并将人像轮廓图经过SCAPE模型生成虚拟人成像。
[0009]在本专利技术的一种优选实施方式，所述S2步骤中包括以下步骤：
[0010]S21，将所述训练集导入该深度残差神经网络模型中，并进行训练，得到二维图片特征向量，深度残差神经网络模型的卷积层中包括合并函数，其中，公式如下：
[0011]M
a
＝M
b
+κM
s
+M
c
，
[0012]M
a
表示合并函数；
[0013]M
b
表示关节点重合度损失函数；
[0014]κ表示关节点发散度损失函数的权重；
[0015]M
s
表示关节点发散度损失函数；
[0016]M
c
表示关节点分布占比度损失函数；
[0017][0018]g()表示特征值的残差函数；g(y
i
)表示选取第i个关节点特征值的残差函数，g(y
j
)表示选取的第i个关节点最相近的关节点特征值的残差函数，
[0019]M
b
表示关节点重合度损失函数；
[0020]N表示二维图片中关节点的数量；N
′
表示二维图片中关节点最相近的关节点的数量；
[0021]exp()表示自然底数的指数函数；
[0022]v表示关节点重合度损失函数向量；
[0023]r表示关节点发散度的偏置；
[0024]T表示转置符号；
[0025]i表示选取的第i个关节点；
[0026]j表示选取的第i个关节点的最相近的关节点；
[0027]y
i
与y
j
分别表示选取的第i个关节点和第j个最相近关节点的特征值；
[0028]x
i
与x
j
分别表示选取的第i个关节点和第j个最相近关节点的位置标识符；
[0029]与则表示将x
i
与x
j
两个位置标识符分别置于偏置中；
[0030]与则表示将x
i
与x
j
两个位置标识符分别置于权重中；
[0031][0032]M
s
表示关节点发散度损失函数；
[0033]i表示选取的第i个关节点；
[0034]j表示选取的第i个关节点的最相近的关节点；
[0035]j＞i表示选取的第i个最相近关节点是依据第j个关节点进行选取且排列靠后；
[0036]d(p
i
,p
j
)＜δ表示第i个关节点发散特征值p
i
和第i个关节点的最相近关节点发散特征值p
j
之间的距离小于第一阈值δ；
[0037]g
i
表示残差函数的第i个关节点学习特征值，
[0038]g
j
表示残差函数的第i个关节点的最相近关节点学习特征值；
[0039]G表示残差函数的训练矩阵参数；
[0040]P表示残差函数的调节参数；
[0041]表示2范数的平方；
[0042][0043]M
c
表示关节点分布占比度损失函数；
[0044]m表示图片中关节点集中分布密度大于第二阈值τ的图片占比率；
[0045]n表示图片中关节点集中分布密度小于第二阈值τ的图片占比率；
[0046]m+n＝1表示总占比权重为1；
[0047]z
m
表示图片中关节点集中分布密度大于第二阈值τ的图片权重；
[0048]z
n
表示图片中关节点集中分布密度小于第二阈值τ的图片权重；
[0049]a表示关节点分布占比度损失函数的预测值。
[0050]S22，将所述二维图片特征向量的特征值减去深度残差神经网络模型中的偏差系数β，若所得值大于0，则排除，若小于0，则采集并构成二维图片特征向量F中。
[0051]S23，将通过步骤S22得到的二维图片特征向量F对置信度和亲和度进行计算，输出特定映射即为成像亲和度特征向量和成像置信值特征向量，计算如下：
[0052]E＝μ
·
(F,C,I,A
l
,A
r
,L
l
,L
r
)，
[0053]Q＝η
·
(F,C,I,A
l
,A
r
,L
l
,L
r...

【技术保护点】

【技术特征摘要】
1.基于SCAPE的多视角的虚拟人成像方法，其特征在于，包括以下步骤：S1，使预拍摄对象定位于某处，利用多方位设置的数台相机对该对象人体进行长时间拍摄，并建立该数台相机摆设的三维坐标系，将所述人体的各个关节点的多方位图片收集构成训练集，该训练集中包括数个不同角度的图片的子集，每个所述子集中包括数个关节点，并定义一个二维坐标系，用于将每个关节点定义一个相应的二维坐标；S2，所述训练集经过深度残差神经网络模型的训练，生成相应的二维图片特征向量,将该二维图片特征向量经过预先设置的卷积神经网络进行处理后得到成像亲和度集合和成像置信值集合；S3，通过成像置信值集合进行连线，并根据所述成像亲和度集合排除错误的连线，得到数张同一角度的二维图片及其对应的关节点二维坐标，从S1步骤中建立的所述三维坐标系中提取出高度差值组，并通过所述高度差值组将数张同一角度的二维图片的关节点二维坐标转换成对应的关节点三维坐标；S4，通过卷积神经网络将关节点三维坐标进行特征提取，并将提取的特征组合成相应的目标特征向量，再将得到的目标特征向量经过全连接层转换模型进行训练后得到人像轮廓图，并将人像轮廓图经过SCAPE模型生成虚拟人成像。2.根据权利要求1所述的基于SCAPE的多视角的虚拟人成像方法，其特征在于，所述S2中包括以下步骤：S21，将所述训练集导入该深度残差神经网络模型中，并进行训练，得到二维图片特征向量，深度残差神经网络模型的卷积层中包括合并函数，其中，公式如下：M
a
＝M
b
+κM
s
+M
c
，M
a
表示合并函数；M
b
表示关节点重合度损失函数；κ表示关节点发散度损失函数的权重；M
s
表示关节点发散度损失函数；M
c
表示关节点分布占比度损失函数；g()表示特征值的残差函数；g(y
i
)表示对选取的第i个关节点特征值进行的残差函数，g(y
j
)表示对选取的第i个关节点最相近的关节点特征值进行的残差函数，M
b
表示关节点重合度损失函数；N表示二维图片中关节点的数量；N
′
表示二维图片中关节点最相近的关节点的数量；exp()表示自然底数的指数函数；v表示关节点重合度损失函数向量；r表示关节点发散度的偏置；T表示转置符号；i表示选取的第i个关节点；
j表示选取的第i个关节点的最相近的关节点；y
i
与y
j
分别表示选取的第i个关节点和第j个最相近关节点的特征值；x
i
与x
j
分别表示选取的第i个关节点和第j个最相近关节点的位置标识符；与则表示将x
i
与x
j
两个位置标识符分别置于偏置中；与则表示将x
i
与x
j
两个位置标识符分别置于权重中；M
s
表示关节点发散度损失函数；i表示选取的第i个关节点；j表示选取的第i个关节点的最相近的关节点；i＞j表示选取的第i个最相近关节点是依据第j个关节点进行选取且排列靠后；d(p
i
,p
j
)＜δ表示第i个关节点发散特征值p
i
和第i个关节点的最相近关节点发散特征值p
j
之间的距离小于第一阈值δ；g
i
表示残差函数的第i个关节点学习特征值，g
j
表示残差函数的第i个关节点的最相近关节点学习特征值；G表示残差函数的训练矩阵参数；P表示残差函数的调节参数；表示2...

【专利技术属性】
技术研发人员：陈利鑫，王天位，陈子洋，周违，邵时扬，邓青松，李娜，
申请(专利权)人：重庆电子工程职业学院，
类型：发明
国别省市：