【技术实现步骤摘要】
一种用于合影的虚拟人姿态生成方法
[0001]本专利技术涉及软件开发
，更具体地说，涉及一种用于合影的虚拟人姿态生成方法。
技术介绍
[0002]虚拟现实技术在我们的日常生活中的应用逐渐增多，用户对虚拟人物的获取和逼真程度都提出较高要求，希望能够在三维虚拟环境中具有良好的虚拟人物形象，更多情况下还有用户形象与虚拟人物之间的互动需求。
[0003]在一些三维虚拟应用场景中，存在着虚拟人和用户之间的合影应用需求，其主要实现过程是通过计算机图形技术将数字化虚拟人姿势与用户姿势进行动态匹配。现有技术中，主要采用的实现方案是通过获取应用程序内部既存的虚拟人角色，该虚拟人角色具有内设的数种姿势，再通过图像识别算法自动匹配与用户姿势最优解方案，最后合成虚拟图像。
[0004]但是在实际使用过程中，固定设置的数种姿势无法匹配用户多样化的合影需求，特别是在加入周围的光、影、及其他环境景色后，虚拟人姿态和用户姿态的契合度曲线下降更加明显。即使加入标准化姿势指引提示，由于用户自身因素及环境的多样化，也无法很好地呈现具有动作协调并含有艺术美感的合影，不能满足用户的高端体验需求。
技术实现思路
[0005]1.要解决的技术问题
[0006]针对现有技术中存在的问题，本专利技术的目的在于提供一种用于合影的虚拟人姿态生成方法，本专利技术实时对用户姿态进行实时取样，且可以根据取样情况进行模型训练，并通过模型回归生成姿态影响因子，再通过3D姿态预测模型动态调整虚拟人物姿态，实现用户与虚拟人物合影。>[0007]2.技术方案
[0008]为解决上述问题，本专利技术采用如下的技术方案：
[0009]一种用于合影的虚拟人姿态生成方法，该方法采用双重摄像捕捉系统，分别采集用户面部情态和身体姿态数据，并对用户面部情态和身体姿态数据进行时间同步，生成用户姿态表情数据；
[0010]将身体数据通过SMPL人体模型进行训练，生成虚拟训练数据，生成姿态特征向量，并通过对姿态特征向量和姿态表情数据对姿态影响程度进行逻辑回归，获得姿态影响因子；
[0011]将用户姿态表情数据和姿态影响因子作为约束项加入3D姿态预测模型拟合目标函数，实现目标函数最优化，动态调整虚拟人物姿态，实现用户与虚拟人物最佳合影。
[0012]作为本专利技术的一种优选方案，所述双重摄像捕捉系统包括两个Azure Kinect摄像头，分别对面部情态和身体姿态进行实时采集，所述AzureKinect摄像头采集到的身体姿态
数据包括：人体关节三维坐标与关节旋转四元数；所述AzureKinect摄像头采集到的面部情态数据包括：面部特征点数据及跟踪面部数据。
[0013]作为本专利技术的一种优选方案，所述面部情态数据是通过CLNF模型(ConstrainedLocalNeuralField)进行面部特征数据提取，获取面部标签，并采用Shape模型及Patch模型来构建面部模型，得到表情分类和回归。
[0014]作为本专利技术的一种优选方案，对用户面部情态和身体姿态数据进行时间同步具体包括以下步骤：
[0015]S11：对双重摄像头进行空间标定，并将采集到的面部图像加入时间戳，封装成面部情态数据结构；
[0016]S12：将采集到的身体姿态加入时间戳，封装成身体姿态数据，
[0017]S13：匹配面部情态数据和身体姿态数据对应的时间戳，按照时间戳先后重新组合，生成时隙误差低于T的面部情态及身体姿态数据。
[0018]作为本专利技术的一种优选方案，生成时隙误差低于T的面部情态及身体姿态数据中，T为0.5
‑
1.5μs。
[0019]作为本专利技术的一种优选方案，将身体数据通过SMPL人体模型进行训练，生成虚拟训练数据，具体包括以下步骤：
[0020]S21：提取身体数据中的关节点信息，并通过HMR算法得到SMPL模型；利用HMR算法获得了人体的β，θ参数，然后通过θ得到SMPL的三维关节位置，接着将SMPL模型的姿态拟合到Kinect关节上；
[0021]S22：通过ICP算法将每个关节点都通过X、Y、Z三个值来描述关节点的空间位置，X、Y值是相对于骨骼平面空间的位置，将骨骼坐标点转换到对应的深度数据影像中，进行SMPL模型优化；
[0022]S23：通过投影将优化后的SMPL模型叠加到彩色图像上，生成虚拟训练数据，得到虚拟人体姿态成像。
[0023]作为本专利技术的一种优选方案，生成姿态特征向量，并通过对姿态特征向量和姿态表情数据对姿态影响程度进行逻辑回归，获得姿态影响因子，具体包括以下步骤：
[0024]S31:将身体数据中的关节点信息R(β
i
)组成集合，计算出集合中所有相邻关节之间姿态角θ
i
，通过罗德里格斯公式计算出姿态特征向量I(θ
i
)，所述β
i
表示人体姿态参数，所述姿态角θ
i
表示相邻关节之间旋转的轴角；
[0025]S32:采用Holt双参指数平滑算法对面部情态参数进行平滑预测，并匹配姿态得到匹配后的面部情态Q
i
；
[0026]S33:通过将用户姿态与虚拟人姿态之间的对姿态特征变化进行判定，输出匹配度结果Y，将匹配度为1的定义为匹配，将匹配度为0的定义为不匹配，
[0027]S34：构建以姿态特征向量I(θ
i
)和面部情态Q
i
为自变量X
j
，匹配度结果Y为因变量的二元逻辑回归模型，得出影响匹配度Y的主要影响因子，并进行因子分析，得到成分矩阵。
[0028]作为本专利技术的一种优选方案，将用户姿态表情数据φ
n
和姿态影响因子作为约束项加入3D姿态预测模型拟合目标函数，实现目标函数最优化，动态调整虚拟人物姿态，实现用户与虚拟人物最佳合影，具体包括以下步骤：
[0029]S41：通过将用户姿态表情数据通过特征工程将特征数据从原始空间转换到新的
特征空间；
[0030]S42：结合姿态影响因子，利用多尺度小波分析方法从特征数据中提取高频细节特征和低频细节特征；
[0031]S43：结合高频细节特征和低频细节特征，采用seq2seq姿态预测模型，对虚拟人物姿态进行预测及调整。
[0032]作为本专利技术的一种优选方案，所述seq2seq姿态预测模型预测未来200
‑
500ms以内姿态数据。在其他实施例中，也可以采用更长预测时间的姿态预测模型。
[0033]作为本专利技术的一种优选方案，通过将用户姿态与虚拟人姿态之间的对姿态特征变化进行判定，是将姿态特征向量I(θ
i
)与模型三维关键位置X(θ,β)投影至彩色图像上，并通过神经网络训练学习融合度及匹配度评估体系，神经网络模型采用三层网络，将训练样本进行分类，得到匹配度结果，该结果包括：“匹配”的虚拟人姿态和“不匹配”的虚拟人姿态，并对本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种用于合影的虚拟人姿态生成方法，其特征在于，包括：该方法采用双重摄像捕捉系统，分别采集用户面部情态和身体姿态数据，并对用户面部情态和身体姿态数据进行时间同步，生成用户姿态表情数据；将身体数据通过SMPL人体模型进行训练，生成虚拟训练数据，生成姿态特征向量，并通过对姿态特征向量和姿态表情数据对姿态影响程度进行逻辑回归，获得姿态影响因子；将用户姿态表情数据和姿态影响因子作为约束项加入3D姿态预测模型拟合目标函数，实现目标函数最优化，动态调整虚拟人物姿态，实现用户与虚拟人物最佳合影。2.根据权利要求1所述的一种用于合影的虚拟人姿态生成方法，其特征在于，所述双重摄像捕捉系统包括两个AzureKinect摄像头，分别对面部情态和身体姿态进行实时采集，所述AzureKinect摄像头采集到的身体姿态数据包括：人体关节三维坐标与关节旋转四元数；所述AzureKinect摄像头采集到的面部情态数据包括：面部特征点数据及跟踪面部数据。3.根据权利要求1所述的一种用于合影的虚拟人姿态生成方法，其特征在于，所述面部情态数据是通过CLNF模型进行面部特征数据提取，获取面部标签，并采用Shape模型及Patch模型来构建面部模型，得到表情分类和回归。4.根据权利要求3所述的一种用于合影的虚拟人姿态生成方法，其特征在于，对用户面部情态和身体姿态数据进行时间同步具体包括以下步骤：S11：对双重摄像头进行空间标定，并将采集到的面部图像加入时间戳，封装成面部情态数据结构；S12：将采集到的身体姿态加入时间戳，封装成身体姿态数据，S13：匹配面部情态数据和身体姿态数据对应的时间戳，按照时间戳先后重新组合，生成时隙误差低于T的面部情态及身体姿态数据。5.根据权利要求4所述的一种用于合影的虚拟人姿态生成方法，其特征在于，生成时隙误差低于T的面部情态及身体姿态数据中，T为0.5
‑
1.5μs。6.根据权利要求1所述的一种用于合影的虚拟人姿态生成方法，其特征在于，将身体数据通过SMPL人体模型进行训练，生成虚拟训练数据，具体包括以下步骤：S21：提取身体数据中的关节点信息，并通过HMR算法得到SMPL模型；S22：通过ICP算法将每个关节点都通过X、Y、Z三个值来描述关节点的空间位置，X、Y值是相对于骨骼平面空间的位置，将骨骼坐标点转换到对应的深度数据影像中，进行SMPL模型优化；S23：通过投影将优化后的SMPL模型叠加到彩色图像上，生成虚拟训练数据，得到虚...
【专利技术属性】
技术研发人员：陈彦峰，
申请(专利权)人：天翼爱动漫文化传媒有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。