一种3D虚拟模型的驱动方法及装置制造方法及图纸

本发明专利技术公开了一种3D虚拟模型的驱动方法及装置，所述方法包括：对当前人脸图像进行特征点定位，并获得所述特征点的二维坐标；根据所述特征点的二维坐标获得所述特征点的正面化的三维坐标；根据所述三维坐标获得标准化的当前人脸模型；将所述当前人脸模型与预先建立的人脸模型数据库中的人脸模型进行匹配，以从所述人脸模型数据库中获得与所述当前人脸模型最相似的人脸模型；根据所述三维坐标和所述最相似的人脸模型对应的表情基数据，获得所述当前人脸与所述最相似的人脸模型对应的表情基数据的拟合系数；根据所述拟合系数驱动3D虚拟模型，由此满足在视频通话过程中利用3D虚拟模型来代替用户表达情绪的要求。

【技术实现步骤摘要】
一种3D虚拟模型的驱动方法及装置
本专利技术涉及计算机
，特别涉及一种3D虚拟模型的驱动方法及装置。
技术介绍
3D虚拟模型表情动画是当前研究的热点，其在虚拟现实，数字娱乐，通信和视频会议、人际交互等领域有着非常广泛的应用。随着移动终端的普及，以及网络带宽资费的下降，视频电话定或将成为社交领域的首选。由于陌生人之间交流在刚开始的时候不太愿意露脸，因此亟待一种交流工具来替代双方的视频图像。3D虚拟表情映射将是较佳选择，它不仅能够用一个虚拟人物来代替陌生人之间表达感情，而且能够大量的节省带宽，只需要通过发送对应参数就可以完成。现有的一种基于单个视频摄像机的实时人脸动画方法，对人脸标注75个点，其中包括60个内部点，以及标注的眼、眉、鼻、嘴15个轮廓点，把人脸跟踪回归算法两步变成一步，直接回归人脸的姿态和表情系数。但是该方法需要用户事先采集60张各种姿态下的人脸，并且标注75个关键点作为训练数据，因此大大降低了用户体验。现有的一种基于单个模型的表情驱动方法，通过应用RBF训练骨架结构建立源与目标之间的运动对应关系，然后通过训练得到的权值进行实时驱动，该方法虽然简单，但对于姿态的改变很容易造成模型的畸变。综上所述，现有技术3D虚拟模型的驱动方法存在用户体验性差、模型容易产生畸变等缺点，无法满足在视频通话过程中利用3D虚拟模型来代替用户表达情绪的要求。
技术实现思路
为了满足在视频通话过程中利用3D虚拟模型来代替用户表达情绪的要求，本专利技术提供一种3D虚拟模型的驱动方法及装置。本专利技术采用以下技术方案：一种3D虚拟模型的驱动方法，所述方法包括：对当前人脸图像进行特征点定位，并获得所述特征点的二维坐标；根据所述特征点的二维坐标获得所述特征点的正面化的三维坐标；根据所述三维坐标获得标准化的当前人脸模型；将所述当前人脸模型与预先建立的人脸模型数据库中的人脸模型进行匹配，以从所述人脸模型数据库中获得与所述当前人脸模型最相似的人脸模型；根据所述三维坐标和所述最相似的人脸模型对应的表情基数据，获得所述当前人脸与所述最相似的人脸模型对应的表情基数据的拟合系数；根据所述拟合系数,驱动3D虚拟模型。优选地，所述对当前人脸图像进行特征点定位，并获得所述特征点的二维坐标，包括：对所述特征点中的眼睛部位特征点提取尺度不变特征变换特征向量，并对所述尺度不变特征变换特征向量进行特征降维；将经过特征降维的尺度不变特征变换特征向量输入预先训练的判别器以判别所述眼睛是否为闭眼状态；当为闭眼状态时，将所述眼睛部位上眼睑的特征点坐标移至下眼睑的特征点位置。优选地，所述根据所述特征点的二维坐标获得所述特征点的正面化的三维坐标，包括：根据预先训练的三维线性形状增益模型获得所述特征点的三维坐标；根据所述特征点的二维坐标对所述三维坐标进行优化以获得所述特征点的正面化的三维坐标。优选地，所述根据所述特征点的二维坐标对所述三维坐标进行优化以获得所述特征点的正面化的三维坐标，包括：根据所述特征点的二维坐标和预设公式正面化所述三维坐标。优选地，所述根据所述三维坐标获得标准化的当前人脸模型，包括：去除所述三维坐标中的Z轴的深度值以获得二维坐标；对获得的所述二维坐标进行普氏分析获得所述标准化的当前人脸模型。优选地，所述将所述当前人脸模型与预先建立的人脸模型数据库中的人脸模型进行匹配，以从所述人脸模型数据库中获得与所述当前人脸模型最相似的人脸模型，包括：分别获得当前人脸模型与预先建立的人脸模型数据库中的人脸模型的相似距离；以所述人脸模型数据库中与所述当前人脸模型相似距离最小的人脸模型为所述最相似的人脸模型。优选地，所述分别获得当前人脸模型与预先建立的人脸模型数据库中的人脸模型的相似距离，包括：分别获得当前人脸模型中的轮廓部分与预先建立的人脸模型数据库中的人脸模型的轮廓部分的豪斯多夫距离、当前人脸模型中的嘴巴部分与预先建立的人脸模型数据库中的人脸模型的嘴巴部分的豪斯多夫距离，以及当前人脸模型中的眼睛部分与预先建立的人脸模型数据库中的人脸模型的眼睛部分的豪斯多夫距离；对上述各个部分的豪斯多夫距离加权求和得到当前人脸模型与预先建立的人脸模型数据库中的人脸模型的相似距离。优选地，所述根据所述三维坐标和所述最相似的人脸模型对应的表情基数据，获得所述当前人脸与所述最相似的人脸模型对应的表情基数据的拟合系数，包括：根据所述三维坐标和所述最相似的人脸模型对应的表情基数据，通过二次规划获取所述拟合系数。优选地，所述拟合系数包括眉毛部分的拟合系数，眼睛部分的拟合系数和嘴巴部分的拟合系数。优选地，所述根据所述拟合系数，驱动3D虚拟模型，包括：根据所述拟合系数对3D虚拟模型进行拟合，获取所述3D虚拟模型的所有顶点的新位置信息；根据所述所有顶点的新位置信息显示所述3D虚拟模型。优选地，所述根据所述拟合系数对3D虚拟模型进行拟合，获取所述3D虚拟模型的所有顶点的新位置信息，包括：分别根据眉毛部分的拟合系数，眼睛部分的拟合系数和嘴巴部分的拟合系数，对3D虚拟模型进行拟合，获取所述3D虚拟模型的所有顶点的新位置信息。本专利技术还提供一种3D虚拟模型的驱动装置，所述装置包括：特征点定位模块，用于对当前人脸图像进行特征点定位，并获得所述特征点的二维坐标；正面化模块，用于根据所述特征点的二维坐标获得所述特征点的正面化的三维坐标；标准化模块，根据所述三维坐标获得标准化的当前人脸模型；匹配模块，用于将所述当前人脸模型与预先建立的人脸模型数据库中的人脸模型进行匹配，以从所述人脸模型数据库中获得与所述当前人脸模型最相似的人脸模型；拟合系数获得模块，用于根据所述三维坐标和所述最相似的人脸模型对应的表情基数据，获得所述当前人脸与所述最相似的人脸模型对应的表情基数据的拟合系数；驱动模块，用于根据所述拟合系数,驱动3D虚拟模型。优选地，所述特征点定位模块包括：降维子模块，用于对所述特征点中的眼睛部位特征点提取尺度不变特征变换特征向量，并对所述尺度不变特征变换特征向量进行特征降维；判别子模块，用于将经过特征降维的尺度不变特征变换特征向量输入预先训练的判别器以判别所述眼睛是否为闭眼状态；移动子模块，用于当为闭眼状态时，将所述眼睛部位上眼睑的特征点坐标移至下眼睑的特征点位置。优选地，所述正面化模块包括：三维坐标获得子模块，用于根据预先训练的三维线性形状增益模型获得所述特征点的三维坐标；优化子模块，用于根据所述特征点的二维坐标对所述三维坐标进行优化以获得所述特征点的正面化的三维坐标。优选地，所述优化子模块包括：优化单元，用于根据所述特征点的二维坐标和预设公式正面化所述三维坐标。优选地，所述标准化模块包括：Z轴去除子模块，用于去除所述三维坐标中的Z轴的深度值以获得二维坐标；分析子模块，用于对获得的所述二维坐标进行普氏分析获得所述标准化的当前人脸模型。优选地，所述匹配模块包括：相似距离获得子模块，用于分别获得当前人脸模型与预先建立的人脸模型数据库中的人脸模型的相似距离；最相似的人脸模块获得子模块，用于以所述人脸模型数据库中与所述当前人脸模型相似距离最小的人脸模型为所述最相似的人脸模型。优选地，所述相似距离获得子模块包括：相似距离获得单元，用于分别获得当前人脸模型中的轮廓部分与预先建立的人脸模型数据库中的人脸模型的轮廓部分的本文档来自技高网...

【技术保护点】
一种3D虚拟模型的驱动方法，其特征在于，所述方法包括：对当前人脸图像进行特征点定位，并获得所述特征点的二维坐标；根据所述特征点的二维坐标获得所述特征点的正面化的三维坐标；根据所述三维坐标获得标准化的当前人脸模型；将所述当前人脸模型与预先建立的人脸模型数据库中的人脸模型进行匹配，以从所述人脸模型数据库中获得与所述当前人脸模型最相似的人脸模型；根据所述三维坐标和所述最相似的人脸模型对应的表情基数据，获得所述当前人脸与所述最相似的人脸模型对应的表情基数据的拟合系数；根据所述拟合系数,驱动3D虚拟模型。

【技术特征摘要】
1.一种3D虚拟模型的驱动方法，其特征在于，所述方法包括：对当前人脸图像进行特征点定位，并获得所述特征点的二维坐标；根据所述特征点的二维坐标获得所述特征点的正面化的三维坐标；根据所述三维坐标获得标准化的当前人脸模型；将所述当前人脸模型与预先建立的人脸模型数据库中的人脸模型进行匹配，以从所述人脸模型数据库中获得与所述当前人脸模型最相似的人脸模型；根据所述三维坐标和所述最相似的人脸模型对应的表情基数据，获得所述当前人脸与所述最相似的人脸模型对应的表情基数据的拟合系数；根据所述拟合系数,驱动3D虚拟模型。2.根据权利要求1所述的3D虚拟模型的驱动方法，其特征在于，所述对当前人脸图像进行特征点定位，并获得所述特征点的二维坐标，包括：对所述特征点中的眼睛部位特征点提取尺度不变特征变换特征向量，并对所述尺度不变特征变换特征向量进行特征降维；将经过特征降维的尺度不变特征变换特征向量输入预先训练的判别器以判别所述眼睛是否为闭眼状态；当为闭眼状态时，将所述眼睛部位上眼睑的特征点坐标移至下眼睑的特征点位置。3.根据权利要求1所述的3D虚拟模型的驱动方法，其特征在于，所述根据所述特征点的二维坐标获得所述特征点的正面化的三维坐标，包括：根据预先训练的三维线性形状增益模型获得所述特征点的三维坐标；根据所述特征点的二维坐标对所述三维坐标进行优化以获得所述特征点的正面化的三维坐标。4.根据权利要求3所述的3D虚拟模型的驱动方法，其特征在于，所述根据所述特征点的二维坐标对所述三维坐标进行优化以获得所述特征点的正面化的三维坐标，包括：根据所述特征点的二维坐标和预设公式正面化所述三维坐标。5.根据权利要求1所述的3D虚拟模型的驱动方法，其特征在于，所述根据所述三维坐标获得标准化的当前人脸模型，包括：去除所述三维坐标中的Z轴的深度值以获得二维坐标；对获得的所述二维坐标进行普氏分析获得所述标准化的当前人脸模型。6.根据权利要求1所述的3D虚拟模型的驱动方法，其特征在于，所述将所述当前人脸模型与预先建立的人脸模型数据库中的人脸模型进行匹配，以从所述人脸模型数据库中获得与所述当前人脸模型最相似的人脸模型，包括：分别获得当前人脸模型与预先建立的人脸模型数据库中的人脸模型的相似距离；以所述人脸模型数据库中与所述当前人脸模型相似距离最小的人脸模型为所述最相似的人脸模型。7.根据权利要求6所述的3D虚拟模型的驱动方法，其特征在...

【专利技术属性】
技术研发人员：周世威，
申请(专利权)人：掌赢信息科技上海有限公司，
类型：发明
国别省市：上海,31