一种虚拟人物不同表情模型生成方法及电子设备技术

本发明专利技术提出一种虚拟人物不同表情模型生成方法及电子设备，首先基于相机获取视频帧图像；对所述视频帧图像进行预处理得到预处理后的图像；将所述预处理后的图像输入

【技术实现步骤摘要】
一种虚拟人物不同表情模型生成方法及电子设备


[0001]本专利技术属于虚拟现实
，尤其涉及一种虚拟人物不同表情模型生成方法
。

技术介绍

[0002]虚拟人物是指在计算机图像学
、
计算机视觉和人工智能等领域中，通过数字技术创建的具有人类特征的虚拟形象
。
虚拟人物可以应用于游戏
、
电影
、
广告
、
教育
、
医疗等领域，为人们提供更加生动
、
直观的体验和服务
。
[0003]然而，由于虚拟人物的表情和动作是由算法控制的，因此，需要一种能够生成不同表情的模型来实现虚拟人物的多样化表达
。
目前，虚拟人物表情模型的生成方法大多基于手工设计或者预设的规则，难以满足复杂场景下的需求
。
[0004]因此，急需一种虚拟人物不同表情模型生成方法，有效的提高虚拟人物的表现力和逼真度，为虚拟现实和增强现实等应用提供更加丰富的交互方式
。

技术实现思路

[0005]本专利技术的目的在于提供一种虚拟人物不同表情模型生成方法，可以提高虚拟人物的表现力和逼真度，为虚拟现实和增强现实等应用提供更加丰富的交互方式
。
[0006]为实现上述目的，本申请的第一方面提供了一种虚拟人物不同表情模型生成方法，包括
:
[0007]S1
：基于相机获取视频帧图像；
[0008]S2
：对所述视频帧图像进行预处理得到预处理后的图像；
[0009]S3
：将所述预处理后的图像输入
AU
参数回归网络获取得到
M
个
AU
参数值，所述
M
为大于1的整数；
[0010]S4
：将所述视频帧图像输入头部姿态检测网络，获取得到头部的旋转矩阵
R
和平移向量
r
；
[0011]S5
：将所述
M
个
AU
参数值以及旋转矩阵
R
和平移向量
r
输入
BlendShape
模型获取得到虚拟人物的表情
。
[0012]进一步的，所述
S2
对所述视频帧图像进行预处理得到预处理后的图像包括：
[0013]S21
：基于卷积神经网络对视频帧图像进行检测，得到人脸的特征点；
[0014]S22
：基于所述人脸特征点进行裁剪，获取得到人脸区域图像，并对所述人脸区域图像进行旋转矫正
。
[0015]进一步的，所述
S3
将所述预处理后的图像输入
AU
参数回归网络获取得到
M
个
AU
参数值中，所述
AU
参数回归网络包括顺序连接的输入层
、
第一卷积层
、
第一残差模块
、
第二残差模块
、
第三残差模块
、
第四残差模块，所述第二至第四残差模块的输出输入至特征融合模块，获取得到融合后的特征，将所述融合后的特征输入至多层感知机之后，再连接全连接层，得到
M
个
AU
参数值
。
[0016]进一步的，所述残差模块的输出表示为：
[0017]F
＝
Conv(x+RU(RU(Conv(x))))
，其中
x
表示输入，
Conv()
表示卷积操作，
RU()
表示残差操作，
F
表示输出
。
[0018]进一步的，所述残差操作的输出表示为：
[0019]RU(x)
＝
x
⊕
CBR(CBR(x)),
[0020]CBR(x)
＝
Relu(BN(Conv(x))),
[0021]其中，
x
表示输入，
Conv()
表示卷积操作，
BN()
表示批量归一化，
Relu()
表示
Relu
激活函数
。
[0022]进一步的，所述特征融合模块包括：
[0023]将所述第四残差模块的输出
F4进行上采样得到
F4’
，将所述
F4’
与第三残差模块的输出
F3进行融合得到
F
34
，将所述第三残差模块的输出
F3进行上采样得到
F3’
，将所述
F3’
与第二残差模块的输出
F2进行融合得到
F
23
，将所述
F
34
进行上采样得到
F
34
’
，将所述
F
34
’
与所述
F
23
进行融合得到融合后的特征
。
[0024]进一步的，所述
M
为
22
，所述
M
个
AU
分别是：左眉毛向上
、
右眉毛向上
、
左眉毛向下
、
右眉毛向下
、
左眼闭合
、
右眼闭合
、
鼻子皱起
、
鼻孔收缩
、
左眼睑提高
、
右眼睑提高
、
左嘴角上扬
、
右嘴角上扬
、
左嘴角向下
、
右嘴角向下
、
左嘴角外展
、
右嘴角外展
、
嘴唇嘟起
、
舌头伸出
、
嘴巴张大
、
脸颊鼓起
、
抿上嘴唇
、
抿下嘴唇
。
[0025]本申请第二方面，提供了一种电子设备，包括存储器
、
处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述第一方面实施例中的步骤
。
[0026]由上可见，本申请提供了一种虚拟人物不同表情模型生成方法及电子设备，首先基于相机获取视频帧图像；对所述视频帧图像进行预处理得到预处理后的图像；将所述预处理后的图像输入
AU
参数回归网络获取得到
M
个
AU
参数值；将所述视频帧图像输入头部姿态检测网络，获取得到头部的旋转矩阵
R
和平移向量
r
；将所述
M
个
AU
参数值以及旋转矩本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种虚拟人物不同表情模型生成方法，其特征在于，所述方法包括
:S1
：基于相机获取视频帧图像；
S2
：对所述视频帧图像进行预处理得到预处理后的图像；
S3
：将所述预处理后的图像输入
AU
参数回归网络获取得到
M
个
AU
参数值，所述
M
为大于1的整数；
S4
：将所述视频帧图像输入头部姿态检测网络，获取得到头部的旋转矩阵
R
和平移向量
r
；
S5
：将所述
M
个
AU
参数值以及旋转矩阵
R
和平移向量
r
输入
BlendShape
模型获取得到虚拟人物的表情
。2.
根据权利要求1所述的虚拟人物不同表情模型生成方法，其特征在于，所述
S2
对所述视频帧图像进行预处理得到预处理后的图像包括：
S21
：基于卷积神经网络对视频帧图像进行检测，得到人脸的特征点；
S22
：基于所述人脸特征点进行裁剪，获取得到人脸区域图像，并对所述人脸区域图像进行旋转矫正
。3.
根据权利要求1所述的虚拟人物不同表情模型生成方法，其特征在于，所述
S3
将所述预处理后的图像输入
AU
参数回归网络获取得到
M
个
AU
参数值中，所述
AU
参数回归网络包括顺序连接的输入层
、
第一卷积层
、
第一残差模块
、
第二残差模块
、
第三残差模块
、
第四残差模块，所述第二至第四残差模块的输出输入至特征融合模块，获取得到融合后的特征，将所述融合后的特征输入至多层感知机之后，再连接全连接层，得到
M
个
AU
参数值
。4.
根据权利要求3所述的虚拟人物不同表情模型生成方法，其特征在于，所述残差模块的输出表示为：
F
＝
Conv(x+RU(RU(Conv(x))))
，其中
x
表示输入，
Conv()
表示卷积操作，
RU()
表示残差操作，
F
表示输出
。5.
根据权利要求4所述的虚拟人物不同表情模型生成方法，其特征在于，所述残差操作的输出表示为：
RU(x)
...

【专利技术属性】
技术研发人员：汪洋，
申请(专利权)人：汪洋，
类型：发明
国别省市：