【技术实现步骤摘要】
本专利技术属于图像处理，具体涉及一种基于深度学习的虚拟表情图像生成方法、装置及介质。
技术介绍
1、从真实人脸中获取其表情信息和头部姿态信息,驱动目标三维虚拟模型生成相似表情的技术是当前虚拟表情生成领域中重要的研究课题之一，在虚拟现实、数字娱乐等领域具有极高的应用价值。
2、目前，相关技术中虚拟表情生成方法，或需要高昂的面部表情捕捉设备、或需要高性能的计算机、或需要复杂的前后期的人工处理，或者牺牲一定的人脸表情信息获取的精度。
3、综上，如何通过普通单目摄像头获取视频图像，全程无人工干预地驱动目标三维表情模型快速生成高精度的虚拟表情的问题亟待解决。
技术实现思路
1、有鉴于此，本专利技术提供一种基于深度学习的虚拟表情图像生成方法、装置及介质。
2、本专利技术一方面提供了一种基于深度学习的虚拟表情图像生成方法，包括：
3、通过单目视频相机获取含有人脸的视频；
4、对所述含有人脸的视频逐帧进行人脸检测，获得视频中所有不同人脸的人脸图像序列，其中一个人脸图像序列中仅包含同一人脸；
5、通过人脸图像质量筛选方法对所述不同人脸的人脸图像序列逐一进行处理，获得所述视频中每张人脸的最佳人脸图像，构成最佳人脸图像序列；
6、通过已训练的人脸分类模型对所述最佳人脸图像集合进行分类处理，获得预设类别集合内的含人脸类别标签的最佳人脸图像序列；
7、对所述预设类别集合内的含人脸类别标签的最佳人脸图像序列内的图像
8、如果图像总数为1，将该图像作为最终人脸图像，并通过所述人脸类别标签和三维虚拟模型与人脸类别的对应关系，获得与所述最佳人脸图像匹配的目标三维虚拟模型；
9、如果图像总数大于1，通过人脸图像质量筛选方法对所述预设类别集合内的最佳人脸图像序列进行处理，获得含人脸类别表情的最终人脸图像，并通过所述人脸类别标签和三维虚拟模型与人脸类别的对应关系，获得与所述最佳人脸图像匹配的目标三维虚拟模型；
10、通过已训练的人脸关键点定位模型对所述最终人脸图像进行处理，获得人脸关键点二维坐标；
11、通过已训练的卷积神经网络对所述最终人脸图像进行au识别，获得au参数；
12、将所述人脸关键点二维坐标和所述au参数转化成作用于目标三维虚拟模型的驱动参数；
13、通过融合blendshape和二维关键点的虚拟人脸表情生成方法，利用驱动参数使目标三维虚拟模型生成与真实人脸表情相似的虚拟表情图像。
14、优选的，所述人脸图像质量筛选方法具体步骤包括：
15、获取人脸图像序列，对人脸图像序列中的图像进行以下操作：
16、对人脸图像进行模糊检测，获得图像模糊系数；
17、对人脸图像进行亮度检测，获得图像亮度系数；
18、对人脸图像进行遮挡检测，获得遮挡系数；
19、对人脸图像进行表情检测，获得表情夸张系数；
20、对所述图像模糊系数、图像亮度系数、遮挡系数和表情夸张系数进行综合评估，获得人脸图像质量系数；
21、获得人脸表情质量系数最优的人脸表情图像。
22、优选的，所述人脸分类模型包括：
23、获取人脸图像序列；
24、通过卷积神经网络对所述人脸图像序列进行分类处理，获得携带类别标签的人脸图像子序列；
25、获得在预设类别集合内的最佳人脸图像序列。
26、优选的，所述人脸关键点定位模型包括：
27、获取人脸图像；
28、利用基于深度可分离的卷积神经网络，对人脸图像的人脸关键点进行定位，获得人脸关键点的二维坐标。
29、优选的，所述融合blendshape和二维关键点的虚拟人脸表情生成方法包括：
30、利用驱动参数中的au参数，获得blendshape中的对应的表情基；
31、利用驱动参数中的人脸关键点二维坐标，估计头部刚性运动；
32、通过人脸表情计算方法，获得基础的人脸表情；
33、利用驱动参数中的人脸关键点二维坐标，映射为目标表情模型的面部三维坐标，对基础的人脸表情中的嘴巴、眼睛、鼻子进行调整；
34、获得生动的虚拟表情图像。
35、本专利技术的另一方面还提供了一种基于深度学习的虚拟表情图像生成装置，包括：
36、人脸视频获取模块，通过单目视频相机获取包含人脸的动态视频；
37、虚拟表情生成模块，通过所述基于深度学习的虚拟表情图像生成方法，生成与真实人脸表情相似的虚拟表情图像；
38、合照生成模块，将真实人脸与所述虚拟表情图像进行合并，生成合照；
39、支付模块，对是否需要打印所述合照进行判断，如果需要打印，生成支付二维码，如果不需要返回人脸视频获取模块；
40、打印模块，对所述合照进行打印；
41、分享模块，对所述合照通过社交平台进行分享，例如微信、小红书等社交平台。
42、本专利技术的另一方面还提供了一种电子设备，包括摄像头、处理器、存储器以及照片打印装置。
43、所述摄像头用于获取含人脸的动态视频；
44、所述存储器用于存储程序；
45、所述处理器执行所述程序实现前面所述的方法；
46、所述照片打印装置用于打印真实人脸与虚拟表情模型的合照。
47、本专利技术另一方面还提供一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
48、专利技术的有益效果主要表现在：首先，本专利技术提供一种基于深度学习的虚拟表情图像生成方法，易于用户使用，对于普通用户只需要使用单个普通摄像机和普通电脑，即可获得与人脸表情相似的生动的虚拟人脸表情，并且全程无需人工干预；其次，本专利技术提出一种人脸关键点定位模型的方法对人脸关键点进行定位，相较于之前的人脸关键点定位方法，该方法实时性强、精度高、效率高，并使用人脸图像质量检测模型，进一步提升了人脸关键点检测的精度；同时，本专利技术通过人脸分类对不同的目标人群分配不同的三维虚拟模型，增加了该方法的趣味性；最后，本专利技术提供一种虚拟表情图像生成的装置、电子设备和介质。
本文档来自技高网...【技术保护点】
1.一种基于深度学习的虚拟表情图像生成方法，其特征在于，包括：
2.根据权利要求1所述的人脸图像质量筛选方法，其特征在于，包括：
3.根据权利要求2所述的人脸分类模型，其特征在于，包括：
4.一种使用基于深度可分离的卷积神经网络结构的人脸关键点定位模型，其特征在于，包括：采用MobileNetV3网络的基本模块构建一个端到端的类VGG的网络模型。网络模型输入设置为224*224*1，对人脸的68个关键点进行定位，输出68个关键点的二维坐标。
5.根据权力5所述的网络结构采用改进的倒残差模块，其特征在于，包括：
6.根据权力1所述的融合Blendshape和二维关键点的虚拟人脸表情生成方法，其特征在于，包括：
7.一种人脸表情计算公式，其特征在于，包括：
8.一种基于深度学习的虚拟表情图像生成装置，其特征在于，包括：
9.一种电子设备，其特征在于，包括摄像头、处理器、存储器、以及照片打印装置。
10.一种计算机可读存储介质，其特征在于，包括：
【技术特征摘要】
1.一种基于深度学习的虚拟表情图像生成方法，其特征在于，包括：
2.根据权利要求1所述的人脸图像质量筛选方法，其特征在于，包括：
3.根据权利要求2所述的人脸分类模型，其特征在于，包括：
4.一种使用基于深度可分离的卷积神经网络结构的人脸关键点定位模型，其特征在于，包括：采用mobilenetv3网络的基本模块构建一个端到端的类vgg的网络模型。网络模型输入设置为224*224*1，对人脸的68个关键点进行定位，输出68个关键点的二维坐标。...
【专利技术属性】
技术研发人员：王全玉，王雪晴，康智慧，杜慧茜，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。