一种基于卷积神经网络的虚拟人像与表情同步方法技术

本发明专利技术公开了一种基于卷积神经网络的虚拟人像与表情同步方法，包括以下步骤：通过三维软件构建人像表情，在人像表情上构建动态特征点；通过相机进行人像数据采集，并对数据进行预处理，得到预处理后的人像数据；构建卷积神经网络，并通过人工标记人像数据的方法对卷积神经网络进行训练；将预处理后的人像数据输入训练完成的卷积神经网络，进行人像数据的特征点识别，得到人像数据的特征点；根据人像数据的特征点，将动态特征点进行匹配，获取人像数据的同步表情。本发明专利技术将动态特征点与输入人像数据的脸部特征点进行匹配，最后根据匹配结果对动态特征点进行移动，准确的完成了人像表情与虚拟表情的同步。

A method of virtual human image and expression synchronization based on convolutional neural network

【技术实现步骤摘要】
一种基于卷积神经网络的虚拟人像与表情同步方法
本专利技术属于虚拟人像与表情同步领域，具体涉及一种基于卷积神经网络的虚拟人像与表情同步方法。
技术介绍
随着信息技术的发展，社交软件越来越多，用户的交流也越来越紧密，通过文字不能够充分的展现人们的情绪，现有的社交软件都提供了各种各样的表情包，用户通过表情包来表达自己的情绪，但是目前的技术中表情都是固定的，且一般都是人脸固定某个部位的表情，由厂家提供的，不能够实时与用户的表情同步，且找表情比较费时。
技术实现思路
针对现有技术中的上述不足，本专利技术提供的一种基于卷积神经网络的虚拟人像与表情同步方法解决了用户表情与虚拟表情不能实时同步的问题。为了达到上述专利技术目的，本专利技术采用的技术方案为：一种基于卷积神经网络的虚拟人像与表情同步方法，其特征在于，包括以下步骤：S1、通过三维软件构建人像表情，在人像表情上构建动态特征点；S2、通过相机进行人像数据采集，并对数据进行预处理，得到预处理后的人像数据；S3、构建卷积神经网络，并通过人工标记人像数据的方法对卷积神经网络进行训练；S4、将预处理后的人像数据输入训练完成的卷积神经网络，进行人像数据的特征点识别，得到人像数据的特征点；S5、根据人像数据的特征点，将动态特征点进行匹配，获取人像数据的同步表情。进一步地，所述步骤S1中在人像表情上构建动态特征点的具体方法为：通过三维软件构建人像表情，并在人像表情的嘴巴、鼻子、眼睛和眉毛处构建动态特征点。进一步地，所述步骤S2包括以下分步骤：S2.1、通过相机对人像数据进行采集，得到人像数据；S2.2、对人像数据进行归一化预处理，得到预处理过后的人像数据。进一步地，所述步骤S3中卷积神经网络包括依次连接的输入层、第一卷积层、第二卷积层、平均池化层、第三卷积层、第一最大池化层、第四卷积层、第二最大池化层、全连接层和输出层；所述第一卷积层的大小为3×3，步长为2；所述平均池化层的大小为2×2，步长为2；所述第二卷积层、第三卷积层和第四卷积层的大小均为3×3，步长均为1。进一步地，所述步骤S3包括以下分步骤：S3.1、构建卷积神经网络，并采集若干训练人像数据；S3.2、采用人工标记的方式标记人像数据的特征点，得到标签图像数据；S3.3、将训练人像数据和标签图像数据输入卷积神经网络之中；S3.4、以原始的训练人像数据与标签图像特征点匹配度作为损失值，并以损失值最小为目标对卷积神经网络进行训练；S3.4、采用亚当算法作为网络参数的优化算法对卷积神经网络进行优化，训练至损失值小于0.5时，将此时的网络参数保存为最终的网络参数，得到训练完成的卷积神经网络。进一步地，所述步骤S3.1中训练人像数据中表情包括撇嘴表情、微笑表情、大笑表情、皱眉表情、张嘴表情、眨眼表情和噘嘴表情。进一步地，所述步骤S5包括以下分步骤：S5.1、根据人像数据特征点的所在部位，将动态特征点与人像数据的特征点进行匹配；S5.2、判断动态特征点与人像数据的特征点的匹配度是否超过98％，若是则进入步骤S5.3，否则返回步骤S5.1；S5.3、根据匹配结果和人像数据特征点，改变动态特征点的位置，完成人像数据的同步表情。进一步地，所述步骤S5.1包括以下分步骤：S5.1.1、对人像数据和人像表情进行脸部区域划分，所述脸部区域包括眉毛、鼻子、嘴巴、眼睛和其它区域；S5.1.2、根据脸部区域的边框信息，将人像数据和人像表情中相同脸部区域中的特征点进行匹配，得到匹配结果。本专利技术的有益效果为：(1)本专利技术通过在人像表情的嘴巴、鼻子、眼睛和眉毛处构建动态特征点，并通过动态特征点完成虚拟人像与表情的同步，在人脸重要的表情展现部位构建动态特征点，使能够同步的表情十分丰富。(2)本专利技术对人像数据进行采集后，对人像数据进行归一化处理，减少了后续的计算量，提升了表情同步的效率。(3)本专利技术通过使用各种表情对卷积神经网络进行训练，保证了卷积神经网络对人像数据特征点识别的准确度。(4)本专利技术通过构建卷积神经网络，并对卷积神经网络进行训练，能准确地识别人像数据的特征点，本专利技术通过对脸部区域进行划分，可以保证人像脸部的特征点可以准确匹配，且匹配时间短。(5)本专利技术设置动态特征点和对输入人像数据的脸部特征点进行识别，然后将动态特征点与输入人像数据的脸部特征点进行匹配，最后根据匹配结果对动态特征点进行移动，准确的完成了人像表情与虚拟表情的同步。附图说明图1为本专利技术提出的一种基于卷积神经网络的虚拟人像与表情同步方法流程图。图2为本专利技术提出的卷积神经网络的结构图。具体实施方式下面对本专利技术的具体实施方式进行描述，以便于本
的技术人员理解本专利技术，但应该清楚，本专利技术不限于具体实施方式的范围，对本
的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本专利技术的精神和范围内，这些变化是显而易见的，一切利用本专利技术构思的专利技术创造均在保护之列。下面结合附图详细说明本专利技术的实施例。如图1所示，一种基于卷积神经网络的虚拟人像与表情同步方法，包括以下步骤：S1、通过三维软件构建人像表情，在人像表情上构建动态特征点；S2、通过相机进行人像数据采集，并对数据进行预处理，得到预处理后的人像数据；S3、构建卷积神经网络，并通过人工标记人像数据的方法对卷积神经网络进行训练；S4、将预处理后的人像数据输入训练完成的卷积神经网络，进行人像数据的特征点识别，得到人像数据的特征点；S5、根据人像数据的特征点，将动态特征点进行匹配，获取人像数据的同步表情。在本实施例中，通过三维软件FaceGenModeller构建人像表情，通过相机进行人像数据采集时主要采集使用人员的面部表情。所述步骤S1中在人像表情上构建动态特征点的具体方法为：通过三维软件构建人像表情，并在人像表情的嘴巴、鼻子、眼睛和眉毛处构建动态特征点。所述步骤S2包括以下分步骤：S2.1、通过相机对人像数据进行采集，得到人像数据；S2.2、对人像数据进行归一化预处理，得到预处理过后的人像数据。如图2所示，步骤S3中卷积神经网络包括依次连接的输入层、第一卷积层、第二卷积层、平均池化层、第三卷积层、第一最大池化层、第四卷积层、第二最大池化层、全连接层和输出层；所述第一卷积层的大小为3×3，步长为2；所述平均池化层的大小为2×2，步长为2；所述第二卷积层、第三卷积层和第四卷积层的大小均为3×3，步长均为1。所述步骤S3包括以下分步骤：S3.1、构建卷积神经网络，并采集若干训练人像数据；S3.2、采用人工标记的方式标记人像数据的特征点，得到标签图像数据；S3.3、将训练人像数据和标签图像数据输入卷积神经网络之中；S3.4、以本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的虚拟人像与表情同步方法，其特征在于，包括以下步骤：/nS1、通过三维软件构建人像表情，在人像表情上构建动态特征点；/nS2、通过相机进行人像数据采集，并对数据进行预处理，得到预处理后的人像数据；/nS3、构建卷积神经网络，并通过人工标记人像数据的方法对卷积神经网络进行训练；/nS4、将预处理后的人像数据输入训练完成的卷积神经网络，进行人像数据的特征点识别，得到人像数据的特征点；/nS5、根据人像数据的特征点，将动态特征点进行匹配，获取人像数据的同步表情。/n

【技术特征摘要】
1.一种基于卷积神经网络的虚拟人像与表情同步方法，其特征在于，包括以下步骤：
S1、通过三维软件构建人像表情，在人像表情上构建动态特征点；
S2、通过相机进行人像数据采集，并对数据进行预处理，得到预处理后的人像数据；
S3、构建卷积神经网络，并通过人工标记人像数据的方法对卷积神经网络进行训练；
S4、将预处理后的人像数据输入训练完成的卷积神经网络，进行人像数据的特征点识别，得到人像数据的特征点；
S5、根据人像数据的特征点，将动态特征点进行匹配，获取人像数据的同步表情。


2.根据权利要求1所述的基于卷积神经网络的虚拟人像与表情同步方法，其特征在于，所述步骤S1中在人像表情上构建动态特征点的具体方法为：通过三维软件构建人像表情，并在人像表情的嘴巴、鼻子、眼睛和眉毛处构建动态特征点。


3.根据权利要求1所述的基于卷积神经网络的虚拟人像与表情同步方法，其特征在于，所述步骤S2包括以下分步骤：
S2.1、通过相机对人像数据进行采集，得到人像数据；
S2.2、对人像数据进行归一化预处理，得到预处理过后的人像数据。


4.根据权利要求1所述的基于卷积神经网络的虚拟人像与表情同步方法，其特征在于，所述步骤S3中卷积神经网络包括依次连接的输入层、第一卷积层、第二卷积层、平均池化层、第三卷积层、第一最大池化层、第四卷积层、第二最大池化层、全连接层和输出层；
所述第一卷积层的大小为3×3，步长为2；所述平均池化层的大小为2×2，步长为2；所述第二卷积层、第三卷积层和第四卷积层的大小均为3×3，步长均为1。


5.根据权利要求1所述的基于卷积神经网络的虚拟人像与表情同步方法，其特征在于...

【专利技术属性】
技术研发人员：吕云，
申请(专利权)人：成都威爱新经济技术研究院有限公司，
类型：发明
国别省市：四川;51