表情数据库的增强方法、训练方法、计算设备及存储介质技术

本发明专利技术适用计算机技术领域，提供了一种表情数据库的增强方法、训练方法、计算设备及存储介质，该方法首先获得包含待处理原始图像、参考原始图像及参考表情图像，待处理原始图像与参考原始图像中的对象具有相同的原始表情，而参考表情图像中的对象具有不同的目标表情；然后利用从原始表情到目标表情所呈现的变化，从待处理原始图像合成目标表情图像，使得目标表情图像中的对象具有目标表情。这样，将参考图像所反映的表情变化迁移到待处理图像上，从而合成目标图像，从而在显著增加样本表达的多样性、提高特征泛化能力、保留表情人脸细节特征的同时，高效扩展了训练样本数。

【技术实现步骤摘要】
表情数据库的增强方法、训练方法、计算设备及存储介质
本专利技术属于计算机
，尤其涉及一种表情数据库的增强方法、训练方法、计算设备及存储介质。
技术介绍
随着人机交互的发展，面部表情识别已经成为近几十年来热门课题。如今，神经网络采用复杂结构或由多重非线性变换构成的多个处理层，可对数据进行高层抽象，并应用于图像识别与分析。基于神经网络的表情识别技术已经超越了各种传统方法，并且通过网络设计、表情数据库增强、度量学习与网络复合等各种方法，改善了神经网络的泛化识别能力。在基于神经网络的面部表情识别算法中，需要大量的训练图片构成表情数据库。训练图片通常是人工收集的，所以图片规模很大程度受到限制，导致训练样本数不足。同时，传统的表情数据库增强方式，比如基于图片翻转、裁剪等操作，并不会显著增加样本表达的多样性，而且还可能限制特征的泛化能力，而基于统计学习的表情数据库增强，容易丧失表情人脸的细节特征，使得所学习的特征丢失各种表情的细节信息，导致表情识别效果欠佳。
技术实现思路
本专利技术的目的在于提供一种表情数据库的增强方法、训练方法、计算设备及存储介质，旨在解决现有技术所存在的、训练样本数不足、样本表达多样性及泛化能力受限、因细节特征损失而导致的表情识别效果欠佳的问题。一方面，本专利技术提供了一种表情数据库的增强方法，包括：获得包含第一对象的待处理原始图像、包含第二对象的参考原始图像及包含第三对象的参考表情图像，所述第一对象与所述第二对象具有相同的原始表情，所述第三对象具有不同于所述原始表情的目标表情；利用所述第三对象的所述目标表情相对于所述第二对象的所述原始表情的变化，从所述待处理原始图像合成目标表情图像，所述目标表情图像中的第四对象具有所述目标表情。进一步的，利用所述第三对象的所述目标表情相对于所述第二对象的所述原始表情的变化，从所述待处理原始图像合成目标表情图像，具体包括：利用所述第三对象的所述目标表情相对于所述第二对象的所述原始表情的形状变化，从所述待处理原始图像合成中间图像；利用所述第三对象的所述目标表情相对于所述第二对象的所述原始表情的纹理变化，从所述中间图像合成所述目标表情图像。进一步的，利用所述第三对象的所述目标表情相对于所述第二对象的所述原始表情的形状变化，从所述待处理原始图像合成中间图像，具体包括：将所述待处理原始图像、所述参考原始图像及所述参考表情图像，进行关于对象的统一标准化处理，所述待处理原始图像、所述参考原始图像及所述参考表情图像中指定特征点与边界点之间定义有网格关系；在统一标准化处理后，将所述第三对象相对于所述第二对象在指定特征点上的、从所述原始表情到所述目标表情的位置变化，通过所述网格关系，反映到所述第四对象相对于所述第一对象在所述指定特征点上的位置变化上，所述指定特征点与表情相关；将所述第三对象相对于所述第二对象在所述网格关系所指代区域的颜色及纹理变化，反映到所述第四对象相对于所述第一对象在所述指代区域上的颜色及纹理变化上。进一步的，利用所述第三对象的所述目标表情相对于所述第二对象的所述原始表情的形状变化，从所述待处理原始图像合成中间图像，具体还包括：利用预先构建的优化函数，优化所述第四对象上所述网格关系所指代区域在所述中间图像上的位置。进一步的，利用所述第三对象的所述目标表情相对于所述第二对象的所述原始表情的纹理变化，从所述中间图像合成所述目标表情图像，具体包括：获得所述中间图像上相对于所述待处理原始图像需发生与表情相关的纹理变化的指定区域；将所述第三对象相对于所述第二对象在指定区域内的相邻像素点之间的亮度差异，反映到所述第四对象相对于所述第一对象在指定区域内的相邻像素点之间的亮度差异上。进一步的，将所述第三对象相对于所述第二对象在指定区域内的相邻像素点之间的亮度差异，反映到所述第四对象相对于所述第一对象在指定区域内的相邻像素点之间的亮度差异上，具体为：将所述第三对象相对于所述第二对象在指定区域内的相邻像素点之间的亮度差异，通过加权处理，得到所述第四对象相对于所述第一对象在指定区域内的相邻像素点之间的亮度差异，加权处理所对应的权重由所述第一对象及所述第二对象的各所述纹理区域的平均亮度来确定。进一步的，所述表情数据库的增强方法还包括：将所述目标表情图像输入至第一神经网络中，判断所述目标表情图像的有效性，其中，所述第一神经网络通过对训练集采用中心损失函数进行训练得到，所述训练集包含：所述参考原始图像及所述参考表情图像，对所述第一神经网络进行训练直至获得各表情的聚类中心向量，判断所述目标表情图像的有效性，具体为：依据所述目标表情图像的全连接层向量与所述聚类中心向量的欧式距离，进行所述目标表情图像有效性的判断。另一方面，本专利技术提供了一种训练方法，所述训练方法包括：采用如上述的表情数据库的增强方法，得到所述目标表情图像；将所述目标表情图像添加到表情数据库中；基于所述表情数据库，训练得到表情识别用第二神经网络。另一方面，本专利技术还提供了一种计算设备，包括存储器及处理器，所述处理器执行所述存储器中存储的计算机程序时实现如上述方法中的步骤。另一方面，本专利技术还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述方法中的步骤。本专利技术首先获得包含待处理原始图像、参考原始图像及参考表情图像，待处理原始图像与参考原始图像中的对象具有相同的原始表情，而参考表情图像中的对象具有不同的目标表情；然后利用从原始表情到目标表情所呈现的变化，从待处理原始图像合成目标表情图像，使得目标表情图像中的对象具有目标表情。这样，将参考图像所反映的表情变化迁移到待处理图像上，从而合成目标图像，从而在显著增加样本表达的多样性、提高特征泛化能力、保留表情人脸细节特征的同时，高效扩展了训练样本数。附图说明图1是本专利技术实施例一提供的表情数据库的增强方法的实现流程图；图2是本专利技术实施例二中步骤S102的细化流程图；图3是本专利技术实施例三中步骤S201的细化流程图；图4是本专利技术实施例三中指定特征点与边界点的示意图；图5是本专利技术实施例三中三角网格的示意图；图6是本专利技术实施例四中步骤S201的细化流程图；图7是本专利技术实施例五中步骤S202的细化流程图；图8是本专利技术实施例五中待处理原始图像的示意图；图9是本专利技术实施例五中中间图像的示意图；图10是本专利技术实施例五中目标表情图像的示意图；图11是本专利技术实施例七提供的训练方法的实现流程图；图12是本专利技术实施例八提供的计算设备的结构示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。以下结合具体实施例对本专利技术的具体实现进行详细描述：实施例一：图1示出了本专利技术实施例一提供的表情数据库的增强方法的实现流程，为了便于说明，仅示出了与本专利技术实施例相关的部分，详述如下：在步骤S101中，获得包含第一对象的待处理原始图像、包含第二对象的参考原始图像及包含第三对象的参考表情图像，第一对象与第二对象具有相同的原始表情，第三对象具有不同于原始表情的目标表情。本实施例中，对象指的是人脸，然而，应用示例中不限于此，例如：可作出表情的动物或本文档来自技高网...

【技术保护点】
1.一种表情数据库的增强方法，其特征在于，包括：获得包含第一对象的待处理原始图像、包含第二对象的参考原始图像及包含第三对象的参考表情图像，所述第一对象与所述第二对象具有相同的原始表情，所述第三对象具有不同于所述原始表情的目标表情；利用所述第三对象的所述目标表情相对于所述第二对象的所述原始表情的变化，从所述待处理原始图像合成目标表情图像，所述目标表情图像中的第四对象具有所述目标表情。

【技术特征摘要】
1.一种表情数据库的增强方法，其特征在于，包括：获得包含第一对象的待处理原始图像、包含第二对象的参考原始图像及包含第三对象的参考表情图像，所述第一对象与所述第二对象具有相同的原始表情，所述第三对象具有不同于所述原始表情的目标表情；利用所述第三对象的所述目标表情相对于所述第二对象的所述原始表情的变化，从所述待处理原始图像合成目标表情图像，所述目标表情图像中的第四对象具有所述目标表情。2.如权利要求1所述的表情数据库的增强方法，其特征在于，利用所述第三对象的所述目标表情相对于所述第二对象的所述原始表情的变化，从所述待处理原始图像合成目标表情图像，具体包括：利用所述第三对象的所述目标表情相对于所述第二对象的所述原始表情的形状变化，从所述待处理原始图像合成中间图像；利用所述第三对象的所述目标表情相对于所述第二对象的所述原始表情的纹理变化，从所述中间图像合成所述目标表情图像。3.如权利要求2所述的表情数据库的增强方法，其特征在于，利用所述第三对象的所述目标表情相对于所述第二对象的所述原始表情的形状变化，从所述待处理原始图像合成中间图像，具体包括：将所述待处理原始图像、所述参考原始图像及所述参考表情图像，进行关于对象的统一标准化处理，所述待处理原始图像、所述参考原始图像及所述参考表情图像中指定特征点与边界点之间定义有网格关系；在统一标准化处理后，将所述第三对象相对于所述第二对象在指定特征点上的、从所述原始表情到所述目标表情的位置变化，通过所述网格关系，反映到所述第四对象相对于所述第一对象在所述指定特征点上的位置变化上，所述指定特征点与表情相关；将所述第三对象相对于所述第二对象在所述网格关系所指代区域的颜色及纹理变化，反映到所述第四对象相对于所述第一对象在所述指代区域上的颜色及纹理变化上。4.如权利要求3所述的表情数据库的增强方法，其特征在于，利用所述第三对象的所述目标表情相对于所述第二对象的所述原始表情的形状变化，从所述待处理原始图像合成中间图像，具体还包括：利用预先构建的优化函数，优化所述第四对象上所述网格关系所指代区域在所述中间图像上的位置。5.如权利要求2所述的表情数据库的增...

【专利技术属性】
技术研发人员：解为成，沈琳琳，田怡，
申请(专利权)人：深圳大学，
类型：发明
国别省市：广东,44