应用程序的背景更换方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及人工智能技术领域，公开了一种应用程序的背景更换方法、装置、设备及存储介质。本方法包括：采集目标用户的人脸图像，其中，目标用户是使用或者操作终端的用户；将人脸图像输入预设面部特征提取模型进行特征提取，得到人脸图像的五官特征；将人脸图像的五官特征输入预设情绪识别模型进行情绪识别，得到目标用户在当前状态下的情绪类型；基于目标用户在当前状态下的情绪类型得到对应的背景，并基于背景更换应用程序中的背景。本发明专利技术将应用程序的背景更换功能和人脸识别技术相结合，根据对用户面部情绪的识别达到应用程序背景更换的目的。解决了无法以客户情绪作为客户属性标签，做页面展示的技术问题，提升了用户体验。验。验。

【技术实现步骤摘要】
应用程序的背景更换方法、装置、设备及存储介质


[0001]本专利技术涉及人工智能
，尤其涉及一种应用程序的背景更换方法、装置、设备及存储介质。

技术介绍

[0002]随着移动通讯设备的全面屏化，大屏化的趋势日益增加，让App具有更高科技性，更有趣味性；增加皮肤商城页面，提高皮肤商城的可运营性，同时提升用户体验。
[0003]为了提高面部表情识别的准确性，保证面部表情能够准确表达用户的需求，目前，智能终端会提取用户在设定时长内作出的一系列面部表情生成动态面部表情图像，并基于动态面部表情图像进行面部表情识别。然而，相较于静态面部表情图像，动态面部表情图像的数据量较大，在进行面部表情识别时，会在一定程度上增加智能终端的运算量，延长运算时长，而面部表情识别又是一项时效性要求很高的功能。因此，以客户情绪作为客户属性标签进行页面展示，成了本领域技术人员需要解决的技术问题。

技术实现思路

[0004]本专利技术的主要目的在于通过对客户面部情绪精准识别，解决了目前无法以客户情绪作为客户属性标签进行应用程序的背景更换的技术问题。
[0005]本专利技术第一方面提供了应用程序的背景更换方法，包括：通过安装有所述应用程序的终端上的摄像头采集目标用户的人脸图像，其中，所述目标用户是使用或者操作所述终端的用户；将所述人脸图像输入预设面部特征提取模型进行特征提取，得到所述人脸图像的五官特征；将所述人脸图像的五官特征输入预设情绪识别模型进行情绪识别，得到所述目标用户在当前状态下的情绪类型；基于所述目标用户在当前状态下的情绪类型得到对应的背景，并基于所述背景更换所述应用程序中的背景。
[0006]可选地，在本专利技术第一方面的第一种实现方式中，所述面部特征提取模型包括面部特征提取层、面部特征关系处理层、特征融合层和面部识别层；所述将所述人脸图像输入预设面部特征提取模型进行特征提取，得到所述人脸图像的五官特征包括：将所述人脸图像输入预设面部特征提取模型的面部特征提取层，通过所述面部特征提取层对所述人脸图像特征提取，得到所述人脸图像的面部特征；基于所述人脸图像对应的时间点和所述面部特征关系处理层，确定所述面部特征之间的面部特征关系；通过所述面部特征提取模型的特征融合层和所述面部特征关系，对所述面部特征进行特征融合，得到目标面部特征；通过所述面部特征提取模型的面部识别层对所述目标面部特征进行识别处理，得到所述人脸图像的五官特征。
[0007]可选地，在本专利技术第一方面的第二种实现方式中，所述基于所述人脸图像对应的时间点和所述面部特征关系处理层，确定所述面部特征之间的面部特征关系包括：通过所述面部特征关系处理层和所述人脸图像对应的视频时间点，对所述人脸图像面部特征进行排序，得到面部特征队列；根据所述面部特征队列，确定所述面部特征之间的面部特征关
系。
[0008]可选地，在本专利技术第一方面的第三种实现方式中，在所述将所述人脸图像的五官特征输入预设情绪识别模型进行情绪识别，得到所述目标用户在当前状态下的情绪类型之前，还包括：获取面部情绪识别数据集，其中，所述面部表情图像识别数据集中包括多种面部表情图像；将所述面部情绪识别数据集中的各面部表情图像输入至预设的多任务卷积神经网络，通过所述多任务卷积神经网络对所述面部表情图像进行面部检测，得到多种对应的面部特征图像；基于预设规则分别对所述面部特征图像添加黑块，得到的图像作为训练图像集；将所述训练图像集输入预设的待训练神经网络，以对所述待训练神经网络进行训练，将训练好的待训练神经网络作为情绪识别模型。
[0009]可选地，在本专利技术第一方面的第四种实现方式中，所述将所述训练图像集输入预设的待训练神经网络，以对所述待训练神经网络进行训练，将训练好的待训练神经网络作为情绪识别模型包括：初始化所述待训练神经网络的网络参数；将所述训练图像集按批量输入至所述待训练神经网络，通过预设学习率对所述待训练神经网络进行训练，得到所述待训练神经网络的网络参数的梯度值；根据所述梯度值更新所述待训练神经网络的网络参数，得到已更新网络参数的神经网络；将已更新网络参数的神经网络作为待训练神经网络，并返回将所述训练图像集依次输入至所述待训练神经网络进行训练，直至所述待训练神经网络的损失函数收敛为止，得到目标情绪识别模型。
[0010]可选地，在本专利技术第一方面的第五种实现方式中，所述将所述人脸图像的五官特征输入预设情绪识别模型进行情绪识别，得到所述目标用户在当前状态下的情绪类型包括：将所述人脸图像输入预设情绪识别模型进行预处理，得到预设数量个面部表情单元；基于所述情绪识别模型对所述面部表情单元进行识别，得到所述面部表情单元的特征；将所述面部特征和所述面部表情单元的特征进行特征融合，获得面部情绪融合特征；将所述面部情绪融合特征输入到预设的高斯分类器，利用所述高斯分类器对所述人脸图像进行情绪分类，得到所述目标用户在当前状态下的情绪类型。
[0011]可选地，在本专利技术第一方面的第六种实现方式中，所述将所述面部特征和所述面部表情单元的特征进行特征融合，获得面部情绪融合特征包括：将所述人脸图像进行分割，并所述分割后的人脸图像输入到预设的情绪识别模型中提取正脸的特征，获得所述人脸图像的面部特征；将所述面部表情单元的特征和所述面部特征进行特征层面的融合，获得面部情绪融合特征。
[0012]本专利技术第二方面提供了一种应用程序的背景更换装置，包括：采集模块，用于通过安装有所述应用程序的终端上的摄像头采集目标用户的人脸图像，其中，所述目标用户是使用或者操作所述终端的用户；特征提取模块，用于将所述人脸图像输入预设面部特征提取模型进行特征提取，得到所述人脸图像的五官特征；情绪识别模块，用于将所述人脸图像的五官特征输入预设情绪识别模型进行情绪识别，得到所述目标用户在当前状态下的情绪类型；更换模块，用于基于所述目标用户在当前状态下的情绪类型得到对应的背景，并基于所述背景更换所述应用程序中的背景。
[0013]可选地，在本专利技术第二方面的第一种实现方式中，所述特征提取模块包括：特征提取单元，用于将所述人脸图像输入预设面部特征提取模型的面部特征提取层，通过所述面部特征提取层对所述人脸图像特征提取，得到所述人脸图像的面部特征；确定单元，用于基
于所述人脸图像对应的时间点和所述面部特征关系处理层，确定所述面部特征之间的面部特征关系；
[0014]第一特征融合单元，用于通过所述面部特征提取模型的特征融合层和所述面部特征关系，对所述面部特征进行特征融合，得到目标面部特征；识别单元，用于通过所述面部特征提取模型的面部识别层对所述目标面部特征进行识别处理，得到所述人脸图像的五官特征。
[0015]可选地，在本专利技术第二方面的第二种实现方式中，所述确定单元具体用于：通过所述面部特征关系处理层和所述人脸图像对应的视频时间点，对所述人脸图像面部特征进行排序，得到面部特征队列；根据所述面部特征队列，确定所述面部特征之间的面部特征关系。
[0016]可选地，在本专利技术第二方面的第三种实现方式中，所述应用程序的背景更换装置还本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种应用程序的背景更换方法，其特征在于，所述应用程序的背景更换方法包括：通过安装有所述应用程序的终端上的摄像头采集目标用户的人脸图像，其中，所述目标用户是使用或者操作所述终端的用户；将所述人脸图像输入预设面部特征提取模型进行特征提取，得到所述人脸图像的五官特征；将所述人脸图像的五官特征输入预设情绪识别模型进行情绪识别，得到所述目标用户在当前状态下的情绪类型；基于所述目标用户在当前状态下的情绪类型得到对应的背景，并基于所述背景更换所述应用程序中的背景。2.根据权利要求1所述的应用程序的背景更换方法，其特征在于，所述面部特征提取模型包括面部特征提取层、面部特征关系处理层、特征融合层和面部识别层；所述将所述人脸图像输入预设面部特征提取模型进行特征提取，得到所述人脸图像的五官特征包括：将所述人脸图像输入预设面部特征提取模型的面部特征提取层，通过所述面部特征提取层对所述人脸图像特征提取，得到所述人脸图像的面部特征；基于所述人脸图像对应的时间点和所述面部特征关系处理层，确定所述面部特征之间的面部特征关系；通过所述面部特征提取模型的特征融合层和所述面部特征关系，对所述面部特征进行特征融合，得到目标面部特征；通过所述面部特征提取模型的面部识别层对所述目标面部特征进行识别处理，得到所述人脸图像的五官特征。3.根据权利要求2所述的应用程序的背景更换方法，其特征在于，所述基于所述人脸图像对应的时间点和所述面部特征关系处理层，确定所述面部特征之间的面部特征关系包括：通过所述面部特征关系处理层和所述人脸图像对应的视频时间点，对所述人脸图像面部特征进行排序，得到面部特征队列；根据所述面部特征队列，确定所述面部特征之间的面部特征关系。4.根据权利要求1所述的应用程序的背景更换方法，其特征在于，在所述将所述人脸图像的五官特征输入预设情绪识别模型进行情绪识别，得到所述目标用户在当前状态下的情绪类型之前，还包括：获取面部情绪识别数据集，其中，所述面部表情图像识别数据集中包括多种面部表情图像；将所述面部情绪识别数据集中的各面部表情图像输入至预设的多任务卷积神经网络，通过所述多任务卷积神经网络对所述面部表情图像进行面部检测，得到多种对应的面部特征图像；基于预设规则分别对所述面部特征图像添加黑块，得到的图像作为训练图像集；将所述训练图像集输入预设的待训练神经网络，以对所述待训练神经网络进行训练，将训练好的待训练神经网络作为情绪识别模型。5.根据权利要求4所述的应用程序的背景更换方法，其特征在于，所述将所述训练图像集输入预设的待训练神经网络，以对所述待训练神经网络进行训练，将训练好的待训练神
经网络作为情绪识别模型包括：初始化所述待训练神经网络的网络参数；将所述训练图像集按批量输入至所述...

【专利技术属性】
技术研发人员：宋蕾，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：