一种图像处理方法、装置、移动终端及存储介质制造方法及图纸

本发明专利技术提供了一种图像处理方法、装置、移动终端及存储介质。所述方法包括：依据移动终端的取景界面，采集用户的人脸图像序列；确定人脸图像序列中各人脸图像中的人脸关键点集；依据人脸关键点集，确定位移阈值，及相邻两帧人脸图像对应的人脸关键点集的平均位移；依据位移阈值和平均位移对学习率进行更新，得到更新学习率；依据更新学习率对各人脸图像对应的人脸关键点集进行调整。本发明专利技术可以减弱人脸静止时关键点的抖动现象，同时在人脸运动时迅速加大学习率，保证及时跟随真实点集，优化人脸关键点的抖动问题，为基于人脸关键点的贴纸、大眼、瘦脸等业务提供更稳定的效果，有助于提高短视频、拍摄、直播等场景的用户体验。

An Image Processing Method, Device, Mobile Terminal and Storage Media

The invention provides an image processing method, a device, a mobile terminal and a storage medium. The method includes: collecting the user's face image sequence according to the view interface of mobile terminal; determining the key point set of each face image in the face image sequence; determining the displacement threshold according to the key point set of the face, and the average displacement of the key point set corresponding to the two adjacent face images; updating the learning rate according to the displacement threshold and the average displacement, and obtaining the learning rate. Update the learning rate; adjust the set of key points corresponding to each face image according to the updating learning rate. The invention can reduce the jitter phenomenon of key points when the face is still, increase the learning rate rapidly when the face is moving, ensure that the real point set is followed in time, optimize the jitter problem of the key points of the face, provide more stable effect for stickers, big eyes, thin faces and other services based on the key points of the face, and help to improve the user experience of short video, shooting, live broadcasting and other scenes.

【技术实现步骤摘要】
一种图像处理方法、装置、移动终端及存储介质
本专利技术涉及移动通信
，特别是涉及一种图像处理方法、装置、移动终端及存储介质。
技术介绍
随着通信技术的不断发展，终端设备(如手机等)在人们生活中所占的比重越来越高。当前大部分视频直播类和拍摄类App(Application，应用程序)中都提供了贴纸、磨皮、美白、微整形(如大眼、瘦脸)等功能。这类功能的实现依赖于通过算法从人脸图像中计算出由一组关键点集表示的脸形。人脸关键点检测一般转化为优化问题求解，故模型预测值与真实值存在一定误差。另外，由于训练集在标定时存在误差、且实际应用场景中人脸姿态可能比较特殊、光照也更复杂、图像分辨率较低、噪声等原因，关键点预测值与真实值有一定偏差，导致人脸静止时这些点也会在一定范围内抖动，影响贴纸和微整形效果。一种简单的解决方案是在时域上对点的坐标进行滤波处理。但是，在人脸处于运动的状态下，这种方法会使关键点不能及时吻合实际人脸，影响后续贴纸、磨皮、美白、微整形(如大眼、瘦脸)等功能的效果。
技术实现思路
本专利技术实施例所要解决的技术问题是提供一种图像处理方法、装置、移动终端及存储介质，以解决现有技术中在人脸处于运动的状态下，人脸关键点不能及时吻合实际人脸，影响后续贴纸、磨皮、美白、微整形(如大眼、瘦脸)等功能的效果的技术问题。为了解决上述问题，本专利技术实施例提供了一种图像处理方法，包括：依据所述移动终端的取景界面，采集用户的人脸图像序列；确定所述人脸图像序列中各人脸图像中的人脸关键点集；依据所述人脸关键点集，确定位移阈值，及相邻两帧人脸图像对应的人脸关键点集的平均位移；依据所述位移阈值和所述平均位移对学习率进行更新，得到更新学习率；依据所述更新学习率对各所述人脸图像对应的人脸关键点集进行调整。优选地，所述依据所述人脸关键点集，确定位移阈值，包括：从所述人脸图像序列中选择一目标人脸图像；依据所述目标人脸图像对应的人脸关键点集，确定用户的两个人眼中心点分别对应的左关键点和右关键点；获取所述左关键点对应的第一坐标，及所述右关键点对应的第二坐标；依据所述第一坐标和所述第二坐标，计算得到所述眼间距；依据所述眼间距和两个预设常数，计算得到所述位移阈值。优选地，所述相邻两帧人脸图像包括第一帧人脸图像和第二帧人脸图像，依据所述人脸关键点集确定相邻两帧人脸图像对应的人脸关键点集的平均位移，包括：获取所述第一帧人脸图像对应的人脸关键点集中各关键点的第三坐标；获取所述第二帧人脸图像对应的人脸关键点集中各关键点的第四坐标；依据各所述第三坐标和各所述第四坐标，计算得到所述平均位移。优选地，所述依据所述位移阈值和所述平均位移对学习率进行更新，得到更新学习率，包括：获取所述位移阈值和所述平均位移中的最小值；计算所述最小值与所述位移阈值的比值的平方，得到所述更新学习率。优选地，所述依据所述更新学习率对各所述人脸图像对应的人脸关键点集进行调整，包括：依据所述人脸图像序列，获取当前帧人脸图像；计算所述当前帧人脸图像对应的人脸形状预测关键点集坐标；获取位于所述当前帧人脸图像的上一帧人脸图像；获取所述上一帧人脸图像对应的人脸形状估计关键点集坐标；依据所述人脸形状估计关键点集坐标、所述人脸形状预测关键点集坐标和所述更新学习率，对所述当前帧人脸图像对应的人脸关键点集进行调整。优选地，所述依据所述人脸形状估计关键点集坐标、所述人脸形状预测关键点集坐标和所述更新学习率，对所述当前帧人脸图像对应的人脸关键点集进行调整，包括：依据所述人脸形状估计关键点集坐标、所述人脸形状预测关键点集坐标和所述更新学习率，计算得到平滑值；依据所述平滑值，对所述人脸形状预测关键点集坐标进行调整。为了解决上述问题，本专利技术实施例提供了一种图像处理装置，包括：人脸图像序列采集模块，用于依据所述移动终端的取景界面，采集用户的人脸图像序列；关键点集确定模块，用于确定所述人脸图像序列中各人脸图像中的人脸关键点集；阈值位移确定模块，用于依据所述人脸关键点集，确定位移阈值，及相邻两帧人脸图像对应的人脸关键点集的平均位移；学习率更新模块，用于依据所述位移阈值和所述平均位移对学习率进行更新，得到更新学习率；关键点集调整模块，用于依据所述更新学习率对各所述人脸图像对应的人脸关键点集进行调整。优选地，所述阈值位移确定模块包括：目标人脸图像选择子模块，用于从所述人脸图像序列中选择一目标人脸图像；左右关键点确定子模块，用于依据所述目标人脸图像对应的人脸关键点集，确定用户的两个人眼中心点分别对应的左关键点和右关键点；第一二坐标获取子模块，用于获取所述左关键点对应的第一坐标，及所述右关键点对应的第二坐标；眼间距计算子模块，用于依据所述第一坐标和所述第二坐标，计算得到所述眼间距；位移阈值计算子模块，用于依据所述眼间距和两个预设常数，计算得到所述位移阈值。优选地，所述相邻两帧人脸图像包括第一帧人脸图像和第二帧人脸图像，依据阈值位移确定模块包括：第三坐标获取子模块，用于获取所述第一帧人脸图像对应的人脸关键点集中各关键点的第三坐标；第四坐标获取子模块，用于获取所述第二帧人脸图像对应的人脸关键点集中各关键点的第四坐标；平均位移计算子模块，用于依据各所述第三坐标和各所述第四坐标，计算得到所述平均位移。优选地，所述学习率更新模块包括：最小值获取子模块，用于获取所述位移阈值和所述平均位移中的最小值；更新学习率获取子模块，用于计算所述最小值与所述位移阈值的比值的平方，得到所述更新学习率。优选地，所述关键点集调整模块包括：当前帧人脸图像获取子模块，用于依据所述人脸图像序列，获取当前帧人脸图像；预测关键点集坐标计算子模块，用于计算所述当前帧人脸图像对应的人脸形状预测关键点集坐标；上一帧人脸图像获取子模块，用于获取位于所述当前帧人脸图像的上一帧人脸图像；估计关键点集坐标获取子模块，用于获取所述上一帧人脸图像对应的人脸形状估计关键点集坐标；关键点集调整子模块，用于依据所述人脸形状估计关键点集坐标、所述人脸形状预测关键点集坐标和所述更新学习率，对所述当前帧人脸图像对应的人脸关键点集进行调整。优选地，所述关键点集调整子模块包括：平滑值计算子模块，用于依据所述人脸形状估计关键点集坐标、所述人脸形状预测关键点集坐标和所述更新学习率，计算得到平滑值；预测关键点集调整子模块，用于依据所述平滑值，对所述人脸形状预测关键点集坐标进行调整。为了解决上述问题，本专利技术实施例提供了一种移动终端，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述任一项所述的图像处理方法。为了解决上述问题，本专利技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的图像处理方法。与现有技术相比，本专利技术实施例包括以下优点：本专利技术实施例中，通过依据移动终端的取景界面，采集用户的人脸图像序列，确定人脸图像序列中各人脸图像中的人脸关键点集，并依据人脸关键点集，确定位移阈值及相邻两帧人脸图像对应的人脸关键点集的平均位移，进而依据位移阈值和平均位移对学习率进行更新，并依据更新的学习率对各人脸图像对应的人脸关键点集进行调整。采用本专利技术实施例提供的方案，通过根据相邻本文档来自技高网...

【技术保护点】
1.一种图像处理方法，应用于移动终端，其特征在于，包括：依据所述移动终端的取景界面，采集用户的人脸图像序列；确定所述人脸图像序列中各人脸图像中的人脸关键点集；依据所述人脸关键点集，确定位移阈值，及相邻两帧人脸图像对应的人脸关键点集的平均位移；依据所述位移阈值和所述平均位移对学习率进行更新，得到更新学习率；依据所述更新学习率对各所述人脸图像对应的人脸关键点集进行调整。

【技术特征摘要】
1.一种图像处理方法，应用于移动终端，其特征在于，包括：依据所述移动终端的取景界面，采集用户的人脸图像序列；确定所述人脸图像序列中各人脸图像中的人脸关键点集；依据所述人脸关键点集，确定位移阈值，及相邻两帧人脸图像对应的人脸关键点集的平均位移；依据所述位移阈值和所述平均位移对学习率进行更新，得到更新学习率；依据所述更新学习率对各所述人脸图像对应的人脸关键点集进行调整。2.根据权利要求1所述的方法，其特征在于，所述依据所述人脸关键点集，确定位移阈值，包括：从所述人脸图像序列中选择一目标人脸图像；依据所述目标人脸图像对应的人脸关键点集，确定用户的两个人眼中心点分别对应的左关键点和右关键点；获取所述左关键点对应的第一坐标，及所述右关键点对应的第二坐标；依据所述第一坐标和所述第二坐标，计算得到所述眼间距；依据所述眼间距和两个预设常数，计算得到所述位移阈值。3.根据权利要求1所述的方法，其特征在于，所述相邻两帧人脸图像包括第一帧人脸图像和第二帧人脸图像，依据所述人脸关键点集确定相邻两帧人脸图像对应的人脸关键点集的平均位移，包括：获取所述第一帧人脸图像对应的人脸关键点集中各关键点的第三坐标；获取所述第二帧人脸图像对应的人脸关键点集中各关键点的第四坐标；依据各所述第三坐标和各所述第四坐标，计算得到所述平均位移。4.根据权利要求1所述的方法，其特征在于，所述依据所述位移阈值和所述平均位移对学习率进行更新，得到更新学习率，包括：获取所述位移阈值和所述平均位移中的最小值；计算所述最小值与所述位移阈值的比值的平方，得到所述更新学习率。5.根据权利要求1所述的方法，其特征在于，所述依据所述更新学习率对各所述人脸图像对应的人脸关键点集进行调整，包括：依据所述人脸图像序列，获取当前帧人脸图像；计算所述当前帧人脸图像对应的人脸形状预测关键点集坐标；获取位于所述当前帧人脸图像的上一帧人脸图像；获取所述上一帧人脸图像对应的人脸形状估计关键点集坐标；依据所述人脸形状估计关键点集坐标、所述人脸形状预测关键点集坐标和所述更新学习率，对所述当前帧人脸图像对应的人脸关键点集进行调整。6.根据权利要求5所述的方法，其特征在于，所述依据所述人脸形状估计关键点集坐标、所述人脸形状预测关键点集坐标和所述更新学习率，对所述当前帧人脸图像对应的人脸关键点集进行调整，包括：依据所述人脸形状估计关键点集坐标、所述人脸形状预测关键点集坐标和所述更新学习率，计算得到平滑值；依据所述平滑值，对所述人脸形状预测关键点集坐标进行调整。7.一种图像处理装置，应用于移动终端，其特征在于，包括：人脸图像序列采集模块，用于依据所述移动终端的取景界面，采集用户的人脸图像序列；关键点集确定模块，用于确定所述人脸图像序列中各人脸图像中的人脸关键点集；阈值位移确定模块，用于依据所述人脸关键点集，确定位移阈值，及相邻两帧人脸图像对应的人脸关键点集的平均位移；学习率...

【专利技术属性】
技术研发人员：王顺利，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京,11