基于级联回归的面部特征点定位方法、装置、设备及介质制造方法及图纸

本发明专利技术适用计算机技术领域，提供了一种基于级联回归的面部特征点定位方法、装置、设备及介质，该方法包括：通过训练好的级联回归模型中的多尺度卷积神经网络，预测待定位人脸图像的特征点位置集合并提取该图像的全局特征，根据该全局特征通过级联回归模型中的每个精化层对待定位人脸图像的特征点位置集合进行修正，根据修正后的特征点位置集合确定待定位人脸图像上所有特征点的最终位置，其中，级联回归模型是通过基于雅克比矩阵的深度优化策略训练得到的，每个精化层包括局部特征提取器、特征融合器和回归器，从而在面部特征点定位过程中提高了图像纹理信息的利用效果和模型训练效果，进而提高了面部特征点定位的精度和准确度。

【技术实现步骤摘要】
基于级联回归的面部特征点定位方法、装置、设备及介质
本专利技术属于图像处理
，尤其涉及一种基于级联回归的面部特征点定位方法、装置、设备及介质。
技术介绍
面部特征点定位是基于人脸图像进行人脸动画生成的重要一环，通常先由一种可靠快速的人脸检测算法给出人脸区域作为输入，再对该人脸区域内的一组预定义的面部特征点进行定位，如眉毛、眼瞳、鼻尖、嘴角等。目前，面部特征点定位方法主要分为两类模型：以经典算法主动表观模型为代表的生成模型，以及近几年兴起的以级联回归方法(例如监督下降法)为代表的判别模型。生成模型在对无控制条件下获取的人脸进行特征点定位时往往失效，而判别模型无论是定位速度还是鲁棒性上展现出明显的优势，相关理论技术也有发展。然而，目前用于面部特征点定位的级联回归方法还存在以下问题：(1)在级联结构中人脸图像全局和局部的纹理信息并没有得到很好的利用；(2)用于面部特征点定位的级联回归模型无法进行端对端的学习；(3)级联回归中每个回归器的优化是相互独立的；(4)对人脸特征点进行定位的精度还有待提高。
技术实现思路
本专利技术的目的在于提供一种基于级联回归的面部特征点定位方法、装置、设备及存储介质，旨在解决由于现有技术中基于级联回归的面部特征点定位方法无法较好地利用人脸图像的纹理信息、且模型训练效果不佳，导致面部特征点定位精度不高且效果不佳的问题。一方面，本专利技术提供了一种基于级联回归的面部特征点定位方法，所述方法包括下述步骤：当接收到面部特征点定位请求时，获取所述面部特征点定位请求中的待定位人脸图像；通过预先训练好的级联回归模型中的多尺度卷积神经网络，预测所述待定位人脸图像的特征点位置集合并提取所述待定位人脸图像的全局特征，所述级联回归模型是通过预设的、基于雅克比矩阵的深度优化策略训练得到的；根据所述待定位人脸图像的全局特征，通过所述级联回归模型中的每个精化层对所述待定位人脸图像的特征点位置集合进行修正，所述每个精化层包括局部特征提取器、特征融合器以及回归器；根据修正后的、所述待定位人脸图像的特征点位置集合，确定所述待定位人脸图像上所有特征点的最终位置。另一方面，本专利技术提供了一种基于级联回归的面部特征点定位装置，所述装置包括：待定位图像获取单元，用于当接收到面部特征点定位请求时，获取所述面部特征点定位请求中的待定位人脸图像；特征点信息提取单元，用于通过预先训练好的级联回归模型中的多尺度卷积神经网络，预测所述待定位人脸图像的特征点位置集合并提取所述待定位人脸图像的全局特征，所述级联回归模型是通过预设的、基于雅克比矩阵的深度优化策略训练得到的；特征点位置修正单元，用于根据所述待定位人脸图像的全局特征，通过所述级联回归模型中的每个精化层对所述待定位人脸图像的特征点位置集合进行修正，所述每个精化层包括局部特征提取器、特征融合器以及回归器；以及特征位置确定单元，用于根据修正后的、所述待定位人脸图像的特征点位置集合，确定所述待定位人脸图像上所有特征点的最终位置。另一方面，本专利技术还提供了一种图像处理设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述基于级联回归的面部特征点定位方法所述的步骤。另一方面，本专利技术还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述基于级联回归的面部特征点定位方法所述的步骤。本专利技术通过训练好的级联回归模型中的多尺度卷积神经网络，预测待定位人脸图像的特征点位置集合并提取该图像的全局特征，根据该全局特征通过级联回归模型中的每个精化层对特征点位置集合进行修正，根据修正后的特征点位置集合确定待定位人脸图像上所有特征点的最终位置，其中，级联回归模型是通过基于雅克比矩阵的深度优化策略训练得到的，每个精化层包括局部特征点提取器、特征融合器和回归器，从而通过全局特征和精化层中的局部的特征提取器、特征融合期提高了图像纹理信息的利用效果，通过基于雅克比矩阵的深度优化策略提高了级联回归模型的训练效果，进而有效地提高了面部特征点定位的精度和准确度。附图说明图1是本专利技术实施例一提供的基于级联回归的面部特征点定位方法的实现流程图；图2是本专利技术实施例一提供的基于级联回归的面部特征点定位方法中多尺度卷积神经网络的结构示例图；图3是本专利技术实施例二提供的基于级联回归的面部特征点定位装置的结构示意图；图4是本专利技术实施例二提供的基于级联回归的面部特征点定位装置的优选结构示意图；以及图5是本专利技术实施例三提供的图像处理设备的结构示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。以下结合具体实施例对本专利技术的具体实现进行详细描述：实施例一：图1示出了本专利技术实施例一提供的基于级联回归的面部特征点定位方法的实现流程，为了便于说明，仅示出了与本专利技术实施例相关的部分，详述如下：在步骤S101中，当接收到面部特征点定位请求时，获取面部特征点定位请求中的待定位人脸图像。本专利技术实施例适用于面部特征点定位平台或系统。获取面部特征点定位请求的待定位人脸图像，后续对该待定位人脸图像进行面部特征点定位。在步骤S102中，通过预先训练好的级联回归模型中的多尺度卷积神经网络，预测待定位人脸图像的特征点位置集合并提取待定位人脸图像的全局特征，级联回归模型是通过预设的、基于雅克比矩阵的深度优化策略训练得到的。在本专利技术实施例中，预先通过基于雅克比矩阵的深度优化策略对级联回归模型进行训练，获得训练好的级联回归模型。在获得待定位人脸图像后，可通过级联回归模型中的多尺度卷积神经网络，预测待定位人脸图像的特征点位置集合，同时提取待定位人脸图像的全局特征。其中，特征点位置集合由每个预设特征点的位置信息(特征点在待定位人脸图像上的横纵坐标)构成。优选地，多尺度卷积神经网络由多个网络分支组成，每个网络分支的第一层卷积层采用不同大小的卷积核，通过每个网络分支提取待定位人脸图像上不同尺度的面部特征，将所有尺度的面部特征连接成一个特征向量，再将该特征向量输入多尺度卷积神经网络的全连接层中，将第一个全连接层的输出设置为待定位人脸图像的特征点位置集合，将最后一个全连接层的输出设置为待定位人脸图像的全局特征，从而有效地提高了待定位人脸图像上纹理信息的利用效果，进而提高了特征点位置集合的预测效果和全局特征的提取效果。优选地，在将待定位人脸图像输入到多尺度卷积神经网络之前，检测出待定位人脸图像对应的人脸框，按照人脸框对待定位人脸图像进行裁剪，将裁剪得到的人脸框内的图像输入多尺度卷积神经网络中，从而通过对待定位人脸图像进行处理，有效地提高特征点位置集合的预测效果和全局特征的提取效果。作为示例地，图2为多尺度卷积神经网络的结构示例图，在图2中，多尺度卷积神经网络一共有3个网络分支、3个卷积层和3个全连接层，每个网络分支的第一个卷积层分别采用了3×3、5×5和7×7大小的卷积核，人脸图像上的方框为人脸框，将人脸框内的图像输入到多尺度卷积神经网络中。在步骤S103中，根据待定位人脸图像的全局特征，通过级联回归模型中的每个精化层对待定位人脸图像本文档来自技高网...

【技术保护点】
1.一种基于级联回归的面部特征点定位方法，其特征在于，所述方法包括下述步骤：当接收到面部特征点定位请求时，获取所述面部特征点定位请求中的待定位人脸图像；通过预先训练好的级联回归模型中的多尺度卷积神经网络，预测所述待定位人脸图像的特征点位置集合并提取所述待定位人脸图像的全局特征，所述级联回归模型是通过预设的、基于雅克比矩阵的深度优化策略训练得到的；根据所述待定位人脸图像的全局特征，通过所述级联回归模型中的每个精化层对所述待定位人脸图像的特征点位置集合进行修正，所述每个精化层包括局部特征提取器、特征融合器以及回归器；根据修正后的、所述待定位人脸图像的特征点位置集合，确定所述待定位人脸图像上所有特征点的最终位置。

【技术特征摘要】
1.一种基于级联回归的面部特征点定位方法，其特征在于，所述方法包括下述步骤：当接收到面部特征点定位请求时，获取所述面部特征点定位请求中的待定位人脸图像；通过预先训练好的级联回归模型中的多尺度卷积神经网络，预测所述待定位人脸图像的特征点位置集合并提取所述待定位人脸图像的全局特征，所述级联回归模型是通过预设的、基于雅克比矩阵的深度优化策略训练得到的；根据所述待定位人脸图像的全局特征，通过所述级联回归模型中的每个精化层对所述待定位人脸图像的特征点位置集合进行修正，所述每个精化层包括局部特征提取器、特征融合器以及回归器；根据修正后的、所述待定位人脸图像的特征点位置集合，确定所述待定位人脸图像上所有特征点的最终位置。2.如权利要求1所述的方法，其特征在于，预测所述待定位人脸图像的特征点位置集合并提取所述待定位人脸图像的全局特征的步骤，包括：通过所述多尺度卷积神经网络提取所述待定位人脸图像上不同尺度的面部特征，所述多尺度卷积神经网络中不同网络分支的第一层卷积层采用不同大小的卷积核；将所述所有面部特征连接成对应的特征向量，将所述特征向量输入所述多尺度卷积神经网络中的全连接层中，获取所述多尺度卷积神经网络中第一个全连接层的输出和最后一个全连接层的输出；将所述第一个全连接层的输出设置为所述待定位人脸图像的全局特征，将所述最后一个全连接层的输出设置为所述待定位人脸图像的特征点位置集合。3.如权利要求1所述的方法，其特征在于，通过所述级联回归模型中的每个精化层对所述待定位人脸图像的特征点位置集合进行修正的步骤，包括：根据所述待定位人脸图像的特征点位置集合，通过所述级联回归模型中当前精化层内的局部特征提取器提取所述待定位人脸图像的局部特征；通过所述当前精化层内的特征融合器将所述待定位人脸图像的局部特征和所述待定位人脸图像的全局特征进行融合；将所述融合后的特征输入所述当前精化层内的回归器中，生成所述待定位人脸图像对应的特征点位置偏移量；根据所述特征点位置偏移量对所述待定位人脸图像的特征点位置集合进行修正，获得经过所述当前精化层修正的特征点位置集合；当所述当前精化层不是所述级联回归模型中最后一个精化层时，将所述级联回归模型中的下一精化层设置为所述当前精化层，并跳转至通过所述级联回归模型中当前精化层内的局部特征提取器提取所述待定位人脸图像的局部特征的步骤。4.如权利要求1所述的方法，其特征在于，获取所述面部特征点定位请求中的待定位人脸图像的步骤之前，所述方法还包括：获取预先采集的训练图像集，所述训练图像集包括人脸训练图像和每幅人脸训练图像对应的特征点最佳位置集合；通过所述级联回归模型中的多尺度卷积神经网络，预测所述人脸训练图像的特征点位置集合并提取所述人脸训练图像的全局特征；根据所述人脸训练图像的全局特征，通过所述级联回归模型中的每个精化层对所述人脸训练图像的特征点位置集合进行修正；根据所述人脸训练图像的特征点最佳位置集合、修正后的特征点位置集合和所述基于雅克比矩阵的深度优化策略，对所述级联回归模型进行训练，获得训练好的所述级联回归模型。5.如权利要求4所述的方法，其特征在于，对所述级联回归模型进行训练的步骤，包括：根据所述人脸训练图像的特征点最佳位置集合和修正后的所述人脸训练图像的特征点位置集合...

【专利技术属性】
技术研发人员：朱美芦，石大明，
申请(专利权)人：深圳大学，
类型：发明
国别省市：广东,44