人脸姿态估计方法、装置、存储介质及计算机设备制造方法及图纸

本申请实施例公开了一种人脸姿态估计方法、装置、存储介质及计算机设备，涉及图像处理领域。包括：将输入图片进行归一化处理得到归一化图像；其中，所述输入图片包含人脸；利用预先训练的简化的网络模型对所述归一化图像进行检测得到人脸预测框的位置信息和多个人脸关键点位置信息；根据所述多个人脸关键点的位置信息计算所述人脸的姿态角。卷积神经网络的结构简单，可以部署在嵌入式设备上，因此可以实现高精度、高实时性和低运算量的人脸姿态估计。计。计。

【技术实现步骤摘要】
人脸姿态估计方法、装置、存储介质及计算机设备


[0001]本申请涉及图像处理领域，尤其涉及一种人脸姿态估计方法、装置、存储介质及计算机设备。

技术介绍

[0002]随着人工智能技术的飞速发展，其相关的产业和应用已经渗透到各个领域，各种智能化产品极大地便利了人们的生活。人脸姿态估计作为人工智能领域的一个连接入口和重要分支，其应用潮已经涌向了人们生产、生活中的众多领域。比如智能台灯姿态检测、疲劳驾驶检测以及虚拟现实等。
[0003]人脸姿态估计一般基于模型的方法、基于人脸外观的方法和基于分类的方法。基于模型的方法是对二维图像中人脸区域来提取2D特征点(如嘴角、眼角和鼻子等)与三维人脸模型3D特征点建立对应关系，利用几何等方法来估计人脸的姿态，在准确的特征点检测的前提下，这种估计人脸姿态的方法简单高效速度快，而且计算量小；基于外观的方法是在假设三维人脸姿态与二维图像中人脸的某些特征(灰度、图形梯度等)存在一定的对应关系，通过构建数学模型训练大量已知姿态的人脸图像恢复这种关系并确定人脸姿态的过程，但实际这种对应关系需要大量的训练图像验证，并且在对图片进行处理的过程中需要进行插值，计算量大，最后对姿态的估计结果较差。

技术实现思路

[0004]本申请实施例提供了人脸姿态估计方法、装置、存储介质及计算机设备，可以解决现有技术中人脸姿态估计存在计算量大、准确性不高和实时性不高的问题。所述技术方案如下：
[0005]第一方面，本申请实施例提供了一种人脸姿态估计方法，所述方法包括：
[0006]将输入图片进行归一化处理得到归一化图像；其中，所述输入图片包含人脸；
[0007]利用预先训练的网络模型对所述归一化图像进行检测得到人脸预测框的位置信息和多个人脸关键点位置信息；
[0008]根据所述多个人脸关键点的位置信息计算所述人脸的姿态角。
[0009]第二方面，本申请实施例提供了一种人脸姿态估计装置，所述装置包括：
[0010]归一化单元，用于将输入图片进行归一化处理得到归一化图像；其中，所述输入图片包含人脸；
[0011]检测单元，用于利用预先训练的网络模型对所述归一化图像进行检测得到人脸预测框的位置信息和多个人脸关键点位置信息；
[0012]计算单元，用于根据所述多个人脸关键点的位置信息计算所述人脸的姿态角。
[0013]第三方面，本申请实施例提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。
[0014]第四方面，本申请实施例提供一种计算机设备，可包括：处理器和存储器；其中，所
述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法步骤。
[0015]本申请一些实施例提供的技术方案带来的有益效果至少包括：
[0016]利用预先训练的网络模型输出人脸预测框的位置信息和人脸关键点的位置信息，然后利用人脸关键点的位置信息计算人脸的姿态角，本申请利用卷积神经网络完成人脸检测及人间关键点检测的功能，卷积神经网络可以有效的提取图像中各个关键点的位置信息，卷积神经网络的结构简单，可以部署在嵌入式设备上，因此可以实现高精度、高实时性和低运算量的人脸姿态估计。
附图说明
[0017]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0018]图1是本申请实施例提供的人脸姿态估计方法的流程示意图；
[0019]图2是本申请实施例提供的人脸预测框和锚框的示意图；
[0020]图3是本申请实施例提供的世界坐标系的示意图；
[0021]图4是本申请提供的一种人脸姿态估计装置的结构示意图；
[0022]图5是本申请提供的一种计算机设备的结构示意图。
具体实施方式
[0023]为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作进一步地详细描述。
[0024]需要说明的是，本申请提供的人脸姿态估计方法一般由计算机设备执行，相应的，人脸姿态估计装置一般设置于计算机设备中。
[0025]计算机设备，包括但不限于智能手机、平板电脑、膝上型便携式计算机和台式计算机等等。计算机设备上还可以安装有显示设备和摄像头，显示设备显示可以是各种能实现显示功能的设备，摄像头用于采集视频流；例如：显示设备可以是阴极射线管显示器(cathode ray tube display，简称CR)、发光二极管显示器(light
‑
emitting diode display，简称LED)、电子墨水屏、液晶显示屏(liquid crystal display，简称LCD)、等离子显示面板(plasma displaypanel，简称PDP)等。用户可以利用计算机设备上的显示设备，来查看显示的文字、图片、视频等信息。
[0026]下面将结合附图1，对本申请实施例提供的人脸姿态估计方法进行详细介绍。其中，本申请实施例中的人脸姿态估计装置可以是图1所示的计算机设备。
[0027]请参见图1，为本申请实施例提供了一种人脸姿态估计方法的流程示意图。如图2所示，本申请实施例的所述方法可以包括以下步骤：
[0028]S101、将原始图像进行归一化处理得到归一化图像。
[0029]其中，原始图像包括人脸，人脸的数量为一个或多个。图像归一化表示通过一系列变换,，将待处理的原始图像转换成相应的唯一标准形式。例如：归一化处理包括：将原始图
像包括的各个像素的取值除以255得到归一化图像，归一化图像包括的各个像素的取值在[0，1]之间。
[0030]S202、利用预先训练的网络模型对归一化图像进行检测得到人脸预测框的位置信息和多个人脸关键点的位置信息。
[0031]其中，预先训练的网络模型为基于机器学习或深度学习算法训练得到的卷积神经网络，例如：卷积神经网络为yolov3(you look only once v3)网络模型，以下的实施例以yolov3网络模型为例进行说明。计算机设备部署有预先训练的yolov3网络模型，yolov3网络模型是利用数据集训练得到的，数据集包括训练集、验证集和测试集，数据集的包括多个人脸图像，数据集的类型本申请不作限制。数据集中训练集、验证集和测试机的占比可以根据实际需求而定，本申请不作限制。数据集中的各个人脸图像设置有标注信息，标注信息可以是用户通过标注工具手动标注，也可以是计算机设备自动标注的，标注信息表示各个人脸图像中人脸的位置信息和多个人脸关键点的位置信息，例如：人脸图像中通过矩形框标注人脸的真实位置，该矩形框即为人脸标注框，以及通过标注点标注人脸上多个关键点的真实位置。
[0032]需要说明的是，本申请的yolov本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸姿态估计方法，其特征在于，包括：将输入图片进行归一化处理得到归一化图像；其中，所述输入图片包含人脸；利用预先训练的网络模型对所述归一化图像进行检测得到人脸预测框的位置信息和多个人脸关键点位置信息；根据所述多个人脸关键点的位置信息计算所述人脸的姿态角。2.根据权利要求1所述的方法，其特征在于，所述多个人脸关键点为：左眼关键点、右眼关键点、鼻子关键点、左嘴角关键点和右嘴角关键点；所述网络模型输出的参数值包括：左眼关键点偏移量(t
x1
,t
y1
)、右眼关键点偏移量(t
x2
,t
y2
)、鼻子关键点偏移量(t
x3
,t
y3
)、左嘴角关键点偏移量(t
x4
,t
y4
)和右嘴角关键点偏移量(t
x5
,t
y5
)；根据如下公式计算各个关键点的2D坐标：其中，Leye
x
和Leye
y
表示左眼关键点的2D坐标，Reye
x
和Reye
y
表示右眼关键点的2D坐标，Nose
x
和Nose
y
表示鼻子关键点的2D坐标，Lmouth
x
和Lmouth
y
表示左嘴角关键点的2D坐标，Rmouth
x
和Rmouth
y
表示右嘴角关键点的2D坐标；c
x
和c
y
为所述人脸预测框的中心点所在的特征网格图的左上角2D坐标；δ()为sigmoid函数。3.根据权利要求1或2所述的方法，其特征在于，所述将输入图片进行归一化处理得到归一化图像之前，还包括：利用聚类算法对数据集进行聚类得到多种尺度的锚框；确定人脸检测损失函数和人脸关键点检测损失函数；利用所述多种尺度的锚框、所述人脸检测损失函数和所述人脸关键点损失函数对所述训练集进行训练得到网络模型。4.根据权利要求3所述的方法，其特征在于，所述人脸关键点损失函数为：w、a和C为常数。5.根据权利要求1或2或4所述的方法，其特征在于，所述归一化处理包括：将原始图像包括的各个像素的取值除以255。6.一种人脸姿态估计装置，其特征在于，包括：归一化单元，用于将输入图片...

【专利技术属性】
技术研发人员：孟娟，
申请(专利权)人：珠海零边界集成电路有限公司，
类型：发明
国别省市：