人脸形状点和状态属性检测及增强现实方法和装置制造方法及图纸

本公开提供一种基于神经网络的人脸形状点和状态属性的检测方法和装置、一种基于人脸形状点和状态属性检测的增强现实方法和系统、以及计算机可读存储介质。所述人脸形状点和状态属性的检测方法包括：接收待检测的人脸图像；检测所述人脸图像中的人脸形状点及人脸状态属性；输出所述人脸形状点及人脸状态属性；其中，所述人脸形状点为人脸上能够代表人脸状态变化的点，所述人脸形状点具有与之对应的所述人脸状态属性。

Face Shape Point and State Attribute Detection and Augmented Reality Method and Device

The present disclosure provides a method and device for detecting face shape points and state attributes based on neural networks, an augmented reality method and system based on detecting face shape points and state attributes, and a computer readable storage medium. The method for detecting face shape points and state attributes includes: receiving face images to be detected; detecting face shape points and state attributes in the face images; outputting the face shape points and state attributes; in which the face shape points are the points on which the face can represent the change of face state. The face shape points have the corresponding face state attributes.

【技术实现步骤摘要】
人脸形状点和状态属性检测及增强现实方法和装置
本公开涉及图像处理领域，更具体地，本公开涉及一种基于神经网络的人脸形状点和状态属性的检测方法和装置、基于人脸形状点和状态属性检测的增强现实方法和系统、以及计算机可读存储介质。
技术介绍
增强现实是指在真实的物体上实时渲染虚拟的物体或场景，并配合真实物体完成互动。近年来，随着手机和智能技术的不断发展，基于人脸的增强现实(AR)应用越来越多出现在用户的视野中。虚拟试戴、饰物佩戴、动画渲染、虚拟场景等均是常见的增强现实应用。基于人脸的增强现实技术其核心问题在于，快速定位并跟踪人脸形状，并输出尽可能多的人脸状态描述。现有的人脸描述技术主要基于传统的机器学习方法，难以应对多状态的情景，特征抽取的时间占据算法总处理时间比重最大，分类效果差。
技术实现思路
鉴于上述问题而提出了本公开。本公开提供一种基于神经网络的目标检测方法和装置、一种基于人脸形状点和状态属性检测的增强现实方法和系统、以及计算机可读存储介质。根据本公开的一个方面，提供了一种基于神经网络的人脸形状点和状态属性的检测方法，所述检测方法包括：接收待检测的人脸图像；检测所述人脸图像中的人脸形状点及人脸状态属性；输出所述人脸形状点及人脸状态属性；其中，所述人脸形状点为人脸上能够代表人脸状态变化的点，所述人脸形状点具有与之对应的所述人脸状态属性。此外，根据本公开的一个方面的基于神经网络的人脸形状点和状态属性的检测方法，其中所述神经网络包括输入层、中间层、输出层，所述方法还包括：预先训练所述神经网络，其中，所述预先训练所述神经网络包括：经由所述输入层接收标注有人脸形状点及对应的人脸状态属性的训练图像；经由所述中间层对所述训练图像进行特征抽取；经由所述输出层输出训练结果，其中，所述输出层包括第一全连接层以及与所述第一全连接层对应的第一损失层、第二全连接层以及与所述第二全连接层对应的第二损失层；在所述神经网络的所述第一、第二损失层输出满足预定条件时，获得训练好的所述神经网络，在所述神经网络的损失层输出不满足预定条件时，继续输入所述训练图像以重复执行上述训练过程。此外，根据本公开的一个方面的基于神经网络的人脸形状点和状态属性的检测方法，其中，所述第一损失层的输出与所述人脸形状点相关；所述第二损失层的输出与所述人脸状态属性相关。所述第一损失层的输出为，由所述第一损失层的损失函数输出所述人脸形状点与标注的人脸形状点之间的欧式距离；所述第二损失层的输出为，由所述第二损失层的损失函数输出所述人脸状态属性与标注的人脸状态属性之间的欧式距离。所述第二损失层包括多个不同的损失函数以输出多种不同的所述人脸状态属性所对应的损失，所述多种不同的所述人脸状态属性对应于相同或同类的所述人脸形状点。其中，对于输出的不同的所述人脸状态属性，所述第二全连接层为空、或者多个所述损失函数共享同一个第二全连接层、或者同一个损失函数对应多个第二全连接层。所述预先训练所述神经网络还包括：将多个所述损失函数的输出结果加权相加，进行网络训练；以及在训练过程中逐个调整多个所述损失函数的权重，直到损失函数的误差收敛。根据本公开的另一个方面，提供了一种基于人脸形状点和状态属性检测的增强现实方法，包括：获取待渲染的图像；对所述图像进行人脸检测，获得所述图像中的人脸框；利用预先训练的神经网络得到所述人脸框中的人脸形状点及人脸状态属性；判断所述人脸形状点是否属于人脸；在所述人脸形状点属于人脸的情况下，根据所述人脸形状点及人脸状态属性渲染所述图像；其中，所述人脸形状点为人脸上能够代表人脸状态变化的点，所述人脸形状点具有与之对应的所述人脸状态属性。所述方法还包括在得到所述人脸形状点及人脸状态属性后，根据所述人脸形状点对所述人脸框进行调整。其中，所述图像为视频流中的一帧图像，所述方法还包括：根据当前图像帧中人脸形状点的检测结果，预估视频流中下一图像帧中的人脸框。根据本公开的再一个方面，提供了一种基于神经网络的人脸形状点和状态属性的检测装置，所述检测装置包括：存储器，用于存储非暂时性计算机可读指令；以及处理器，用于运行所述计算机可读指令，使得所述检测装置执行基于神经网络的人脸形状点和状态属性的检测方法，所述检测方法包括：接收待检测的人脸图像；检测所述人脸图像中的人脸形状点及人脸状态属性；输出所述人脸形状点及人脸状态属性；其中，所述人脸形状点为人脸上能够代表人脸状态变化的点，所述人脸形状点具有与之对应的所述人脸状态属性。根据本公开的再一个方面，提供了一种基于神经网络的人脸形状点和状态属性的增强现实装置，所述增强现实装置包括：存储器，用于存储非暂时性计算机可读指令；以及处理器，用于运行所述计算机可读指令，使得所述增强现实装置执行基于人脸形状点和状态属性检测的增强现实方法，包括：获取待渲染的图像；对所述图像进行人脸检测，获得所述图像中的人脸框；利用预先训练的神经网络得到所述人脸框中的人脸形状点及人脸状态属性；判断所述人脸形状点是否属于人脸；在所述人脸形状点属于人脸的情况下，根据所述人脸形状点及人脸状态属性渲染所述图像；其中，所述人脸形状点为人脸上能够代表人脸状态变化的点，所述人脸形状点具有与之对应的所述人脸状态属性。根据本公开的又一个方面，提供了一种基于神经网络的人脸形状点和状态属性的检测装置，所述装置包括：接收模块，用于接收待检测的人脸图像；检测模块，用于检测所述人脸图像中的人脸形状点及人脸状态属性；输出模块，用于输出所述人脸形状点及人脸状态属性；其中，所述人脸形状点为人脸上能够代表人脸状态变化的点，所述人脸形状点具有与之对应的所述人脸状态属性。根据本公开的又一个方面，提供了一种基于人脸形状点和状态属性检测的增强现实系统，包括：图像获取单元，用于获取待渲染的图像；人脸框检测单元，用于对所述图像进行人脸检测，获得所述图像中的人脸框；人脸状态检测单元，用于利用预先训练的神经网络得到所述人脸框中的人脸形状点及人脸状态属性；人脸判断单元，用于判断所述人脸形状点是否属于人脸；增强现实单元，用于在所述人脸形状点属于人脸的情况下，根据所述人脸形状点及人脸状态属性渲染所述图像；其中，所述人脸形状点为人脸上能够代表人脸状态变化的点，所述人脸形状点具有与之对应的所述人脸状态属性。所述增强现实系统还包括：人脸框调整单元，用于在得到所述人脸形状点及人脸状态属性后，根据所述人脸形状点对所述人脸框进行调整。其中，所述图像为视频流中的一帧图像，所述系统还包括：人脸框估计单元，用于根据当前图像帧中人脸形状点的检测结果，预估视频流中下一图像帧中的人脸框。根据本公开的再一个方面，提供了一种计算机可读存储介质，其上存储计算机可读程序指令，当所述计算机可读程序指令由处理器运行时，执行基于神经网络的人脸形状点和状态属性的检测方法、或基于人脸形状点和状态属性检测的增强现实方法。要理解的是，前面的一般描述和下面的详细描述两者都是示例性的，并且意图在于提供要求保护的技术的进一步说明。附图说明通过结合附图对本专利技术实施例进行更详细的描述，本专利技术的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本专利技术实施例的进一步理解，并且构成说明书的一部分，与本专利技术实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中，相同的参考标本文档来自技高网...

【技术保护点】
1.一种基于神经网络的人脸形状点和状态属性的检测方法，所述检测方法包括：接收待检测的人脸图像；检测所述人脸图像中的人脸形状点及人脸状态属性；输出所述人脸形状点及人脸状态属性；其中，所述人脸形状点为人脸上能够代表人脸状态变化的点，所述人脸形状点具有与之对应的所述人脸状态属性。

【技术特征摘要】
1.一种基于神经网络的人脸形状点和状态属性的检测方法，所述检测方法包括：接收待检测的人脸图像；检测所述人脸图像中的人脸形状点及人脸状态属性；输出所述人脸形状点及人脸状态属性；其中，所述人脸形状点为人脸上能够代表人脸状态变化的点，所述人脸形状点具有与之对应的所述人脸状态属性。2.如权利要求1所述的方法，其中所述神经网络包括输入层、中间层、输出层，所述方法还包括：预先训练所述神经网络，其中，所述预先训练所述神经网络包括：经由所述输入层接收标注有人脸形状点及对应的人脸状态属性的训练图像；经由所述中间层对所述训练图像进行特征抽取；以及经由所述输出层输出训练结果，其中，所述输出层包括第一全连接层以及与所述第一全连接层对应的第一损失层、第二全连接层以及与所述第二全连接层对应的第二损失层；在所述神经网络的所述第一、第二损失层输出满足预定条件时，获得训练好的所述神经网络，在所述神经网络的损失层输出不满足预定条件时，继续输入所述训练图像以重复执行上述训练过程。3.如权利要求2所述的方法，其中，所述第一损失层的输出与所述人脸形状点相关；所述第二损失层的输出与所述人脸状态属性相关。4.如权利要求3所述的方法，其中，所述第一损失层的输出为，由所述第一损失层的损失函数输出所述人脸形状点与标注的人脸形状点之间的欧式距离；所述第二损失层的输出为，由所述第二损失层的损失函数输出所述人脸状态属性与标注的人脸状态属性之间的欧式距离。5.如权利要求4所述的方法，其中，所述第二损失层包括多个不同的损失函数以输出多种不同的所述人脸状态属性所对应的损失，所述多种不同的所述人脸状态属性对应于相同或同类的所述人脸形状点。6.如权利要求5所述的方法，其中，对于输出的不同的所述人脸状态属性，所述第二全连接层为空、或者多个所述损失函数共享同一个第二全连接层、或者同一个损失函数对应多个第二全连接层。7.如权利要求4所述的方法，还包括：将多个所述损失函数的输出结果加权相加，进行网络训练；以及在训练过程中逐个调整多个所述损失函数的权重，直到损失函数的误差收敛。8.一种基于人脸形状点和状态属性检测的增强现实方法，包括：获取待渲染的图像；对所述图像进行人脸检测，获得所述图像中的人脸框；利用预先训练的神经网络得到所述人脸框中的人脸形状点及人脸状态属性；判断所述人脸形状点是否属于人脸；在所述人脸形状点属于人脸的情况下，根据所述人脸形状点及人脸状态属性渲染所述图像；其中，所述人脸形状点为人脸上能够代表人脸状态变化的点，所述人脸形状点具有与之对应的所述人脸状态属性。9.如权利要求8所述的方法，还包括：在得到所述人脸形状点及人脸状态属性后，根据所述人脸形状点对所述人脸框进行调整。10.如权利要求8所述的方法，其中，所述图像为视频流中的一帧图像，所述方法还包括：根据当前图像帧中人脸形状点的检测结果，预估视频流中下一图像帧中的人脸框。11.一种基于神经网络的人脸形状点和状态属性的检测装置，所述检测装置包括：存储器，用于存储非暂时性计算机可读指令；以及处理器，用于运行所述计算机可读指令，使得所述检测装置执行基于神经网络的人脸形状点和状态属性的检测方法，所述检测方法包括：接收待检测的人脸图像；检测所述人脸图像中的人脸形状点及人脸状态属性；输出所述人脸形状点及人脸状态属性；其中，所述人脸形状点为人脸上能够代表人脸状态变化的点，所述人脸形状点具有与之对应的所述人脸状态属性。12.如权利要求11所述的装置，其中所述神经网络包括输入层、中间层、输出层，所述检测方法还用于预先训练所述神经网络，其中，所述预先训练所述神经网络包括：经由所述输入层接收标注有人脸形状点及对应的人脸状态属性的训练图像；经由所述中间层对所述训练图像进行特征抽取；以及经由所述输出层输出训练结果，其中，所述输出层包括第一全连接层...

【专利技术属性】
技术研发人员：熊鹏飞，
申请(专利权)人：北京旷视科技有限公司，北京迈格威科技有限公司，
类型：发明
国别省市：北京,11