眼睑线检测方法、装置和电子设备制造方法及图纸

本申请实施方式公开了一种眼睑线检测方法、装置、电子设备以及计算机可读存储介质，其中的眼睑线检测方法包括：检测图像的人脸关键点；根据所述人脸关键点分割所述图像中的眼部区域图像；将所述眼部区域图像输入第一神经网络，并经所述第一神经网络输出用于表示所述眼部区域图像中的眼睑线的检测结果；其中，所述第一神经网络基于训练图像集预先训练完成。

【技术实现步骤摘要】
眼睑线检测方法、装置和电子设备
本申请涉及计算机视觉技术，尤其是涉及一种眼睑线检测方法、眼睑线检测装置、训练用于眼睑线检测的神经网络的方法、训练用于眼睑线检测的神经网络的装置、计算机可读存储介质、计算机程序以及电子设备。
技术介绍
人脸关键信息的检测是人脸的图像渲染、人脸识别人脸属性检测等诸多应用中不可或缺的一部分。准确的确定出人脸关键信息，不仅有利于对人脸的相关位置进行矫正，而且有利于增强人脸的语义信息。
技术实现思路
本申请实施方式提供一种眼睑线检测以及训练用于眼睑线检测的神经网络的技术方案。根据本申请实施方式的其中一个方面，提供了一种眼睑线检测方法，该方法包括：检测图像的人脸关键点；根据所述人脸关键点分割所述图像中的眼部区域图像；将所述眼部区域图像输入第一神经网络，并经所述第一神经网络输出用于表示所述眼部区域图像中的眼睑线的检测结果；其中，所述第一神经网络基于训练图像集预先训练完成。在本申请一个实施方式中，所述人脸关键点包括眼睛关键点，所述眼睛关键点包括以下至少之一：瞳孔关键点、眼眶关键点、眼睛中心关键点、眼角关键点；所述根据所述人脸关键点分割所述图像中的眼部区域图像，包括：根据所述眼睛关键点分割所述图像中的眼部区域图像。在本申请又一个实施方式中，所述用于表示所述眼部区域图像中的眼睑线的检测结果包括：由单眼上眼睑处或下眼睑处预定数量的关键点表示的轨迹信息或拟合线。在本申请再一个实施方式中，所述第一神经网络的训练方法包括：获取训练图像集中的图像样本中的眼睛图像块以及所述眼睛图像块的噪声图像块；将所述眼睛图像块和噪声图像块分别输入至第一神经网络，经所述第一神经网络提取所述眼睛图像块中的第一眼睑线关键点以及所述噪声图像块中的第二眼睑线关键点；根据所述第一眼睑线关键点和第二眼睑线关键点计算眼睑线关键点的第一漂移信息；至少以所述第一漂移信息为监督信息，对所述第一神经网络进行监督学习。在本申请再一个实施方式中，所述眼睛图像块的噪声图像块的获取方式包括：针对所述眼睛图像块进行数据增强处理，以获得所述眼睛图像块的噪声图像块。在本申请再一个实施方式中，所述针对眼睛图像块进行数据增强处理包括下述至少一个：针对眼睛图像块进行旋转处理；针对眼睛图像块进行水平和/或垂直方向上的平移处理；针对眼睛图像块进行放大/缩小处理。在本申请再一个实施方式中，所述第一/第二眼睑线关键点包括：单眼位于上眼睑处的10-15个关键点，和/或，单眼位于下眼睑处的10-15个关键点。在本申请再一个实施方式中，所述根据所述第一眼睑线关键点和第二眼睑线关键点计算眼睑线关键点的第一漂移信息包括：基于预定坐标系对所述第一眼睑线关键点的关键点坐标信息和/或第二眼睑线关键点的关键点坐标信息进行坐标变换；根据所述第一眼睑线关键点和第二眼睑线关键点各自的关键点编号以及变换后的关键点坐标信息，计算具有相同关键点编号的至少一组眼睑线关键点之间的漂移向量；其中，所述第一漂移信息包括所述漂移向量。在本申请再一个实施方式中，所述预定坐标系包括：眼睛图像块的坐标系。在本申请再一个实施方式中，所述方法还包括：根据第一眼睑线关键点和基于所述图像样本的眼睑线的标注数据形成的眼睛图像块的第三眼睑线关键点各自的关键点编号以及关键点坐标信息，计算具有相同关键点编号的至少一组眼睑线关键点之间的漂移向量，所述漂移向量被作为第二漂移信息；所述至少以所述第一漂移信息为监督信息，对所述第一神经网络进行监督学习包括：以所述第一漂移信息和所述第二漂移信息为监督信息，对所述第一神经网络进行监督学习。在本申请再一个实施方式中，所述眼睑线的标注数据采用以下步骤获取：确定眼睑线的曲线控制点；根据所述曲线控制点形成第一曲线；采用插值方式在所述第一曲线中插入多个点，所述插入的点的信息为所述眼睑线的标注数据。在本申请再一个实施方式中，经所述插入的点拟合形成的第二曲线相对眼睑线的误差度，为所述第一曲线相对眼睑线的误差度的1/5-1/10。根据本申请实施方式的其中另一个方面，提供了一种训练用于眼睑线检测的神经网络的方法，该方法包括：获取训练图像集中的图像样本中的眼睛图像块以及所述眼睛图像块的噪声图像块；将所述眼睛图像块和噪声图像块分别输入至第一神经网络，经所述第一神经网络提取所述眼睛图像块中的第一眼睑线关键点以及所述噪声图像块中的第二眼睑线关键点；根据所述第一眼睑线关键点和第二眼睑线关键点计算眼睑线关键点的第一漂移信息；至少以所述第一漂移信息为监督信息，对所述第一神经网络进行监督学习。在本申请一个实施方式中，所述训练用于眼睑线检测的神经网络的方法还包括：根据第一眼睑线关键点和基于所述图像样本的眼睑线的标注数据形成的眼睛图像块的第三眼睑线关键点各自的关键点编号以及关键点坐标信息，计算具有相同关键点编号的至少一组眼睑线关键点之间的漂移向量，且所述漂移向量被作为第二漂移信息；所述至少以所述第一漂移信息为监督信息，对所述第一神经网络进行监督学习包括：以所述第一漂移信息和所述第二漂移信息为监督信息，对所述第一神经网络进行监督学习。在本申请又一个实施方式中，所述训练用于眼睑线检测的神经网络的方法，所述眼睑线的标注数据采用以下步骤获取：确定眼睑线的曲线控制点；根据所述曲线控制点形成第一曲线；采用插值方式在所述第一曲线中插入多个点，所述插入的点的信息为所述眼睑线的标注数据。根据本申请实施方式的其中再一个方面，提供了一种眼睑线检测装置，且该装置包括：检测关键点模块，用于检测图像的人脸关键点；图像分割模块，用于根据所述人脸关键点分割所述图像中的眼部区域图像；眼睑线检测模块，用于将所述眼部区域图像输入第一神经网络，并经所述第一神经网络输出用于表示所述眼部区域图像中的眼睑线的检测结果；其中，所述第一神经网络基于训练图像集预先训练完成。在本申请一个实施方式中，所述眼睑线检测装置还包括：训练用于眼睑线检测的神经网络的装置，所述训练用于眼睑线检测的神经网络的装置包括：获取图像块模块，用于获取训练图像集中的图像样本中的眼睛图像块以及所述眼睛图像块的噪声图像块；提取关键点模块，用于将所述眼睛图像块和噪声图像块分别输入至第一神经网络，经所述第一神经网络提取所述眼睛图像块中的第一眼睑线关键点以及所述噪声图像块中的第二眼睑线关键点；第一计算模块，用于根据所述第一眼睑线关键点和第二眼睑线关键点计算眼睑线关键点的第一漂移信息；监督学习模块，用于至少以所述第一漂移信息为监督信息，对所述第一神经网络进行监督学习。在本申请又一个实施方式中，所述训练用于眼睑线检测的神经网络的装置还包括：第二计算模块，用于根据第一眼睑线关键点和基于所述图像样本的眼睑线的标注数据形成的眼睛图像块的第三眼睑线关键点各自的关键点编号以及关键点坐标信息，计算具有相同关键点编号的至少一组眼睑线关键点之间的漂移向量，且所述第二漂移信息包括所述漂移向量；所述监督学习模块具体用于：以所述第一漂移信息和所述第二漂移信息为监督信息，对所述第一神经网络进行监督学习。在本申请再一个实施方式中，所述训练用于眼睑线检测的神经网络的装置还包括：标注模块，用于确定眼睑线的曲线控制点，根据所述曲线控制点形成第一曲线，采用插值方式在所述第一曲线中插入多个点，所述插入的点的信息为所述眼睑线的标注数据。根据本申请本文档来自技高网...

【技术保护点】
1.一种眼睑线检测方法，其特征在于，所述方法包括：检测图像的人脸关键点；根据所述人脸关键点分割所述图像中的眼部区域图像；将所述眼部区域图像输入第一神经网络，并经所述第一神经网络输出用于表示所述眼部区域图像中的眼睑线的检测结果；其中，所述第一神经网络基于训练图像集预先训练完成。

【技术特征摘要】
1.一种眼睑线检测方法，其特征在于，所述方法包括：检测图像的人脸关键点；根据所述人脸关键点分割所述图像中的眼部区域图像；将所述眼部区域图像输入第一神经网络，并经所述第一神经网络输出用于表示所述眼部区域图像中的眼睑线的检测结果；其中，所述第一神经网络基于训练图像集预先训练完成。2.根据权利要求1所述的眼睑线检测方法，其特征在于，所述人脸关键点包括：眼睛关键点，所述眼睛关键点包括以下至少之一：瞳孔关键点、眼眶关键点、眼睛中心关键点、眼角关键点；所述根据所述人脸关键点分割所述图像中的眼部区域图像，包括：根据所述眼睛关键点分割所述图像中的眼部区域图像。3.根据权利要求1或2所述的眼睑线检测方法，其特征在于，所述用于表示所述眼部区域图像中的眼睑线的检测结果包括：由单眼上眼睑处或下眼睑处预定数量的关键点表示的轨迹信息或拟合线。4.根据权利要求1-3中任一项所述的眼睑线检测方法，其特征在于，所述第一神经网络的训练方法包括：获取训练图像集中的图像样本中的眼睛图像块以及所述眼睛图像块的噪声图像块；将所述眼睛图像块和噪声图像块分别输入至第一神经网络，经所述第一神经网络提取所述眼睛图像块中的第一眼睑线关键点以及所述噪声图像块中的第二眼睑线关键点；根据所述第一眼睑线关键点和第二眼睑线关键点计算眼睑线关键点的第一漂移信息；至少以所述第一漂移信息为监督信息，对所述第一神经网络进行监督学习。5.根据权利要求4所述的眼睑线检测方法，其特征在于，所述眼睛图像块的噪声图像块的获取方式包括：针对所述眼睛图像块进行数据增强处理，以获得所述眼睛图像块的噪声图像块。6.一种训练用于眼睑线检测的神经网络的方法，其特征在于，包括：获取训练图像集中的图像样本中的眼睛图像块以及所述眼睛...

【专利技术属性】
技术研发人员：陈彦杰，王飞，钱晨，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京,11