人眼状态识别方法、装置、终端及可读存储介质制造方法及图纸

本发明专利技术实施例提供了一种人眼状态识别方法、装置、终端及可读存储介质，其中，所述方法包括：预先通过关键点判断规则对至少一个训练图像进行人眼状态标注得到标注图像集，利用所述标注图像集对至少一个网络模型进行训练得到至少一个识别模型；预先调用所述至少一个识别模型对至少一个样本图像进行人眼状态识别后筛选具备相同人眼状态的图像得到筛选图像集，利用所述筛选图像集对初始识别模型进行训练得到人眼状态识别模型；获取目标人脸图像，所述目标人脸图像中包括人眼；调用所述人眼状态识别模型对所述目标人脸图像进行人眼状态识别，得到识别结果。通过实施本发明专利技术实施例，可以提高人眼状态识别的效率。

Human eye state recognition method, device, terminal and readable storage medium

【技术实现步骤摘要】
人眼状态识别方法、装置、终端及可读存储介质技术本专利技术涉及人工智能技术，尤其涉及一种人眼状态识别方法、装置、终端及可读存储介质。
技术介绍
人眼状态识别即判断人的眼睛是否张开，该技术应用广泛。如可以用于疲劳检测，也可以用于判断拍摄的图像是否合格等等。目前，主要是将人眼状态识别转化为机器学习中的一个有监督学习的问题进行处理，通过采集一些闭眼的图像和睁眼的图像，构建神经网络模型进行2分类来识别是否张开。但是，有监督学习依赖大规模标注数据进行模型训练，而标注数据是由人工进行标注获得的。并且，自然分布的图像中闭眼的数据很少，需要标注更大规模的图像才能获得一定量的闭眼数据，人工标注的工作量大且成本高，导致人眼状态识别的效率低。
技术实现思路
本专利技术实施例提供了一种人眼状态识别方法、装置、终端及可读存储介质，提高了人眼状态识别的效率。第一方面，本专利技术实施例提供了一种人眼状态识别方法、装置、终端及可读存储介质，该人眼状态识别方法包括：预先通过关键点判断规则对至少一个训练图像进行人眼状态标注得到标注图像集，利用标注图像集对至少一个网络模型进行训练得到至少一个识别模型；预先调用至少一个识别模型对至少一个样本图像进行人眼状态识别后筛选具备相同人眼状态的图像得到筛选图像集，利用筛选图像集对初始识别模型进行训练得到人眼状态识别模型；获取目标人脸图像，目标人脸图像中包括人眼；调用人眼状态识别模型对目标人脸图像进行人眼状态识别，得到识别结果，其中，识别结果用于指示目标人脸图像中人眼的状态。在一种实现方式中，至少一个识别模型包括第一识别模型和第二识别模型，调用人眼状态识别模型对目标人脸图像进行人眼状态识别，得到识别结果之前，还包括：获取第一图像集，该第一图像集中包括至少一个样本图像，样本图像中包括人眼；调用第一识别模型和第二识别模型分别对第一图像集中的样本图像进行人眼状态识别，对应得到第一识别结果集和第二识别结果集，该第一识别结果集和第二识别结果集用于指示第一图像集中每个样本图像中人眼的状态；筛选出第一识别结果集和第二识别结果集中具备相同人眼的状态的样本图像，得到筛选图像集；利用筛选图像集对初始识别模型进行训练，得到人眼状态识别模型。在一种实现方式中，调用第一识别模型和第二识别模型分别对第一图像集中的样本图像进行人眼状态识别之前，还包括：获取第二图像集，该第二图像集中包括至少一个训练图像；采用关键点判断规则对第二图像集中的训练图像进行人眼状态标注，得到包括至少一个标注图像的标注图像集；利用标注图像集分别训练第一网络模型和第二网络模型，得到第一识别模型和第二识别模型。在一种实现方式中，采用关键点判断规则对第二图像集中的训练图像进行人眼状态标注，得到包括至少一个标注图像的标注图像集包括：采用关键点检测算法对训练图像中的人眼进行关键点检测，得到样本图像中人眼的关键点；根据人眼的关键点计算人眼的闭合程度；若人眼的闭合程度小于闭合阈值，则对训练图像进行人眼状态标注得到标注图像，标注图像用于指示人眼的状态为闭眼；若人眼的闭合程度大于或等于闭合阈值，则对训练图像进行标注得到标注图像，标注图像用于指示人眼的状态为睁眼。在一种实现方式中，根据人眼的关键点计算人眼的闭合程度包括：根据人眼的关键点计算人眼的眼角距离和上下眼皮距离；对眼角距离和上下眼皮距离进行归一化计算，得到人眼的闭合程度。在一种实现方式中，利用标注图像集分别训练第一网络模型和第二网络模型，得到第一识别模型和第二识别模型包括：利用标注图像集并结合噪声容忍损失函数对第一网络模型和第二网络模型进行训练，得到第一识别模型和第二识别模型；其中，噪声容忍损失函数用于指示预测人眼状态与标注人眼状态之间的损失值，标注人眼状态为标注图像中标注的人眼的状态，预测人眼状态为采用目标网络模型对标注图像进行人眼状态预测得到的人眼的状态，目标网络模型为第一网络模型或第二网络模型。在一种实现方式中，利用标注图像集并结合噪声容忍损失函数对第一网络模型和第二网络模型进行训练，得到第一识别模型和第二识别模型包括：采用噪声容忍损失函数对标注图像集中的k个标注图像进行损失值计算，得到k个损失值，损失值为标注人眼状态和预测人眼状态之间的损失值；从k个损失值中，选取损失值小于第一阈值的m个损失值，k和m为正整数；利用选取的m个损失值对目标网络模型的网络参数进行更新。在一种实现方式中，噪声容忍损失函数如下公式所示：其中，sj表示对预测结果进行归一化，yi表示标注图像指示的人眼的状态，预测结果用于指示采用目标网络模型对标注图像进行人眼状态预测得到的结果。第二方面，本专利技术实施例提供了一种人眼状态识别装置，该人眼状态识别装置包括：处理单元，用于预先通过关键点判断规则对至少一个训练图像进行人眼状态标注得到标注图像集，利用标注图像集对至少一个网络模型进行训练得到至少一个识别模型；预先调用至少一个识别模型对至少一个样本图像进行人眼状态识别后筛选具备相同人眼状态的图像得到筛选图像集，利用筛选图像集对初始识别模型进行训练得到人眼状态识别模型；获取单元，用于获取目标人脸图像，目标人脸图像中包括人眼；识别单元，用于调用人眼状态识别模型对目标人脸图像进行人眼状态识别，得到识别结果，其中，识别结果用于指示目标人脸图像中人眼的状态。第三方面，本专利技术实施例提供了一种终端设备，该终端设备包括：存储器，该存储器包括计算机可读指令；与存储器相连的处理器，该处理器用于执行所述计算机可读指令，从而使得终端设备执行如上第一方面或第一方面的任意可能的实施方式中所描述的方法。第四方面，本专利技术实施例提供了一种计算机可读存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由处理器加载并执行如上第一方面或第一方面的任意可能的实施方式中所描述的方法。本专利技术实施例中，预先通过关键点判断规则对至少一个训练图像进行人眼状态标注得到标注图像集，利用标注图像集对至少一个网络模型进行训练得到至少一个识别模型；预先调用至少一个识别模型对至少一个样本图像进行人眼状态识别后筛选具备相同人眼状态的图像得到筛选图像集，利用筛选图像集对初始识别模型进行训练得到人眼状态识别模型；进而终端设备获取目标人脸图像，目标人脸图像中包括人眼；调用人眼状态识别模型对目标人脸图像进行人眼状态识别，得到识别结果，其中，识别结果用于指示目标人脸图像中人眼的状态。由此可见，终端设备可以在无人工对图像进行标注的情况下实现人眼状态识别，并提高了人眼状态识别的效率。附图说明为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提出的一种人眼状态识别方法的流程示意图；图2是本专利技术实施例提供的一种人眼状态识别示意图；图3是本专利技术实施例提出的一种人眼状态识别方法的流程示意图本文档来自技高网...

【技术保护点】
1.一种人眼状态识别方法，其特征在于，所述方法包括：/n预先通过关键点判断规则对至少一个训练图像进行人眼状态标注得到标注图像集，利用所述标注图像集对至少一个网络模型进行训练得到至少一个识别模型；/n预先调用所述至少一个识别模型对至少一个样本图像进行人眼状态识别后筛选具备相同人眼状态的图像得到筛选图像集，利用所述筛选图像集对初始识别模型进行训练得到人眼状态识别模型；/n获取目标人脸图像，所述目标人脸图像中包括人眼；/n调用所述人眼状态识别模型对所述目标人脸图像进行人眼状态识别，得到识别结果，其中，所述识别结果用于指示所述目标人脸图像中人眼的状态。/n

【技术特征摘要】
1.一种人眼状态识别方法，其特征在于，所述方法包括：
预先通过关键点判断规则对至少一个训练图像进行人眼状态标注得到标注图像集，利用所述标注图像集对至少一个网络模型进行训练得到至少一个识别模型；
预先调用所述至少一个识别模型对至少一个样本图像进行人眼状态识别后筛选具备相同人眼状态的图像得到筛选图像集，利用所述筛选图像集对初始识别模型进行训练得到人眼状态识别模型；
获取目标人脸图像，所述目标人脸图像中包括人眼；
调用所述人眼状态识别模型对所述目标人脸图像进行人眼状态识别，得到识别结果，其中，所述识别结果用于指示所述目标人脸图像中人眼的状态。


2.如权利要求1所述的方法，其特征在于，所述至少一个识别模型包括第一识别模型和第二识别模型，所述调用人眼状态识别模型对所述目标人脸图像进行人眼状态识别，得到识别结果之前，所述方法还包括：
获取第一图像集，所述第一图像集中包括所述至少一个样本图像，所述样本图像中包括人眼；
调用所述第一识别模型和所述第二识别模型分别对所述第一图像集中的样本图像进行人眼状态识别，对应得到第一识别结果集和第二识别结果集，所述第一识别结果集和所述第二识别结果集用于指示所述第一图像集中每个所述样本图像中人眼的状态；
筛选出所述第一识别结果集和所述第二识别结果集中具备相同人眼的状态的样本图像，得到所述筛选图像集；
利用所述筛选图像集对初始识别模型进行训练，得到所述人眼状态识别模型。


3.如权利要求2所述的方法，其特征在于，所述调用所述第一识别模型和所述第二识别模型分别对所述第一图像集中的样本图像进行人眼状态识别之前，所述方法还包括：
获取第二图像集，所述第二图像集中包括至少一个训练图像；
采用关键点判断规则对所述第二图像集中的训练图像进行人眼状态标注，得到包括至少一个标注图像的标注图像集；
利用所述标注图像集分别训练第一网络模型和第二网络模型，得到所述第一识别模型和所述第二识别模型。


4.如权利要求3所述的方法，其特征在于，所述采用关键点判断规则对所述第二图像集中的训练图像进行人眼状态标注，得到包括至少一个标注图像的标注图像集包括：
采用关键点检测算法对所述训练图像中的人眼进行关键点检测，得到所述样本图像中人眼的关键点；
根据所述人眼的关键点计算所述人眼的闭合程度；
若所述人眼的闭合程度小于闭合阈值，则对所述训练图像进行人眼状态标注得到所述标注图像，所述标注图像用于指示所述人眼的状态为闭眼...

【专利技术属性】
技术研发人员：贺珂珂，杨思骞，葛彦昊，汪铖杰，李季檩，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44