婴幼儿吐奶行为识别方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术涉及婴幼儿吐奶行为识别方法、装置、计算机设备及存储介质，该方法包括获取婴幼儿实时图像，以得到待识别图像；采用深度学习识别模型对待识别图像进行识别，以得到识别结果；将识别结果输出至终端，以提示终端；其中，深度学习识别模型是通过若干婴幼儿吐奶行为图像以及婴幼儿非吐奶行为图像作为样本集训练深度学习卷积神经网络所得的。本发明专利技术获取婴幼儿面部区域的候选框后，由分类网络将候选框划分为若干个局部区域，并映射至得分特征图，以得到相关特征图，根据相关特征图计算各个类别的概率以进行类别的识别，采用深度学习识别模型识别图像以获取类别，实现提高整个婴幼儿吐奶行为识别过程的准确率，降低识别复杂度。

Recognition method, device, computer equipment and storage medium of infant's spitting behavior

The invention relates to the recognition method, device, computer equipment and storage medium of infant's spitting behavior. The method includes obtaining real-time image of infant to get the image to be recognized; using the deep learning recognition model to recognize the image to be recognized to get the recognition result; outputting the recognition result to the terminal to prompt the terminal; wherein, the deep learning recognition model is based on The images of dry infant's spitting behavior and non - spitting behavior are obtained by training convolution neural network as sample set. After obtaining the candidate frame of the infant's face area, the candidate frame is divided into several local areas by the classification network and mapped to the score feature map to obtain the relevant feature map, the probability of each category is calculated according to the relevant feature map to identify the category, and the image is recognized by the deep learning recognition model to obtain the category, so as to improve the recognition of the whole infant's spitting behavior The accuracy of other processes reduces the complexity of recognition.

【技术实现步骤摘要】
婴幼儿吐奶行为识别方法、装置、计算机设备及存储介质
本专利技术涉及计算机
，更具体地说是指婴幼儿吐奶行为识别方法、装置、计算机设备及存储介质。
技术介绍
吐奶或溢奶是新生儿和婴幼儿很常见的现象，大多数情况下吐奶是生理性的，但是如果奶水由食管突然反逆到咽喉部时，婴幼儿刚好正在吸气，误入气管，发生呛奶。量少时，可直接吸入肺部造成吸入性肺炎。量大时，将造成气管堵塞，呼吸不畅，甚至会危及婴幼儿生命安全。虽然市场上已出现针对婴幼儿吐奶行为硬件识别设备，但多为侵扰式安装，影响婴幼儿睡眠质量，通过图像处理技术来识别吐奶行为的设备也易受光照、识别模型匮乏等因素影响。婴幼儿在睡眠期间，发生吐奶不易被察觉，缺少既能直接识别婴幼儿在睡眠期间的吐奶行为，又不影响婴幼儿睡眠的非接触式识别手段，目前关于婴幼儿吐奶行为识别的设备和方法主要分为两大类：一种是接触式的硬件传感器识别方法，往往会影响到婴幼儿睡眠质量，并且在婴幼儿吐奶量过少的情况下不易识别到；另一种是基于图像处理的非接触式识别方法。但是仅仅对图像灰度阈值信息的简单处理，很难保证识别结果的准确有效性，且一般会局限于婴幼儿的嘴部部位来识别吐奶行为，识别的准确率较低。因此，有必要设计一种新的方法，实现提高整个婴幼儿吐奶行为识别过程的准确率，降低识别复杂度。
技术实现思路
本专利技术的目的在于克服现有技术的缺陷，提供婴幼儿吐奶行为识别方法、装置、计算机设备及存储介质。为实现上述目的，本专利技术采用以下技术方案：婴幼儿吐奶行为识别方法，包括：获取婴幼儿实时图像，以得到待识别图像；采用深度学习识别模型对待识别图像进行识别，以得到识别结果；将识别结果输出至终端，以提示终端；其中，所述深度学习识别模型是通过若干婴幼儿吐奶行为图像以及婴幼儿非吐奶行为图像作为样本集训练深度学习卷积神经网络所得的。其进一步技术方案为：所述深度学习识别模型是通过若干婴幼儿吐奶行为图像以及婴幼儿非吐奶行为图像作为样本集训练深度学习卷积神经网络所得的，包括：获取带有类别标签的若干婴幼儿吐奶行为图像以及婴幼儿非吐奶行为图像，以得到样本集；对样本集分为训练集以及测试集；构建基础网络、面部区域提取网络以及分类网络；利用训练集对基础网络、面部区域提取网络以及分类网络进行训练，以得到待核对识别模型；采用测试集对待核对识别模型进行测试，以得到测试结果；判断所述测试结果是否符合预设条件；若是，则将待核对识别模型作为深度学习识别模型；若否，则返回所述利用训练集对基础网络、面部区域提取网络以及分类网络进行训练，以得到待核对识别模型。其进一步技术方案为：所述利用训练集对基础网络、面部区域提取网络以及分类网络进行训练，以得到待核对识别模型，包括：将训练集输入基础网络内进行卷积，以得到第一卷积结果；将第一卷积结果输入面部区域提取网络内进行面部区域提取，以得到候选框；将候选框输入分类网络内进行分类，以得到分类结果；根据分类结果以及对应类别标签计算损失值；判断所述损失值是否不大于预设阈值；若是，则整合基础网络、面部区域提取网络以及分类网络，以得到待核对识别模型；若否，则调整基础网络、面部区域提取网络以及分类网络对应的参数，并返回所述将训练集输入基础网络内进行卷积，以得到第一卷积结果。其进一步技术方案为：所述将候选框输入分类网络内进行分类，以得到分类结果，包括：对第一卷积结果进行卷积，以得到得分特征图；对候选框进行局部区域划分，以得到若干个局部区域；将若干个局部区域映射至对应的得分特征图内，并设定相关系数，以得到中间相关性特征图；对中间相关性特征图进行均值处理，以得到目标分类值；采用归一化指数函数对目标分类值计算指数，以得到类别数值；根据类别数值获取分类结果。其进一步技术方案为：所述对中间相关性特征图进行均值处理，以得到目标分类值，包括：对各个中间相关性特征图进行取均值，以得到均值相关性特征图；对均值相关性特征图进行取均值，以得到目标分类值。其进一步技术方案为：所述类别数值包括吐奶概率以及非吐奶概率。其进一步技术方案为：所述根据类别数值获取分类结果，包括：判断所述吐奶概率是否大于非吐奶概率；若是，则所述分类结果为吐奶；若否，则所述分类结果为非吐奶。本专利技术还提供了婴幼儿吐奶行为识别装置，包括：图像获取单元，用于获取婴幼儿实时图像，以得到待识别图像；识别单元，用于采用深度学习识别模型对待识别图像进行识别，以得到识别结果；结果输出单元，用于将识别结果输出至终端，以提示终端。本专利技术还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。本专利技术还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述的方法。本专利技术与现有技术相比的有益效果是：本专利技术通过获取婴幼儿的实时图像，将实时图像输入至深度学习识别模型内进行类别识别，该深度学习识别模型采用了三层网络，以获取婴幼儿面部区域的候选框后，由分类网络将候选框划分为若干个局部区域，并映射至得分特征图，以得到相关特征图，根据相关特征图计算各个类别的概率以进行类别的识别，采用深度学习识别模型识别图像以获取类别，实现提高整个婴幼儿吐奶行为识别过程的准确率，降低识别复杂度。下面结合附图和具体实施例对本专利技术作进一步描述。附图说明为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的婴幼儿吐奶行为识别方法的应用场景示意图；图2为本专利技术实施例提供的婴幼儿吐奶行为识别方法的流程示意图；图3为本专利技术实施例提供的婴幼儿吐奶行为识别方法的子流程示意图；图4为本专利技术实施例提供的婴幼儿吐奶行为识别方法的子流程示意图；图5为本专利技术实施例提供的婴幼儿吐奶行为识别方法的子流程示意图；图6为本专利技术实施例提供的婴幼儿吐奶行为识别方法的子流程示意图；图7为本专利技术实施例提供的婴幼儿吐奶行为识别方法的子流程示意图；图8为本专利技术实施例提供的婴幼儿吐奶行为识别装置的示意性框图；图9为本专利技术实施例提供的计算机设备的示意性框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。还应当理解，在此本专利技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本专利技术。如在本专利技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本专利技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包本文档来自技高网...

【技术保护点】
1.婴幼儿吐奶行为识别方法，其特征在于，包括：获取婴幼儿实时图像，以得到待识别图像；采用深度学习识别模型对待识别图像进行识别，以得到识别结果；将识别结果输出至终端，以提示终端；其中，所述深度学习识别模型是通过若干婴幼儿吐奶行为图像以及婴幼儿非吐奶行为图像作为样本集训练深度学习卷积神经网络所得的。

【技术特征摘要】
1.婴幼儿吐奶行为识别方法，其特征在于，包括：获取婴幼儿实时图像，以得到待识别图像；采用深度学习识别模型对待识别图像进行识别，以得到识别结果；将识别结果输出至终端，以提示终端；其中，所述深度学习识别模型是通过若干婴幼儿吐奶行为图像以及婴幼儿非吐奶行为图像作为样本集训练深度学习卷积神经网络所得的。2.根据权利要求1所述的婴幼儿吐奶行为识别方法，其特征在于，所述深度学习识别模型是通过若干婴幼儿吐奶行为图像以及婴幼儿非吐奶行为图像作为样本集训练深度学习卷积神经网络所得的，包括：获取带有类别标签的若干婴幼儿吐奶行为图像以及婴幼儿非吐奶行为图像，以得到样本集；对样本集分为训练集以及测试集；构建基础网络、面部区域提取网络以及分类网络；利用训练集对基础网络、面部区域提取网络以及分类网络进行训练，以得到待核对识别模型；采用测试集对待核对识别模型进行测试，以得到测试结果；判断所述测试结果是否符合预设条件；若是，则将待核对识别模型作为深度学习识别模型；若否，则返回所述利用训练集对基础网络、面部区域提取网络以及分类网络进行训练，以得到待核对识别模型。3.根据权利要求2所述的婴幼儿吐奶行为识别方法，其特征在于，所述利用训练集对基础网络、面部区域提取网络以及分类网络进行训练，以得到待核对识别模型，包括：将训练集输入基础网络内进行卷积，以得到第一卷积结果；将第一卷积结果输入面部区域提取网络内进行面部区域提取，以得到候选框；将候选框输入分类网络内进行分类，以得到分类结果；根据分类结果以及对应类别标签计算损失值；判断所述损失值是否不大于预设阈值；若是，则整合基础网络、面部区域提取网络以及分类网络，以得到待核对识别模型；若否，则调整基础网络、面部区域提取网络以及分类网络对应的参数，并返回所述将训练集输入基础...

【专利技术属性】
技术研发人员：汪玉冰，郑邦胜，王秋阳，周起如，
申请(专利权)人：深圳市赛为智能股份有限公司，
类型：发明
国别省市：广东,44