一种基于神经网络的皮肤残妆检测方法及系统技术方案

本发明专利技术属于深度学习技术领域，提供了一种基于神经网络的皮肤残妆检测方法，包括步骤：根据清晰度阈值截取输入的视频流中某一帧的视频图像；将截取的视频图像进行预处理；将预处理后的视频图像输入经过训练的基于EfficientNet

【技术实现步骤摘要】
一种基于神经网络的皮肤残妆检测方法及系统


[0001]本专利技术涉及深度学习
，尤其涉及一种基于神经网络的皮肤残妆检测方法及系统。

技术介绍

[0002]随着社会科技的发生、生活水平的提高，人们越来越注重脸部的健康，为此，市场上出现了洁面仪，人们可通过洁面仪对皮肤进行清洗。洁面仪主要包括超声波洁面仪和机械式洁面仪两种，两者的原理均是让洁面仪刷头上的细毛震动，从而达到清洗、按摩脸部的效果。
[0003]但人们在日常通过洁面仪或者手动卸妆过程中，不一定能够将脸部的妆完全擦去，会导致部分残妆遗留在脸上，长时间的存在会使得面部皮肤吸收化妆品中的致癌化学物质，从而出现面部的肌肤问题。
[0004]现有的洁面仪大多只是具有简单的卸妆的功能，而不存在对残留妆容的识别并提醒用户进行清洗。

技术实现思路

[0005]本专利技术的目的在于提供一种基于神经网络的皮肤残妆检测方法，用以解决面部残留妆容检测的问题。
[0006]为了实现上述目的，本专利技术采用的技术方案为：
[0007]一种基于神经网络的皮肤残妆检测方法，包括步骤：
[0008]根据清晰度阈值截取输入的视频流中某一帧的视频图像；
[0009]将截取的视频图像进行预处理；
[0010]将预处理后的视频图像输入经过训练的基于EfficientNet
‑
lite网络的神经网络模型中对图像中的皮肤进行残妆检测。
[0011]进一步的，对视频图像进行预处理的步骤包括：
[0012]对截取的视频图像进行亮度平衡；
[0013]对亮度平衡后的图像进行自适应色彩平衡；
[0014]对色彩平衡后的图像再次进行亮度平衡，得到预处理后的视频图像。
[0015]进一步的，自适应色彩平衡的过程为通过差分方式计算目标点与周围像素点的明暗关系，校正目标点的像素值。
[0016]进一步的，所述神经网络模型包括：
[0017]多个由第一卷积块和第二卷积块连接组成的特征提取子网络，其用于提取视频图像中的残妆特征；
[0018]分类器，用于识别所述残妆特征，并输出该特征为预设特征类别中每个特征的概率值。
[0019]进一步的，所述第一卷积块包括依次连接的第一二维卷积层、二维深度卷积层以
及第二二维卷积层，所述第二卷积块包括依次连接的第一二维卷积层和第二卷积层。
[0020]进一步的，特征提取子网络与分类器之间还设置有与所述特征提取子网络连接的池化层和全卷积层。
[0021]进一步的，对所述神经网络模型进行训练的步骤包括：
[0022]通过预设方式获取人脸面部的残妆图像，并建立相应的数据集；
[0023]将所述数据集中的图像进行预处理；
[0024]将预处理后的数据集输入所述神经网络模型中进行训练，得到训练后的神经网络模型。
[0025]本专利技术的目的还在于提供一种基于神经网络的皮肤残妆检测系统，包括：
[0026]视频图像截取模块，用于根据清晰度阈值截取输入的视频流中某一帧的视频图像；
[0027]预处理模块，用于将截取的视频图像进行预处理；
[0028]检测模块，用于将预处理后的视频图像输入经过训练的基于EfficientNet
‑
lite网络的神经网络模型中对图像中的皮肤进行残妆检测。
[0029]进一步的，所述系统安装在洁面仪中，通过洁面仪上设置的摄像组件接收用户的实时面部视频流。
[0030]进一步的，所述系统也可以安装在移动终端中，所述系统通过预设摄像组件获取并经预设通讯方式传输后接收用户的实时面部视频流。
[0031]本专利技术与现有技术相比，至少包含以下有益效果：
[0032](1)本专利技术采用改进的EfficientNet
‑
lite网络模型，在精度损失能接受的情况下，模型的推理速度有很大提升，使得用户接收到信息的时延降低，用户能够有更好的使用体验；
[0033](2)本专利技术还在图像的预处理过程中，针对残妆特征难以有效识别的问题上加入了图像色彩平衡的过程，使得图像在后续的模型识别过程的准确率有大幅度的提高。
附图说明
[0034]图1是本专利技术皮肤残妆检测方法的总体流程图；
[0035]图2是本专利技术实施例一种将截取的视频图像进行预处理的流程图；
[0036]图3是本专利技术实施例一中EfficientNet
‑
lite神经网络模型的结构示意图；
[0037]图4是本专利技术实施例一中第一卷积块的结构示意图；
[0038]图5是本专利技术实施例一中第二卷积块的结构示意图；
[0039]图6是本专利技术实施例一中对模型进行训练的流程图；
[0040]图7是本专利技术实施例二中残妆检测系统的结构示意图。
具体实施方式
[0041]以下是本专利技术的具体实施例，并结合附图对本专利技术的技术方案作进一步的描述，但本专利技术并不限于这些实施例。
[0042]实施例一
[0043]如图1所示，本专利技术一种基于神经网络的皮肤残妆检测方法，其包括步骤：
[0044]S1、根据清晰度阈值截取输入的视频流中某一帧的视频图像；
[0045]S2、将截取的视频图像进行预处理；
[0046]S3、将预处理后的视频图像输入经过训练的基于EfficientNet
‑
lite网络的神经网络模型中对图像中的皮肤进行残妆检测。
[0047]其中，首先是将输入的视频流进行清晰度阈值截取，将清晰度足够高的图像输入至下一步，其主要判别依据是清晰图像中的高频分量更多。
[0048]其次，如图2所示，将截取的视频图像进行预处理的具体步骤包括：
[0049]S21、对截取的视频图像进行亮度平衡；
[0050]S22、对亮度平衡后的图像进行自适应色彩平衡；
[0051]S23、对色彩平衡后的图像再次进行亮度平衡，得到预处理后的视频图像。
[0052]因为在实际拍摄过程中，图像会具有亮暗不平衡的表现对识别造成影响。所以，进行预处理的第一步是采用亮度平衡将漂白和过暗的图片局部进行矫正，使得图像具有更加接近人眼的感受。
[0053]在经过亮度平衡之后，就需要对图像的色彩进行调节，在神经网络的预测过程中，需要更具有辨识度的特征进行增强，即对图像的高频部分进行强化，以此增加图像的辨识细节，其直接关系到之后神经网络模型识别的精度，相比于不经过预处理的检测，经过色彩平衡的预处理后模型的准确率能够提高50％左右，而达到98％
‑
99％的准确率。本专利技术主要是通过自动色彩均衡快速算法实现的，该算法主要通过差分的方式计算目标点与周围像素点的明暗关系，从而校正目标点的像素值，使图像的色彩能够有整体上的平衡。
[0054]该算法的主要过程为：首先，对图像进行色彩/空域调整，完成图像的色差校正，得到空域重构图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经网络的皮肤残妆检测方法，其特征在于，包括步骤：根据清晰度阈值截取输入的视频流中某一帧的视频图像；将截取的视频图像进行预处理；将预处理后的视频图像输入经过训练的基于EfficientNet
‑
lite网络的神经网络模型中对图像中的皮肤进行残妆检测。2.根据权利要求1所述的一种基于神经网络的皮肤残妆检测方法，其特征在于，对视频图像进行预处理的步骤包括：对截取的视频图像进行亮度平衡；对亮度平衡后的图像进行自适应色彩平衡；对色彩平衡后的图像再次进行亮度平衡，得到预处理后的视频图像。3.根据权利要求2所述的一种基于神经网络的皮肤残妆检测方法，其特征在于，自适应色彩平衡的过程为通过差分方式计算目标点与周围像素点的明暗关系，校正目标点的像素值。4.根据权利要求1所述的一种基于神经网络的皮肤残妆检测方法，其特征在于，所述神经网络模型包括：多个由第一卷积块和第二卷积块连接组成的特征提取子网络，其用于提取视频图像中的残妆特征；分类器，用于识别所述残妆特征，并输出该特征为预设特征类别中每个特征的概率值。5.根据权利要求4所述的一种基于神经网络的皮肤残妆检测方法，其特征在于，所述第一卷积块包括依次连接的第一二维卷积层、二维深度卷积层以及第二二维卷积层，所述第二卷积块包括依次连接的第一二维卷积层和第二卷积层。6.根据权利要求4所述的一种基于...

【专利技术属性】
技术研发人员：吴逸豪，倪佳哲，
申请(专利权)人：宁波智能技术研究院有限公司，
类型：发明
国别省市：