一种基于边缘计算的面部表情识别方法技术

一种基于边缘计算的面部表情识别方法，该方法在边缘设备上执行，在进行表情识别时可以减少请求响应时间和网络带宽，提高电池寿命，确保安全和隐私的方法，为了达到该目的，本发明专利技术充分利用边缘设备，使其原始图像可以不被传送到相应的服务器而直接处理，然后分析的结果可以更容易地传送给用户和原始数据进行比较。

【技术实现步骤摘要】
一种基于边缘计算的面部表情识别方法
本专利技术涉及图像处理领域，更具体地是基于图像处理的面部表情识别技术，涉及基于边缘计算的面部表情识别方法。
技术介绍
面部表情是人类表达情感的重要方式，它可以用于识别和确定一个人的情绪状态，面部行为的分析已经被用于很多不同的应用，以促进人机交互，比如安检、公安、军工、医疗等行业。其中面部动作单元检测可以通过分析局部面部区域中的某些肌肉运动的线索来识别面部表情，预测出相应的微表情。目前简单的图像分类、手势识别、声音检测和运动分析等都可以在边缘设备上完成。由于只传输最终的结果，因此我们可以最大限度减少延迟，提高隐私性并节省物联网系统中的带宽。在物联网时代，大量电子设备涌入互联网并产生大量数据，因此传统的云计算无法及时有效地处理这些数据，尤其在实际生产过程中使用高级系统时，通常需要较大的网络带宽才能将大量帧从摄像头传输到后端服务器，对于一些较为紧急的情况，时间延迟对实时数据来回移动将非常重要。
技术实现思路
本专利技术的目的在于针对上述问题，提供一种基于边缘计算的面部表情识别方法；在进行表情识别时可以减少请求响应时间和网络带宽，提高电池寿命，确保安全和隐私的方法，为了达到该目的，本专利技术充分利用边缘设备，使其原始图像可以不被传送到相应的服务器而直接处理，然后分析的结果可以更容易地传送给用户和原始数据进行比较。本专利技术的技术方案是：本专利技术提供一种基于边缘计算的面部表情识别方法，该方法在边缘设备上执行，包括以下步骤：S1、面部图像样本采集步骤：对于多个个人，分别获取包括中性表情在内的八种面部基本表情，作为面部图像训练样本；S2、面部图像样本训练步骤：对于前述面部图像样本，分别进行AU特征提取，通过对应基本表情的训练获取SVM分类器，并将前述SVM分类器布置在边缘设备中；S3、面部图像表情识别步骤：获取待识别的面部图像，发送至边缘设备，在边缘设备中对前述面部图像进行处理，计算出面部图像的AU特征，输入SVM分类器，获取待识别的面部表情。进一步地，所述的AU特征包括外观特征和几何特征。进一步地，外观特征提取包括：对于面部图像，分离面部区域并将其调整为固定的图像尺寸，提取出该图像的方向梯度直方图作为外观特征。进一步地，几何特征提取包括：选取中性表情面部图像，使用CE-CLM模型对于该中性表情的面部图像进行68个特征点标记；选取该个人的其他面部基本表情，使用CE-CLM模型对于前述面部基本图像进行68个特征点标记，然后通过计算获取该面部基本表情图像与中性表情图像的面部标记的比较结果即各表情面部图像的特征集合，将前述各表情面部图像的特征集合作为几何特征。进一步地，面部图像表情识别步骤中：对于AU特征，先对AU特征值进行预处理，包括对AU特征值进行归一化，然后对其结果求平方，再输入SVM分类器。进一步地，边缘设备采用JetsonTX2。本专利技术的有益效果：本专利技术的方法在JAFFE和CK+数据集上进行了实验，根据我们对图像识别和搜索服务的观察，除了建立连接需要的时间外，纯图像数据传输还需要数百毫秒。在边缘计算过程中，与云服务器之间没有太多的数据交换，因此基于边缘计算的表情识别不需要占用太多的网络带宽。本专利技术的边缘计算模型中数据处理模式可以保证较短的响应时间和较高的可靠性，大大节省传输带宽和设备端电能的消耗。本专利技术侧重于数据生成位置处或附近的数据分析，在网络边缘完成的数据分析可以收集更多客户端信息，缩短响应时间，节省网络带宽，降低云端的峰值工作负载，既可以不影响发送图像的质量，也可以快速及时地正确预测面部表情。本专利技术的其它特征和优点将在随后具体实施方式部分予以详细说明。附图说明通过结合附图对本专利技术示例性实施方式进行更详细的描述，本专利技术的上述以及其它目的、特征和优势将变得更加明显，其中，在本专利技术示例性实施方式中，相同的参考标号通常代表相同部件。图1是本专利技术提取面部动作单元的流程图。具体实施方式下面将参照附图更详细地描述本专利技术的优选实施方式。虽然附图中显示了本专利技术的优选实施方式，然而应该理解，可以以各种形式实现本专利技术而不应被这里阐述的实施方式所限制。本专利技术提供一种基于边缘计算的面部表情识别方法，该方法在边缘设备上执行，包括以下步骤：S1、面部图像样本采集步骤：对于多个个人，分别获取包括中性表情在内的八种面部基本表情，作为面部图像训练样本；S2、面部图像样本训练步骤：对于前述面部图像样本，分别进行AU特征提取，通过对应基本表情的训练获取SVM分类器，并将前述SVM分类器布置在边缘设备中；S3、面部图像表情识别步骤：获取待识别的面部图像，发送至边缘设备，在边缘设备中对前述面部图像进行处理，计算出面部图像的AU特征，输入SVM分类器，获取待识别的面部表情。该方法采用多种分类实现对人脸表情的映射，然后根据AU的值进行分类得出表情，从而识别出其中表情。在专利技术中对于面部几何特征，使用局部检测器分别模拟每个面部的外观，并使用形状模型执行约束优化。CE-CLM是CLM的实例，我们使用CE-CLM模型在脸上标记68个标志，可以清晰地反映脸部各部位(眼睛、眉毛、嘴巴、鼻子等)的表情变化，然后可以计算出脸部图像的几何特征，通过与中性表情的面部标志进行比较。标准化中性表情是一个难题，因为每个人的面部标志都不均匀。因此我们基于动力学进行比较，并通过训练和学习68个标志位置的变化来捕捉人脸的几何特征。对于外观特征的后续计算，我们将面部区域分离并将其与固定图像尺寸对齐。在面部图像对齐之后，我们可以提取外观特征，在提取定向梯度直方图(HOG)时，我们使用主成分分析(PCA)方法来减小HOG特征向量的维数。最后，我们使用支持向量回归来估计Au的值。其次边缘计算模型中数据处理模式可以保证较短的响应时间和较高的可靠性，我们考虑如果大部分数据能在边缘设备上处理而不用上传到云计算中心，这样就可以大大节省传输带宽和设备端电能的消耗。在我们的专利技术中提供边缘分析，侧重于数据生成位置处或附近的数据分析，在网络边缘完成的数据分析可以收集更多客户端信息，缩短响应时间，节省网络带宽，降低云端的峰值工作负载等。具体实施时：如图1所示，是本专利技术提取面部动作单元的详细过程，首先使用检测面部动作单元的方法将AU映射到8个面部表情。对于外观特征，我们首先将面部图像对齐以分离出面部区域，然后通过“定向梯度直方图”(HOG)方法描述外观特征的变化。获得几何特征和外观特征后，我们使用支持向量回归方法进行特征融合并获得AU特征。本专利技术中，SVM分类器作为卷积网络模型，基于地标位置的估计，从AU特征中提取感兴趣的区域，将小区域通过对比度标准化卷积层，其在相关操作之前执行归一化。然后响应图被输入到具有ReLU单元的卷积层；输入的多种AU的数值经过一层隐含层，再经过一层全链接，最后利用softmax作为输出，选择一种表情标签作为最终的结果。本文档来自技高网...

【技术保护点】
1.一种基于边缘计算的面部表情识别方法，其特征在于，该方法在边缘设备上执行，包括以下步骤：/nS1、面部图像样本采集步骤：对于多个个人，分别获取包括中性表情在内的八种面部基本表情，作为面部图像训练样本；/nS2、面部图像样本训练步骤：对于前述面部图像样本，分别进行AU特征提取，通过对应基本表情的训练获取SVM分类器，并将前述SVM分类器布置在边缘设备中；/nS3、面部图像表情识别步骤：获取待识别的面部图像，发送至边缘设备，在边缘设备中对前述面部图像进行处理，计算出面部图像的AU特征，输入SVM分类器，获取待识别的面部表情。/n

【技术特征摘要】
1.一种基于边缘计算的面部表情识别方法，其特征在于，该方法在边缘设备上执行，包括以下步骤：
S1、面部图像样本采集步骤：对于多个个人，分别获取包括中性表情在内的八种面部基本表情，作为面部图像训练样本；
S2、面部图像样本训练步骤：对于前述面部图像样本，分别进行AU特征提取，通过对应基本表情的训练获取SVM分类器，并将前述SVM分类器布置在边缘设备中；
S3、面部图像表情识别步骤：获取待识别的面部图像，发送至边缘设备，在边缘设备中对前述面部图像进行处理，计算出面部图像的AU特征，输入SVM分类器，获取待识别的面部表情。


2.根据权利要求1所述的基于边缘计算的面部表情识别方法，其特征是所述的AU特征包括外观特征和几何特征。


3.根据权利要求2所述的基于边缘计算的面部表情识别方法，其特征是外观特征提取包括：对于面部图像，分离面部区域并将其调整为固定的...

【专利技术属性】
技术研发人员：钱甜甜，张帆，杨健楠，
申请(专利权)人：南京工业大学，南京摩深信息科技有限公司，
类型：发明
国别省市：江苏;32