一种基于FPGA的二值神经网络实时面部情绪识别方法技术

本发明专利技术公开了一种基于FPGA的二值神经网络实时面部情绪识别方法，所述方法包括：步骤1)对采集的视频图像进行预处理；步骤2)基于Harr

【技术实现步骤摘要】
一种基于FPGA的二值神经网络实时面部情绪识别方法


[0001]本专利技术属于情感计算、FPGA领域异构计算领域，尤其涉及一种基于FPGA的二值神经网络实时面部情绪识别方法。

技术介绍

[0002]如今，计算机在工业领域和日常生活中发挥着极其重要的作用，正迅速成为社会发展中不可或缺的一部分。因此，研究人类与计算机之间交互问题的必要性与日俱增。当然，人机交互的前提就是一台计算机能够准确快速的分析人的情绪与意图，并据此做出恰当的反应。在面部表情中流露出的各种情感是一种普遍有效的表达人类意图的方式。通过脸部所透露的情绪来分析人的意图被称为面部情绪识别技术，这项技术被应用于多个领域，如机器人技术、安全检测领域以及近期渐热的自闭症幼儿检测。
[0003]面部情绪技术按照对特征提取方式的不同，可以分为两类：
[0004]一类是传统手工特征方法实现情绪检测。该方法包括：图像预处理、特征提取和特征分类。
[0005]图像预处理阶段通过滤波和直方图均衡化去除无关信息，增强与人脸情绪相关的信息。特征提取阶段使用局部二值模式(Local binary patterns,LBP)、主动形状模型(Active Shape Models,ASM)、哈尔特征模板(Haar
‑
like features)等特征提取方法从图像中提取人脸特征。表情分类阶段使用支持向量机(Support Vector Machine,SVM)、K最近邻(k
‑
Nearest Neighbor，KNN)或AdaBoost等分类器将提取的特征分类为对应的情感。然而，使用手工特征的方法需要单独分别设计一个合适的特征提取器和表情分类器，在进行系统化优化时，同样需要对特征提取器与特征分类器分别制定优化方案，因此，手工特征提取的方法无法实现两个阶段的同时优化。此外，该方法对外部因素比较敏感，外部因素(如姿态变化、遮挡和光照等)可能导致最终识别准确率的严重下降。
[0006]另一类是基于深度学习的方法，近年来随着硬件技术和大数据技术的突破性进展，深度学习因为在解决复杂问题时表现出的优异性能而越来越受欢迎。特别是在计算机视觉中，如图像分类和目标检测，基于卷积神经网络(Convolutional Neural Networks,CNN)的方法具有更好的鲁棒性，此外，通过端到端训练，CNN可以一次性优化参数进而简化了优化方式。虽然在面部情绪识别的研究中，基于CNN的方法表现出比常规方法更高的性能，但由于网络的深层结构中具有多层数和百万个参数，例如VGG
‑
16网络中含有1.4亿个32位浮点参数，整个网络需要占用500多兆的存储空间，进行1.6
×
10^10次浮点运算。如此庞大的参数和计算量导致CNN严重依赖GPU等高性能的硬件计算平台。然而在实际应用中通常均为计算资源有限的设备，例如，基于现场可编程门阵列(Field Programmable Gate Array,FPGA)的嵌入式设备通常只有几千个计算单元，远不能处理常见深度模型中的数百万次浮点运算，复杂的模型与有限的计算资源之间的存在着严重的矛盾。这直接导致面部情绪检测在需要进行实时处理的应用中受到了极大限制，譬如高级驾驶辅助系统(Advanced Driving Assistance System，ADAS)，通过摄像头采集驾驶员面部信息后，传输
到嵌入式系统中进行处理，然而在实际应用中，嵌入式计算平台很难实时准确的判决出驾驶员的状态，进而无法正确的辅助驾驶；在婴儿情绪识别安抚系统中，图像识别系统识别婴儿的情绪后通过主控服务器启动语音安抚模块来安抚哭闹的婴儿，达到远程看护的效果，在此系统中对于婴儿情绪的实时检测尤为关键，如果不能实时传达婴儿情绪状况，那么远程看护便无法实现。
[0007]要解决部署CNN的问题，需要使用其他性能、能耗和成本更加适合的平台。对此，最合适的选择之一就是片上系统硬件平台(System on Chip,SoC)，因为SoC本身就是针对嵌入式应用而设计的，与GPU相比，SoC消耗的能量更少，成本更少。此外，SoC还有FPGA的硬件组件与ARM处理器综合交互能力，FPGA上对CNN网络推理可进行有效加速，ARM处理器可以灵活控制系统，综合达到对CNN网络加速的效果，因此基于FPGA与ARM相结合的方法实现实时识别面部情绪成为一个新的研究方向。

技术实现思路

[0008]现有技术缺陷为复杂的模型与有限的计算资源之间的存在着严重的矛盾。具体包括两方面：
[0009]·
卷积神经网络的方法，因为计算参数多、计算量大的因素严重依赖于GPU等高性能的硬件计算平台；
[0010]·
当前硬件计算平台，如CPU、GPU等能耗大，成本高，面部情绪识别技术不利于移动端的部署、普及。
[0011]本专利技术的目的在于克服上述现有技术缺陷，提出了一种基于FPGA的二值神经网络实时面部情绪识别方法。
[0012]为了实现上述目的，本专利技术提出了一种基于FPGA的二值神经网络实时面部情绪识别方法，所述方法包括：
[0013]步骤1)对采集的视频图像进行预处理；
[0014]步骤2)基于Harr
‑
like特征模板，采用窗口滑动机制对预处理后图像中的人脸进行检测与裁剪，并截取包含人脸图像的部分，采用圆形LBP算子对截取图像提取局部二值信息；
[0015]步骤3)将提取的局部二值信息输入预先建立和训练好的面部情绪识别模型得到情绪识别结果；
[0016]所述面部情绪识别模型为二值神经网络，通过在FPGA中采用同或门设计、位累计运算和阈值比较方法，进行前向推理，实现情绪识别。
[0017]作为上述方法的一种改进，所述步骤1)具体包括：
[0018]对采集的视频图像进行分帧处理，再对分帧后的图像进行对比度和亮度增强，并对图像尺寸进行等比例的放缩。
[0019]作为上述方法的一种改进，所述步骤2)具体包括：
[0020]基于Harr
‑
like特征模板，对预处理后的图像通过哈尔特征进行特征描述，并采用积分图加速哈尔特征的提取；
[0021]采用预设尺寸的滑动窗口在特征提取后的图像上依次滑过所有位置，进行人脸检测；并逐渐增大滑动窗口的尺寸到一定倍数，重复该步骤，获得各个尺寸下可能包含人脸的
检测窗口；
[0022]采用AdaBoost与分类器级联结构将不同尺寸的检测窗口进行筛选，消除不同尺寸滑动窗口圈定同一目标的可能性，并返回包含人脸窗口的坐标信息；
[0023]根据包含人脸窗口的坐标信息截取包含人脸图像的部分；
[0024]采用圆形LBP算子对截取图像提取局部二值信息。
[0025]作为上述方法的一种改进，所述面部情绪识别模型的输入为局部二值信息，输出为识别结果，所述面部情绪识别模型包括依次多个级联的Block层、路由层、重排序层和多个级联的卷积层，其中，
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于FPGA的二值神经网络实时面部情绪识别方法，所述方法包括：步骤1)对采集的视频图像进行预处理；步骤2)基于Harr
‑
like特征模板，采用窗口滑动机制对预处理后图像中的人脸进行检测与裁剪，并截取包含人脸图像的部分，采用圆形LBP算子对截取图像提取局部二值信息；步骤3)将提取的局部二值信息输入预先建立和训练好的面部情绪识别模型得到情绪识别结果；所述面部情绪识别模型为二值神经网络，通过在FPGA中采用同或门设计、位累计运算和阈值比较方法，进行前向推理，实现情绪识别。2.根据权利要求1所述的基于FPGA的二值神经网络实时面部情绪识别方法，其特征在于，所述步骤1)具体包括：对采集的视频图像进行分帧处理，再对分帧后的图像进行对比度和亮度增强，并对图像尺寸进行等比例的放缩。3.根据权利要求2所述的基于FPGA的二值神经网络实时面部情绪识别方法，其特征在于，所述步骤2)具体包括：基于Harr
‑
like特征模板，对预处理后的图像通过哈尔特征进行特征描述，并采用积分图加速哈尔特征的提取；采用预设尺寸的滑动窗口在特征提取后的图像上依次滑过所有位置，进行人脸检测；并逐渐增大滑动窗口的尺寸到一定倍数，重复该步骤，获得各个尺寸下可能包含人脸的检测窗口；采用AdaBoost与分类器级联结构将不同尺寸的检测窗口进行筛选，消除不同尺寸滑动窗口圈定同一目标的可能性，并返回包含人脸窗口的坐标信息；根据包含人脸窗口的坐标信息截取包含人脸图像的部分；采用圆形LBP算子对截取图像提取局部二值信息。4.根据权利要求3所述的基于FPGA的二值神经网络实时面部情绪识别方法，其特征在于，所述面部情绪识别模型的输入为局部二值信息，输出为识别结果，所述面部情绪识别模型包括依次多个级联的Block层、路由层、重排序层和多个级联的卷积层，其中，所述多个级联Block层，用于得到增强的特征图；其中每个Block层均包括卷积层、批量归一化层和池化层；所述重排序层，用于提取前端输入特征图并在其邻域内按位置进行抽样，相同位置的像素输出子图，输出的子图长宽与接下来级联的特征图长宽一致；所述路由层，用于将重排序层输出的子图与经过多个级联的Block层运算增强的特征图进行级联，并输入卷积层；所述多个级联的卷积层，用于实现最终的情绪分类任务，其中每个卷积层结构相同，卷积核大小均为1
×
1。5.根据权利要求4所述的基于FPGA的二值神经网络实时面部情绪识别...

【专利技术属性】
技术研发人员：黄威，孙锴，赵国栋，王海成，
申请(专利权)人：内蒙古大学，
类型：发明
国别省市：