本发明专利技术提供一种基于轻量级人脸表情强度识别的人机交互控制方法和装置，包括：采集用户图像，对用户图像进行人脸检测和识别，得到人脸图像；对人脸图像进行预处理，得到预处理后的目标人脸图像；将目标人脸图像输入表情模型，输出表情类别和表情强度，表情模型是通过知识蒸馏训练方法构建的轻量级表情类别和表情强度的识别网络模型；将表情类别和表情强度量化，得到表情类别强度值；将表情类别强度值作为控制信号输入人机交互控制网络，人机交互控制网络通过其包含的两个模糊控制器和PID控制器控制驱动单元转动，驱动单元用于转动时带动用户的躯体做运动训练。本发明专利技术提供的方法和装置实现了轻量级人脸表情强度识别以及更智能化的人机交互。能化的人机交互。能化的人机交互。
【技术实现步骤摘要】
基于轻量级人脸表情强度识别的人机交互控制方法和装置
[0001]本专利技术涉及人机交互系统
，尤其涉及一种基于轻量级人脸表情强度识别的人机交互控制方法和装置。
技术介绍
[0002]人脸表情作为人类情感表达的一个重要方式，在日常生活中的情感表达最为常见、直接和有效。Ekman和Friesen在1971研究了面部表情普适性的问题，研究表明具有相同文化人群的情绪概念与面部行为具有关联性，同时概括出6种人类的基本表情(即高兴、恐惧、愤怒、悲伤、惊讶、厌恶)，连同中性的表情，成为此后至今人脸表情识别和分类的最常用的基础表情。目前人脸表情识别的方法主要可以分为基于传统的机器学习的方法和基于深度学习的方法。其中基于机器学习的方法是通过人工设计表情特征的描述算法来提取人脸的表情特征，再将这些特征输入到分类器中进行表情的分类，最终输出人脸表情的标签；而基于深度学习的方法起源于神经网络，是机器学习的一个分支，通过深层的网络结构对神经网络进行高效的训练，可以自动的提取人脸表情的特征，并进行分类。在表情的类别分类的基础上，进一步对提取的表情特征进行回归拟合或者强度的细分类，从而获取表情的强度信息。但是在人机交互的自然环境下，由于头部运动和光线变化等因素，容易引入遮挡、视角偏移、照片模糊和光线不均等干扰，从而影响表情识别的准确。为了降低干扰因素的影响，需要提高对正常面部区域特征提取能力，同时为了便于识别系统在普通设备的部署，需要对精简算法模型的大小和计算复杂度，在精度和轻量化方面取得平衡。
[0003]下面介绍相关专利：/>[0004](1)表情强度变化的人脸表情识别方法、系统及存储介质。
[0005]公开号CN114550247 A；
[0006]摘要：本专利技术公开了一种表情强度变化的人脸表情识别方法、系统及存储介质。该方法包括：获取数据样本集，所述数据样本集包括峰值表情样本和非峰值表情样本；利用人脸特定点定位，获取人脸的关键区域，再提取所述数据样本集中每个样本的特征向量，所有样本的特征向量组成特征矩阵；再构建第一邻接矩阵和第二邻接矩阵；将所述特征矩阵、所述第一邻接矩阵和所述第二邻接矩阵输入到图卷积神经网络进行训练。本专利技术能够充分利用强度相似表情之间的局部信息、峰值表情与非峰值表情之间的峰导信息，能够有效提高强度变化表情的分类精度。
[0007](2)一种基于隐变量分析的人脸表情强度识别方法及系统。
[0008]公开号CN112686117 A；
[0009]摘要：本专利技术公开了一种基于隐变量分析的人脸表情强度识别方法及系统。该方法采用孪生卷积神经网络结构，将卷积神经网络前端提取到的人脸特征通过隐变量分析方法划分为正交的身份子空间和表情子空间，最小化孪生网络两个支路的身份子空间特征差异，能有效地分离身份特征和表情特征，同时对表情子空间做基于时序的排序约束和半监督回归训练，得到表情强度识别模型，可用于连续的人脸表情强度识别。本专利技术将隐变量分
析用于表情强度识别，将人脸特征划分为身份相关特征和表情相关特征，抑制身份信息对表情强度信息的干扰，能有效提高表情强度识别的鲁棒性。
[0010](3)一种用于康复护理机器人床的控制方法和设备。
[0011]公开号CN104622655 B；
[0012]摘要：本专利技术涉及一种用于康复护理机器人床控制方法和设备，康复护理机器人床用于对患者进行康复护理，康复护理机器人床包括多个运动部件，方法包括步骤：A.根据患者需求设定各运动部件的翻转速度；B.接收动作指令；C.根据动作指令生成各运动部件的翻转动作，并控制各运动部件执行相应翻转动作。与现有技术相比，本专利技术具有控制舒适、可减少医护人员以及解放劳动力等优点。
[0013](4)一种基于智能陪伴机器人的人脸表情识别方法。
[0014]公开号CN111191598 A；
[0015]摘要：本专利技术属于视频监控
,涉及一种人脸表情识别方法。包括：对待检测视频图像进行预处理；对预处理后的视频帧采用人脸检测算法进行人脸检测，得到人脸信息；对检测出的人脸的面部表情进行识别，并输出识别结果。本专利技术的方法，采用多种级联分类器相结合的人脸检测方法，通过提取输入图像的多种不同特征并结合不同的分类器，可得到图像中更准确的人脸位置及人脸总数，检测精确度高、误检少；自搭建用于表情识别的深度卷积网络模型；采用Adam算法来优化损失函数，速度快、学习效率高且可解决学习率消失等常见问题；通过添加卷积层来加深卷积神经网络的深度，可得到输入人脸图像的更具代表性的特征，提高表情分类结果，算法实现简单、耗费资源少。
[0016]人脸表情强度识别算法部署于人机交互系统时需要考虑与硬件设备的兼容，这就对算法的参数量和计算复杂性有较高的要求。目前对于人脸表情的识别的研究主要集中在对人脸表情的分类任务，对于表情强度的研究及轻量化设计仍不足，尤其限制算法在有实时控制需求的人机交互系统中的应用。
[0017]基于人脸表情的人机交互系统的主要利用人脸的表情的类别实现用户的意图理解，完成相应的系统相应或控制目标，但是忽略了表情的强度信息，致使难以实现较为的实现对用户意图和心理的状态的理解，难以完成复杂的系统响应和更为人性化的控制。
[0018]因此，如何解决当前技术尚无表情强度识别的轻量化设计，和如何避免人机交互控制过程中没有更人性化控制的弊端，仍然是本领域技术人员亟待解决的问题。
技术实现思路
[0019]本专利技术提供一种基于轻量级人脸表情强度识别的人机交互控制方法和装置，用以解决当前技术尚无表情强度识别的轻量化设计和人机交互控制过程中没有更人性化控制的问题。
[0020]本专利技术提供一种基于轻量级人脸表情强度识别的人机交互控制方法，包括：
[0021]采集用户图像，对所述用户图像进行人脸检测和识别，得到人脸图像；
[0022]对人脸图像进行预处理，得到预处理后的目标人脸图像；
[0023]将所述目标人脸图像输入表情模型，输出表情类别和表情强度，其中，所述表情模型是通过知识蒸馏训练方法构建的轻量级表情类别和表情强度的识别网络模型；
[0024]将所述表情类别和表情强度量化，得到表情类别强度值；
[0025]将所述表情类别强度值作为控制信号输入人机交互控制网络，所述人机交互控制网络通过其包含的两个模糊控制器和PID控制器控制驱动单元转动，所述驱动单元用于转动时带动所述用户的躯体做运动训练。
[0026]本专利技术还提供的一种基于轻量级人脸表情强度识别的人机交互控制装置，包括：
[0027]采集检测单元，用于采集用户图像，对所述用户图像进行人脸检测和识别，得到人脸图像；
[0028]预处理单元，用于对人脸图像进行预处理，得到预处理后的目标人脸图像；
[0029]类别强度单元，用于将所述目标人脸图像输入表情模型，输出表情类别和表情强度，其中，所述表情模型是通过知识蒸馏训练方法构建的轻量级表情类别和表情强度的识别网络模型；
[本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于轻量级人脸表情强度识别的人机交互控制方法，其特征在于，包括：采集用户图像，对所述用户图像进行人脸检测和识别，得到人脸图像；对人脸图像进行预处理，得到预处理后的目标人脸图像；将所述目标人脸图像输入表情模型，输出表情类别和表情强度，其中，所述表情模型是通过知识蒸馏训练方法构建的轻量级表情类别和表情强度的识别网络模型；将所述表情类别和表情强度量化，得到表情类别强度值；将所述表情类别强度值作为控制信号输入人机交互控制网络，所述人机交互控制网络通过其包含的两个模糊控制器和PID控制器控制驱动单元转动，所述驱动单元用于转动时带动所述用户的躯体做运动训练。2.根据权利要求1所述的基于轻量级人脸表情强度识别的人机交互控制方法，其特征在于，在对人脸图像进行预处理之前，还包括：通过比对摄像头的视觉中心与人脸检测所获取的人脸边界框中心的坐标进行摄影头的位置修正，连续人脸随动的采集用户图像。3.根据权利要求1所述的基于轻量级人脸表情强度识别的人机交互控制方法，其特征在于，所述知识蒸馏训练方法，具体包括：构建基于多任务学习的深层神经网络作为教师网络，构建基于多任务学习的浅层神经网络作为学生网络，利用表情数据集对所述教师网络进行训练，并使所述学生网络学习所述教师网络的参数及结果输出，训练完成的学生网络作为所述表情模型的轻量化网络结构。4.根据权利要求3所述的基于轻量级人脸表情强度识别的人机交互控制方法，其特征在于，所述教师网络中引入无参的SimAM注意力机制。5.根据权利要求1所述的基于轻量级人脸表情强度识别的人机交互控制方法，其特征在于，将所述表情类别和表情强度量化，得到表情类别强度值，具体包括：以高兴表情作为积极表情，生气、厌恶、悲伤、害怕和惊讶作为消极表情，中性表情的强度为0，定义积极表情的强度为正值，消极表情的强度为负值，初始表情类别强度值通过如下公式获取：其中，s是表情类别的强度值；再通过归一化处理初始表情类别强度值，得到量化后的表情类别强度值，公式如下：其中，max(s)是表情强度最大值，min(s)是表情强度最小值。6.根据权利要求1所述的基于轻量级人脸表情强度识别的人机...
【专利技术属性】
技术研发人员：刘振焘，张岚钦，佘锦华，陈略峰，蒋承汕，赵娟，
申请(专利权)人：中国地质大学武汉，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。