【技术实现步骤摘要】
一种面部表情识别的方法、装置和电子设备
[0001]本专利技术属于图像识别领域，更具体地，涉及一种面部表情识别的方法、装置和电子设备。
技术介绍
[0002]人类的面部表情是由面部肌肉的运动来体现的。美国心理学家艾克曼教授在20世纪60年代发布了面部运动编码系统（Facial Action Coding System，FACS），对AU的定义独立于其它假设和解释，仅依靠解剖学上肌肉分布与运动特征，而不是根据特定面部表情的假设，为面部表情提供了更客观、更细粒度的描述，对于面部表情的分析更为直观并且更具有可解释性。
[0003]FACS定义了人类面部的几十组运动单元（Action Unit，AU），每组AU由一块或多块肌肉的运动组成。FACS对每种AU定义了A到E五个级别的强度，各种AU之间自由组合，理论上人脸可以表达一万多种表情。AU和面部表情的联系十分紧密，可将表情分解为不同AU的组合，剖析人脸表情在面部的表象，把表情分解成具体的面部肌肉的运动，也即AU运动，并且给出了识别和衡量表情的方法与基准。相对于通过人类语言的...
【技术保护点】
【技术特征摘要】
1.一种面部表情识别的方法，其特征在于，包括：S1：根据多个面部肌肉关键点将已完成人脸矫正的人脸区域划分为多个感兴趣区域ROI，多个ROI对应多个ROI组，每个所述ROI组对应一个AU关键点区域；将各个所述AU关键点区域各自对应的多个ROI最小外接矩形进行并集以获得其最小外接矩形区域Iu；将各个所述AU关键点区域各自对应的多个ROI最小外接矩形进行交集以获得其最小外接矩形区域In；S2：对人脸图像进行特征提取得到特征图f，从所述特征图f中确定出Iu对应的特征图fu和In对应的特征图fn；将所述特征图fu进行下采样得到特征图，将所述特征图fn进行上采样得到特征图，将所述特征图和所述特征图进行信道拼接得到特征图fc；S3：将所述特征图fc输入对应的训练好的面部AU识别模型中，使其输出对应的AU关键点区域及其置信度；将所述AU关键点区域对应Iu和In进行回归迭代直至Iu=In，从而得到最佳AU关键点区域；S4：基于预设表情映射关系和各个AU关键点区域对应的最佳AU关键点区域，获取所述人脸图像对应的面部表情信息。2.如权利要求1所述的面部表情识别的方法，其特征在于，所述S3包括：S31：将所述特征图fc输入对应的训练好的面部AU识别模型中，使其输出对应的AU关键点区域及其置信度；其中，AU关键点区域为最高置信度对应的区域；S32：对各个所述AU关键点区域对应的Iu和In进行回归迭代直至Iu=In，从而获取所述AU关键点区域到最接近于真实AU关键点区域的映射关系，进而得到最佳AU关键点区域，所述最佳AU关键点区域用于表征最接近于真实AU关键点区域。3.如权利要求2所述的面部表情识别的方法，其特征在于，所述置信度对应的AU分类损失函数为：其中，为AU关键点区域的真实标签，为AU关键点区域的预测标签，i为样本序号，N为样本总数。4.如权利要求2所述的面部表情识别的方法，其特征在于，所述S31中的DIoU 损失函数为：；其中，，为Iu与AU的真实标签框Ig的交并比，表示中心点与AU的真实标签框中心点的欧氏距离，为AU的Iu框的中心点；为AU的真实标签框的中心点；为能够同时包含Iu框和真实标签框的最小闭包区域的对角线距离；所述S32中的DIoU 损失函数为：；；为与AU的真实标签框的交并比，表示
中心点与AU的真实标签框的中心点的欧氏距离；为AU的In框的中心点；为能够同时包含In框和真实标签框的最小闭包区域的对角线距离。5.如权利要求1
‑
4任一项所述的面部表情识别的方法，其特征在于，所述S3之前，所述方法还包括：获得多个人脸...
【专利技术属性】
技术研发人员：何双江，项金桥，董喆，方博，鄢浩，喻莉，赵慧娟，喻晗，徐凤祥，杜聪炬，
申请(专利权)人：湖北省人民检察院华中科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。