【技术实现步骤摘要】
本专利技术涉及计算机视觉，尤其涉及一种基于人脸情绪识别算法模型的情绪判断方法、介质和电子设备。
技术介绍
1、计算机视觉技术情绪是影响驾驶员行为和决策的重要因素，国内外大量研究验证了情绪对人注意、判断和决策的影响。调查显示，与人为因素有关的事故占所有交通事故的90％，其中70％以上是由驾驶员造成的。驾驶员的突发情绪会对安全驾驶产生一定的影响，从而增加交通事故发生的概率，尤其是愤怒情绪下的驾驶员易出现强行加塞与攻击性驾驶等行为。因此，对影响到安全驾驶的情绪进行快速有效的识别，并以适当的方式对驾驶员的情绪进行调节与干预，使驾驶员情绪维持在稳定区间，对于提高道路交通安全具有重要的意义。
2、目前，绝大多数基于人脸图像的情绪识别仅从情绪“识别”的角度出发，追求的是算法模型具有更高的精度、鲁棒性和识别速度，如要求算法模型可对每秒25帧的视频流逐帧检测，或对给定的测试集的识别精度达到较高水平等。而往往忽略了从情绪“干预”的角度出发，情绪识别需要什么样的结果，如真的需要以每帧的情绪识别结果来干预驾驶员吗？要知道如果是对每秒25帧的视频流进行检测，则每0.04秒就会产生一个情绪结果，即1秒内将产生25个情绪结果，如果这25个情绪结果是相同的，假设均为neutral(中立)的，上位的情绪干预程序还容易处理；如果在1秒内所产生的25个情绪结果中，有10个是happy(开心)的，有10个是neutral(中立)的，还有5个是sad(伤心)的，上位情绪干预程序该如何处理呢？又该如何进一步去控制智能座舱内的氛围灯、音响、屏幕面板等设备，以调节
3、其次，现有的研究大多是基于ck+、fer 2013、emo-db等公开数据集来训练情绪识别算法模型的，而这些公开数据集中的人脸表情基本都较为夸张，且人脸以国外非亚洲人种居多，在实际的测试中，往往会导致对国人人脸的误识别，如在人眼主观判断下，明明驾驶员当前是neutral(中立)的表情，但算法模型可能会输出sad(伤心)、disgusted(厌恶)等结果。原因在于模型的结果是选取置信度最高的情绪类别作为当前帧的情绪结果，而实际情况可能是7种情绪的置信度均相差不大，均未超过50％，没有哪一种情绪最为显著。因此，需要在合理的输出频率基础上，对人脸情绪识别结果进行适当的纠偏，以符合实际结果。
4、更重要的是，在对不同的驾驶员进行实测的过程中发现，不同情绪在人脸上时间占比是不同的。在驾驶过程中，绝大多数时间属于neutral(中立)状态，剩余6种情绪在时间上的总和都不及neutral(中立)一种情绪的时间多，因此，有必要从干预的角度对算法模型的输出结果做进一步的处理，以更符合现实情况，也给智能座舱的声、光、气味等方式的干预输出更合理的结果。
技术实现思路
1、本专利技术要解决的技术问题是设计一种基于人脸情绪识别算法模型的情绪判断方法、介质和电子设备，将算法模型运行在带有算力的硬件设备上，通过对摄像头的实时视频流的拉取，对图像帧进行识别，如对angry(愤怒)、disgusted(厌恶)、fear(恐惧)、happy(开心)、neutral(中立)、sad(伤心)和surprised(惊讶)等情绪的识别，再通过判断算法对算法模型的情绪识别结果序列进行某种纠偏和校正，使得更符合现实中驾驶员本身的情绪状态，输出适合上位机进一步用于情绪干预的结果，解决现有的技术问题。
2、为解决上述技术问题，本专利技术的情绪判断方法基于人脸情绪识别算法模型，人脸情绪识别算法模型对输入的每一图像帧均会输出一个情绪识别结果，由算法模型对帧序列输出的情绪识别结果，同样也是一个序列，称为置信度序列。置信度序列是由不同帧的置信度向量组成，记为
3、当图像帧中没有人脸或者算法模型未识别到人脸时，
4、当算法模型识别到人脸时，
5、具体包括如下步骤：
6、步骤s1：计算原始情绪识别结果序列fn表示视频流的第n帧图像，将所对应的情绪，赋值给
7、步骤s2：对原始的情绪识别结果进行过滤，得到情绪序列
8、步骤s3：对过滤后的情绪序列进行平滑处理，得到情绪序列
9、步骤s4：按照输出频率f输出最终的情绪结果。
10、进一步的，步骤s2中，采用固定阈值筛选法进行过滤，具体方法为：记情绪过滤器阈值为δemotion(δangry，δdisgusted，δfear，δhappy，δneutral，δsad，δsurprised)，δangry表示angry(愤怒)情绪过滤器的阈值，δdisgusted表示disgusted(厌恶)情绪过滤器的阈值，δfear表示fear(恐惧)情绪过滤器的阈值，δhappy表示happy(开心)情绪过滤器的阈值，δneutral表示neutral(中立)情绪过滤器的阈值，δsad表示sad(伤心)情绪过滤器的阈值，δsurprised表示surprised(惊讶)情绪过滤器的阈值，将7种情绪的过滤器阈值δangry、δdisgusted、δfear、δhappy、δneutral、δsad和δsurprised设定为具体数值，分别为thangry、thdisgusted、thfear、thhappy、thneutral、thsad和thsurprised；记当前帧为fn；
11、如果则将none作为
12、如果将原始情绪序列中fn情绪结果所对应的置信度，即置信度序列中的与该情绪的阈值δemotion进行比较：
13、若大于等于该情绪的阈值δemotion，则将该情绪赋值给
14、若小于该情绪的阈值δemotion，则将neutral赋值给
15、进一步的，过滤器阈值δangry、δdisgusted、δfear、δhappy、δneutral、δsad和δsurprised的取值范围均为[0.45，0.55]。
16、进一步的，步骤s2中，还可以采用标准差筛选法进行过滤，具体方法为：记情绪过滤器阈值为δemotion，计算各情绪置信度的标准差为stdev；
17、如果则将none作为
18、如果则计算原始情绪序列中fn各情绪结果所对应置信度的标准差stdev，与过滤器阈值δemotion进行比较：
19、若stdev大于等于该阈值δemotion，则将该所对应的情绪赋值给
20、若stdev小于该阈值δemotion，则将neutral赋值给
21、进一步的，情绪过滤器阈值δemotion的取值范围为[0.155，0.165]。
22、进一步的，步骤s3中具体包括如下步骤：
23、新增基准情绪序列表示当前帧fn的基准情绪，记滑动时间窗口为timewindow，基准情绪是统计当前时间t往前推timewindow秒内出现次数最多的情绪作为基准情绪；
本文档来自技高网...【技术保护点】
1.一种基于人脸情绪识别算法模型的情绪判断方法，其特征在于：人脸情绪识别算法模型对输入的每一图像帧均会输出一个情绪识别结果，由算法模型对帧序列输出的情绪识别结果称为置信度序列，记为
2.根据权利要求1所述的基于人脸情绪识别算法模型的情绪判断方法，其特征在于：步骤S2中，采用固定阈值筛选法进行过滤，具体方法为：记情绪过滤器阈值为δEmotion(δAngry，δDisgusted，δFear，δHappy，δNeutral，δSad，δSurprised)，将7种情绪的过滤器阈值δAngry、δDisgusted、δFear、δHappy、δNeutral、δSad和δSurprised设定为具体数值；
3.根据权利要求2所述的基于人脸情绪识别算法模型的情绪判断方法，其特征在于：过滤器阈值δAngry、δDisgusted、δFear、δHappy、δNeutral、δSad和δSurprised的取值范围均为[0.45，0.55]。
4.根据权利要求1所述的基于人脸情绪识别算法模型的情绪判断方法，其特征在于：步骤S2中，采用标准差筛选法进行过滤
5.根据权利要求4所述的基于人脸情绪识别算法模型的情绪判断方法，其特征在于：情绪过滤器阈值δEmotion的取值范围为[0.155，0.165]。
6.根据权利要求1所述的基于人脸情绪识别算法模型的情绪判断方法，其特征在于：步骤S3中具体包括如下步骤：
7.根据权利要求6所述的基于人脸情绪识别算法模型的情绪判断方法，其特征在于：平滑处理阈值δsmoothing的取值范围为f为源视频帧率。
8.根据权利要求1所述的基于人脸情绪识别算法模型的情绪判断方法，其特征在于：步骤S4中，
9.一种计算机可读存储介质，其特征在于：其上存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1-8中任一项所述的基于人脸情绪识别算法模型的情绪判断方法。
10.一种电子设备，其特征在于：包括：
...【技术特征摘要】
1.一种基于人脸情绪识别算法模型的情绪判断方法，其特征在于：人脸情绪识别算法模型对输入的每一图像帧均会输出一个情绪识别结果，由算法模型对帧序列输出的情绪识别结果称为置信度序列，记为
2.根据权利要求1所述的基于人脸情绪识别算法模型的情绪判断方法，其特征在于：步骤s2中，采用固定阈值筛选法进行过滤，具体方法为：记情绪过滤器阈值为δemotion(δangry，δdisgusted，δfear，δhappy，δneutral，δsad，δsurprised)，将7种情绪的过滤器阈值δangry、δdisgusted、δfear、δhappy、δneutral、δsad和δsurprised设定为具体数值；
3.根据权利要求2所述的基于人脸情绪识别算法模型的情绪判断方法，其特征在于：过滤器阈值δangry、δdisgusted、δfear、δhappy、δneutral、δsad和δsurprised的取值范围均为[0.45，0.55]。
4.根据权利要求1所述的基于人脸情绪识别算法...
【专利技术属性】
技术研发人员：干心一，金帅，
申请(专利权)人：上海交通大学苏州人工智能研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。