一种表情检测方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例提供了一种表情检测方法、装置、电子设备及存储介质，涉及图像处理技术领域，包括：检测对象的面部温度，根据检测到的面部温度的变化确定所述对象发生情绪波动的情绪发生时间；基于情绪波动与面部表情的发生时间的预设时间关系，根据所述情绪发生时间确定所述对象出现面部表情的表情时间范围；获得所述表情时间范围内采集的图像中所述对象的面部表情，将所获得的面部表情确定为真实表情。由此可见，应用本申请实施例提供的表情检测方案，可以提高表情检测的准确度。

【技术实现步骤摘要】
一种表情检测方法、装置、电子设备及存储介质
本申请涉及图像处理
，特别是涉及一种表情检测方法、装置、电子设备及存储介质。
技术介绍
为了检测对象的表情，通常可以采集对象的图像，识别图像中对象的面部动作变化，根据所识别到的面部动作变化确定对象的表情。应用现有技术虽然可以检测到图像中对象的表情，但由于在一些场景下对象会隐藏表情，或做出一些虚假的表情，从而导致所检测到的表情的准确度较低。
技术实现思路
本申请实施例的目的在于提供一种表情检测方法、装置、电子设备及存储介质，以提高表情检测的准确度。具体技术方案如下：第一方面，本申请实施例提供了一种表情检测方法，所述方法包括：检测对象的面部温度，根据检测到的面部温度的变化确定所述对象发生情绪波动的情绪发生时间；基于情绪波动与面部表情的发生时间的预设时间关系，根据所述情绪发生时间确定所述对象出现面部表情的表情时间范围；获得所述表情时间范围内采集的图像中所述对象的面部表情，将所获得的面部表情确定为真实表情。本申请的一个实施例中，所述基于情绪波动与面部表情的发生时间的预设时间关系，根据所述情绪发生时间确定所述对象出现面部表情的表情时间范围，包括：基于情绪波动与面部表情的发生时间的预设时间关系，确定所述情绪发生时间之前预设时长内的时间范围，作为所述对象出现面部表情的表情时间范围。本申请的一个实施例中，所述根据检测到的面部温度的变化确定所述对象发生情绪波动的情绪发生时间，包括：查找检测到的面部温度的局部极大值；获得所述局部极大值的出现时间，将所获得的出现时间确定为所述对象发生情绪波动的情绪发生时间。本申请的一个实施例中，所述方法还包括：在将所获得的面部表情确定为真实表情后，基于所述对象的面部温度的变化获得所述真实表情的第一强度，并基于所述对象出现所述真实表情时的面部动作的变化获得所述真实表情的第二强度；基于第一强度对应的第一预设权重、第二强度对应的第二预设权重，对所述第一强度和第二强度进行加权求和，得到所述表情的表情强度。本申请的一个实施例中，所述基于所述对象的面部温度的变化获得所述真实表情的第一强度，包括：确定所述对象的面部温度从预设的初始温度升高到波峰温度的温度升高值，并获得所述对象的体表温度和情绪平稳状态下的平稳温度；基于所述温度升高值、体表温度和平稳温度，计算所述第一强度。本申请的一个实施例中，所述初始温度为：所述对象在所述真实表情的出现时刻的面部温度；或所述平稳温度。本申请的一个实施例中，所述基于所述温度升高值、体表温度和平稳温度，计算所述第一强度，包括：按照以下公式计算所述第一强度S1：S1＝c1*yb/[(yh+c2)-(yl-c3)]其中，所述yb表示所述温度升高值，yh表示所述体表温度，yl表示所述平稳温度，c1表示预设的用于衡量表情强度的制式规则，c2表示面部温度最高值与所述体表温度的第一预设差值，c3表示面部温度最低值与所述体表温度的第一预设差值。本申请的一个实施例中，所述基于所述对象出现所述真实表情时的面部动作的变化获得所述真实表情的第二强度，包括：识别目标图像中所述对象的面部动作，获得各个所识别到的面部动作的动作强度，其中，所述目标图像为：所述表情时间范围内采集的、所包含的所述对象出现所述真实表情的图像；计算所获得的各个动作强度的均值，作为所述真实表情的第二强度。本申请的一个实施例中，所述第一预设权重大于所述第二预设权重。本申请的一个实施例中，所述方法还包括：在确定真实表情后，对所确定的真实表情进行标记；和/或在所述表情时间范围内采集的图像中未获得所述对象的面部表情的情况下，确定所述对象隐藏表情。本申请的一个实施例中，所述检测对象的面部温度，包括：利用双光谱双目相机同步采集所述对象的可见光图像和热传感图像；识别所述可见光图像中所述对象的面部特征点，将所识别的面部特征点映射至所述热传感图像，获得所述热传感图像中所映射的面部特征点的像素值反映的温度值，作为所述对象的面部温度；和/或所述获得所述表情时间范围内采集的图像中所述对象的面部表情，包括：识别所述表情时间范围内采集的可见光图像中所述对象的面部动作，基于所识别的面部动作确定所述对象的面部表情。第二方面，本申请实施例提供了一种表情检测装置，所述装置包括：温度检测模块，用于检测对象的面部温度；时间获得模块，用于根据检测到的面部温度的变化确定所述对象发生情绪波动的情绪发生时间；时间范围确定模块，用于基于情绪波动与面部表情的发生时间的预设时间关系，根据所述情绪发生时间确定所述对象出现面部表情的表情时间范围；表情确定模块，用于获得所述表情时间范围内采集的图像中所述对象的面部表情，将所获得的面部表情确定为真实表情。本申请的一个实施例中，所述时间范围确定模块，具体用于：基于情绪波动与面部表情的发生时间的预设时间关系，确定所述情绪发生时间之前预设时长内的时间范围，作为所述对象出现面部表情的表情时间范围。本申请的一个实施例中，所述时间获得模块，具体用于：查找检测到的面部温度的局部极大值；获得所述局部极大值的出现时间，将所获得的出现时间确定为所述对象发生情绪波动的情绪发生时间。本申请的一个实施例中，所述装置还包括：第一强度获得模块，用于在将所获得的面部表情确定为真实表情后，基于所述对象的面部温度的变化获得所述真实表情的第一强度；第二强度获得模块，用于在将所获得的面部表情确定为真实表情后，基于所述对象出现所述真实表情时的面部动作的变化获得所述真实表情的第二强度；表情强度获得模块，用于基于第一强度对应的第一预设权重、第二强度对应的第二预设权重，对所述第一强度和第二强度进行加权求和，得到所述表情的表情强度。本申请的一个实施例中，所述第一强度获得模块，包括：温度获得单元，用于确定所述对象的面部温度从预设的初始温度升高到波峰温度的温度升高值，并获得所述对象的体表温度和情绪平稳状态下的平稳温度；第一强度计算单元，用于基于所述温度升高值、体表温度和平稳温度，计算所述第一强度。本申请的一个实施例中，所述初始温度为：所述对象在所述真实表情的出现时刻的面部温度；或所述平稳温度。本申请的一个实施例中，所述第一强度计算单元，具体用于：按照以下公式计算所述第一强度S1：S1＝c1*yb/[(yh+c2)-(yl-c3)]其中，所述yb表示所述温度升高值，yh表示所述体表温度，yl表示所述平稳温度，c1表示预设的用于衡量表情强度的制式规则，c2表示面部温度最高值与所述体表温度的第一预设差值，c3表示面部温度最低值与所述体表温度的第一预设差值。本申请的一个实施例中，所述第二强度获得模块，具体用于：本文档来自技高网...

【技术保护点】
1.一种表情检测方法，其特征在于，所述方法包括：/n检测对象的面部温度，根据检测到的面部温度的变化确定所述对象发生情绪波动的情绪发生时间；/n基于情绪波动与面部表情的发生时间的预设时间关系，根据所述情绪发生时间确定所述对象出现面部表情的表情时间范围；/n获得所述表情时间范围内采集的图像中所述对象的面部表情，将所获得的面部表情确定为真实表情。/n

【技术特征摘要】
1.一种表情检测方法，其特征在于，所述方法包括：
检测对象的面部温度，根据检测到的面部温度的变化确定所述对象发生情绪波动的情绪发生时间；
基于情绪波动与面部表情的发生时间的预设时间关系，根据所述情绪发生时间确定所述对象出现面部表情的表情时间范围；
获得所述表情时间范围内采集的图像中所述对象的面部表情，将所获得的面部表情确定为真实表情。


2.根据权利要求1所述的方法，其特征在于，所述基于情绪波动与面部表情的发生时间的预设时间关系，根据所述情绪发生时间确定所述对象出现面部表情的表情时间范围，包括：
基于情绪波动与面部表情的发生时间的预设时间关系，确定所述情绪发生时间之前预设时长内的时间范围，作为所述对象出现面部表情的表情时间范围。


3.根据权利要求1所述的方法，其特征在于，所述根据检测到的面部温度的变化确定所述对象发生情绪波动的情绪发生时间，包括：
查找检测到的面部温度的局部极大值；
获得所述局部极大值的出现时间，将所获得的出现时间确定为所述对象发生情绪波动的情绪发生时间。


4.根据权利要求1-3中任一项所述的方法，其特征在于，所述方法还包括：
在将所获得的面部表情确定为真实表情后，基于所述对象的面部温度的变化获得所述真实表情的第一强度，并基于所述对象出现所述真实表情时的面部动作的变化获得所述真实表情的第二强度；
基于第一强度对应的第一预设权重、第二强度对应的第二预设权重，对所述第一强度和第二强度进行加权求和，得到所述表情的表情强度。


5.根据权利要求4所述的方法，其特征在于，所述基于所述对象的面部温度的变化获得所述真实表情的第一强度，包括：
确定所述对象的面部温度从预设的初始温度升高到波峰温度的温度升高值，并获得所述对象的体表温度和情绪平稳状态下的平稳温度；
基于所述温度升高值、体表温度和平稳温度，计算所述第一强度；
所述初始温度为：
所述对象在所述真实表情的出现时刻的面部温度；或所述平稳温度。


6.根据权利要求4所述的方法，其特征在于，所述基于所述对象出现所述真实表情时的面部动作的变化获得所述真实表情的第二强度，包括：
识别目标图像中所述对象的面部动作，获得各个所识别到的面部动作的动作强度，其中，所述目标图像为：所述表情时间范围内采集的、所包含的所述对象出现所述真实表情的图像；
计算所获得的各个动作强度的均值，作为所述真实表情的第二强度。


7.一种表情检测装置，...

【专利技术属性】
技术研发人员：朱俊，王保青，
申请(专利权)人：杭州海康威视系统技术有限公司，
类型：发明
国别省市：浙江;33