基于人工智能的微表情检测方法及相关设备技术

本申请涉及人工智能及数字医疗领域，提出一种基于人工智能的微表情检测方法及相关设备，所述方法包括：将滑动窗口置于待测视频的起始帧，定位滑动窗口中参考帧和后续帧的人脸区域并划分为多个子区域；基于鼻尖子区域的光流信息对齐每个后续帧与参考帧后，计算各后续帧中各子区域的光流特征值；绘制各子区域的光流曲线以获取各子区域的第一微表情区间；对不同子区域的第一微表情区间进行局部非极大值抑制得到该滑动窗口的第二微表情区间；多次移动滑动窗口，获取每个滑动窗口的第二微表情区间，直至遍历完待测视频；对所有滑动窗口的第二微表情区间进行全局非极大值抑制得到微表情检测结果。本申请能提高微表情检测的精度。本申请能提高微表情检测的精度。本申请能提高微表情检测的精度。

【技术实现步骤摘要】
基于人工智能的微表情检测方法及相关设备


[0001]本申请涉及人工智能及数字医疗领域，尤其涉及一种基于人工智能的微表情检测方法及相关设备，其中，相关设备包括基于人工智能的微表情检测装置、电子设备及存储介质。

技术介绍

[0002]微表情是指人们在试图隐藏自己真实感受或掩饰自己的情绪时出现的短暂的、不自主的面部情绪。微表情识别在理解真实情感方面发挥着重要作用，经常用于刑侦、测谎、安全、金融科技、心理治疗等领域，微表情检测是在长视频中准确定位微小短暂微表情片段，任务十分具有挑战性。
[0003]目前，常常是计算视频中多个时间窗口内面部特征的差异，并在整个视频中设置差异阈值，对比各时间窗口的差异和差异阈值划分微表情，然而，这种方法没有提取到面部的时序特征，且无法避免眨眼等习惯性动作对微表情检测的干扰，微表情检测结果的精度较低。

技术实现思路

[0004]鉴于以上内容，有必要提出一种基于人工智能的微表情检测方法及相关设备，以解决如何提高微表情检测的精度这一技术问题，其中，相关设备包括基于人工智能的微表情检测装置、电子设备及存储介质。
[0005]本申请提供基于人工智能的微表情检测方法，所述方法包括：
[0006]S10，建立滑动窗口，并将所述滑动窗口的起点设于待测视频中起始帧的位置，所述滑动窗口覆盖预设数量的视频帧；
[0007]S11，将所述滑动窗口中第一个视频帧作为参考帧，将所述滑动窗口中除所述参考帧之外的所有视频帧作为后续帧，对所述参考帧和所述后续帧进行人脸关键点检测以定位人脸区域，并将所述人脸区域划分为预设数量的子区域，所述子区域至少包括鼻尖子区域；
[0008]S12，计算每个后续帧与所述参考帧之间所述鼻尖子区域的光流信息，并基于所述鼻尖子区域的光流信息将每个后续帧与所述参考帧对齐之后，计算每个后续帧中各子区域的光流特征值；
[0009]S13，以所述后续帧在所述待测视频中的序号为横坐标，以所述光流特征值为纵坐标，绘制每一个子区域的光流曲线，并对每个子区域的光流曲线进行波峰定位以获取各子区域的第一微表情区间；
[0010]S14，对不同子区域的第一微表情区间进行局部非极大值抑制，得到当前滑动窗口的第二微表情区间；
[0011]S15，沿着所述待测视频中时间轴的方向以预设步长移动所述滑动窗口，每移动一次所述滑动窗口，重复执行S11到S14以获取当前滑动窗口的第二微表情区间，直到所述滑动窗口的起点位于所述待测视频之外时停止；
[0012]S16，对所有滑动窗口的第二微表情区间进行全局非极大值抑制以获取第三微表情区间，并将所述第三微表情区间作为所述待测视频的微表情检测结果。
[0013]在一些实施例中，所述光流信息包括所述后续帧相对于参考帧之间各像素点的偏移向量，所述基于所述鼻尖子区域的光流信息将每个后续帧与所述参考帧对齐包括：
[0014]A1，对于每个后续帧，基于所述鼻尖子区域的光流信息计算所述后续帧与所述参考帧之间的偏差；
[0015]A2，判断所述偏差的大小是否大于预设偏差，若所述偏差的大小不大于所述预设偏差，则将所述偏差作为所述后续帧的最终偏差，完成所述后续帧与所述参考帧的对齐，若所述偏差的大小大于所述预设偏差，则基于所述偏差平移所述后续帧；
[0016]A3，重新计算平移后的后续帧与所述参考帧之间的各子区域的光流信息，并重复执行步骤A1到步骤A2，直到所述后续帧与所述参考帧对齐。
[0017]在一些实施例中，所述计算每个后续帧中各子区域的光流特征值包括：
[0018]将任意一个对齐之后的后续帧作为目标帧，计算所述目标帧与所述参考帧之间各子区域的光流信息；
[0019]对于所述目标帧中每一个子区域，按照所述偏移向量的大小从所述子区域中选取排名靠前的预设百分比的像素点以计算所述子区域的运动特征；
[0020]获取所述目标帧的最终偏差，基于所述最终偏差修正所述运动特征以获取所述目标帧中每一个子区域的光流特征值；
[0021]按照相同的方法计算每一个对齐之后的后续帧中各子区域的光流特征值。
[0022]在一些实施例中，所述对每个子区域的光流曲线进行波峰定位以获取各子区域的第一微表情区间包括：
[0023]对于每一个子区域的光流曲线，利用峰值点检测算法获取所述光流曲线的峰值点；
[0024]以所述峰值点为中心，将所述峰值点前后预设数量的视频帧作为所述峰值点对应的峰值区间；
[0025]将所述子区域的所有峰值区间作为所述子区域的第一微表情区间。
[0026]在一些实施例中，所述第一微表情区间包括多个峰值区间，所述对不同子区域的第一微表情区间进行局部非极大值抑制，得到当前滑动窗口的第二微表情区间，包括：
[0027]将任意子区域作为目标子区域，将所述目标子区域之外的任意子区域作为匹配子区域；
[0028]针对所述目标子区域对应的第一微表情区间中的每个峰值区间，计算所述峰值区间与所述匹配子区域的各峰值区间的重合度，当所述重合度大于预设重合度时，将对应的两个峰值区间的并集作为合并峰值区间；
[0029]遍历所述目标子区域之外的所有子区域，得到所述目标子区域对应的所有合并峰值区间；
[0030]按照相同的操作遍历完所有子区域之后，得到每一个子区域对应的合并峰值区间，将所有子区域对应的合并峰值区间作为当前滑动窗口的第二微表情区间。
[0031]在一些实施例中，所述预设步长小于或等于所述滑动窗口覆盖视频帧的预设数量，所述沿着所述待测视频中时间轴的方向以预设步长移动所述滑动窗口之后，所述方法
还包括：
[0032]判断所述滑动窗口中的参考帧是否与任意光流曲线的峰值点重合；
[0033]当所述参考帧与任意光流曲线的峰值点重合时，将所述滑动窗口向前或向后移动至所述光流曲线上与所述峰值点相邻的波谷点，使所述参考帧与所述波谷点重合。
[0034]在一些实施例中，所述第二微表情区间包括多个合并峰值区间，所述对所有滑动窗口的第二微表情区间进行全局非极大值抑制以获取第三微表情区间包括：
[0035]将所有滑动窗口的第二微表情区间中的合并峰值区间作为合并峰值区间集合；
[0036]从所述合并峰值区间集合中随机挑选任意两个合并峰值区间，并计算所述两个合并峰值区间的重合度；
[0037]当所述重合度大于预设重合度时，将所述两个合并峰值区间的并集作为最终峰值区间；
[0038]遍历所述合并峰值区间集合中所有合并峰值区间，得到所有最终峰值区间；
[0039]将所有最终峰值区间的并集作为第三微表情区间。
[0040]本申请实施例还提供一种基于人工智能的微表情检测装置，所述装置包括：
[0041]建立单元，用于建立滑动窗口，并将所述滑动窗口的起点设于待测视频中起始帧的位置，所述滑动窗口覆盖预设数量的视频帧；
[0042]定位单元，用于将所述滑动窗口中第一个视频帧作本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人工智能的微表情检测方法，其特征在于，所述方法包括：S10，建立滑动窗口，并将所述滑动窗口的起点设于待测视频中起始帧的位置，所述滑动窗口覆盖预设数量的视频帧；S11，将所述滑动窗口中第一个视频帧作为参考帧，将所述滑动窗口中除所述参考帧之外的所有视频帧作为后续帧，对所述参考帧和所述后续帧进行人脸关键点检测以定位人脸区域，并将所述人脸区域划分为预设数量的子区域，所述子区域至少包括鼻尖子区域；S12，计算每个后续帧与所述参考帧之间所述鼻尖子区域的光流信息，并基于所述鼻尖子区域的光流信息将每个后续帧与所述参考帧对齐之后，计算每个后续帧中各子区域的光流特征值；S13，以所述后续帧在所述待测视频中的序号为横坐标，以所述光流特征值为纵坐标，绘制每一个子区域的光流曲线，并对每个子区域的光流曲线进行波峰定位以获取各子区域的第一微表情区间；S14，对不同子区域的第一微表情区间进行局部非极大值抑制，得到当前滑动窗口的第二微表情区间；S15，沿着所述待测视频中时间轴的方向以预设步长移动所述滑动窗口，每移动一次所述滑动窗口，重复执行S11到S14以获取当前滑动窗口的第二微表情区间，直到所述滑动窗口的起点位于所述待测视频之外时停止；S16，对所有滑动窗口的第二微表情区间进行全局非极大值抑制以获取第三微表情区间，并将所述第三微表情区间作为所述待测视频的微表情检测结果。2.如权利要求1所述的基于人工智能的微表情检测方法，其特征在于，所述光流信息包括所述后续帧相对于参考帧之间各像素点的偏移向量，所述基于所述鼻尖子区域的光流信息将每个后续帧与所述参考帧对齐包括：A1，对于每个后续帧，基于所述鼻尖子区域的光流信息计算所述后续帧与所述参考帧之间的偏差；A2，判断所述偏差的大小是否大于预设偏差，若所述偏差的大小不大于所述预设偏差，则将所述偏差作为所述后续帧的最终偏差，完成所述后续帧与所述参考帧的对齐，若所述偏差的大小大于所述预设偏差，则基于所述偏差平移所述后续帧；A3，重新计算平移后的后续帧与所述参考帧之间的各子区域的光流信息，并重复执行步骤A1到步骤A2，直到所述后续帧与所述参考帧对齐。3.如权利要求2所述的基于人工智能的微表情检测方法，其特征在于，所述计算每个后续帧中各子区域的光流特征值包括：将任意一个对齐之后的后续帧作为目标帧，计算所述目标帧与所述参考帧之间各子区域的光流信息；对于所述目标帧中每一个子区域，按照所述偏移向量的大小从所述子区域中选取排名靠前的预设百分比的像素点以计算所述子区域的运动特征；获取所述目标帧的最终偏差，基于所述最终偏差修正所述运动特征以获取所述目标帧中每一个子区域的光流特征值；按照相同的方法计算每一个对齐之后的后续帧中各子区域的光流特征值。4.如权利要求1所述的基于人工智能的微表情检测方法，其特征在于，所述对每个子区
域的光流曲线进行波峰定位以获取各子区域的第一微表情区间包括：对于每一个子区域的光流曲线，利用峰值点检测算法获取所述光流曲线的峰值点；以所述峰值点为中心，将所述峰值点前后预设数量的视频帧作为所述峰值点对应的峰值区间；将所述子区域的所有峰值区间作为所述子区域的第一微表情区间。5.如权利要求1所述的基于人工智能的微表情检测方法，其特征在于，所述第一微表情区间包括多个峰值区间，所述对不同子区域的第一微表情区间进行局部非极大值抑制，得到当前滑动窗口的第二微表情区间，包括：将任意子区域作为目标子区域，将所述目标子区域之外的任意子区域作为匹配子区域；针对所述目标子区域对应的...

【专利技术属性】
技术研发人员：盛建达，赵源，戴磊，徐玲玲，胡魁，叶明，陈远旭，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：