一种基于三支决策和光流过滤机制的微表情压缩方法技术

本发明专利技术提供了一种基于三支决策和光流过滤机制的微表情压缩方法，该方法包括：首先，对于每段微表情视频的微表情视频片段集合V＝{v1,v2,

【技术实现步骤摘要】
一种基于三支决策和光流过滤机制的微表情压缩方法


[0001]本专利技术属于计算机视觉领域，具体是一种基于三支决策和光流过滤机制的微表情压缩方法。

技术介绍

[0002]微表情是一种微妙的、无意识的面部表情，通常受到一些复杂的环境、人为等因素的影响，并在无意识的情况下产生。微表情相对于宏表情具有隐秘性，一般难以觉察，实际上由于人类的身体特性，这种无意识的面部表情会通过一种极其快速且微妙的脸部动作表现出来。微表情泄露性的表达了人们压抑、试图隐藏的真实情绪，目前的微表情主要由几个基本的情绪构成，包括开心、愤怒、厌恶、恐惧、惊讶和其他。微表情是一种归属于生理性的反应行为，因此其表露出的是不可控的真实的心理状态。
[0003]通过微表情相关数据分析可以发现，视频中包含大量图像具有较低的语义信息，这些图像没有表达且形态语义变化很小。根据微表情视频数据分析可知，微表情发生的区域主要集中在开始帧到偏移帧，在顶点帧中达到语义的高峰。因此，未做处理的数据中包含大量的低质量和不平衡数据。

技术实现思路

[0004]本专利技术提供一种基于三支决策和光流过滤机制的微表情压缩方法，利用光流属性进行加权函数的定义，再基于粗糙集概率决策方法提出了一种具有去冗余、压缩视频功能的微表情研究方法。
[0005]本专利技术是通过以下技术方案实现的：
[0006]一种基于三支决策和光流过滤机制的微表情压缩方法，包括如下步骤：
[0007]S1:选取微表情数据集A＝{V1,V2,V3,
…
Vr/>t
}进行图像的补齐、统一大小、图像灰值化等预处理；
[0008]S2:采用MTCNN多任务级联神经网络对V1,V2,V3,
…
V
t
视频片段图片进行脸部区域的定位裁剪,并统一图片大小；
[0009]S3:对每一段视频V
i
＝{v1,v2,
…
,v
t
}对于每俩个连续的视频片段v
i
和v
i+1
都有o
i
生成,视频V
i
转变为光流集合O
i
＝{o1,o2,
…
,o
t
‑1}；
[0010]S4:对于O
i
＝{o1,o2,
…
,o
t
‑1}获取每一张光流的横向位移和纵向位移通过如下表达式计算每一张光流的强度,其中W代表横向像素，H代表纵向像素大小；
[0011][0012]S5:对当前光流o
i
获取当前光流下的平均像素强度其表达式如下所示：
[0013][0014]S6:采用作用加权函数对每张光流o
i
进行加权赋值，其赋值表达是如下所示：
[0015][0016]S7:重复S3
‑
S6对每一个视频片段集进行光流处理加权，可以获取每一个视频集合V
i
所对应的光流加权集合ω
i
；
[0017]S8:定义三支阈值(α,β)通过对ω
i
集合进行分支筛选，其规则定义为：
[0018]当时，光流o
i
划分为NEG
(α,β)
(O)域集；
[0019]当时，光流o
i
划分为BND
(α,β)
(O)域集；
[0020]当时，光流o
i
划分为POS
(α,β)
(O)域集；
[0021]S9:根据光流分支规则获取视频片段集,其规则定义为:
[0022]当o
i
∈POS
(α,β)
(O)时,视频片段v
i+1
被定义为v
i+1
∈POS
(α,β)
(V)；
[0023]当o
i
∈BND
(α,β)
(O)时,视频片段v
i+1
被定义为v
i+1
∈BND
(α,β)
(V)；
[0024]当o
i
∈NEG
α
(O)时,视频片段v
i+1
被定义为v
i+1
∈NEG
(α,β)
(V)；
[0025]S10:根据光流集BND
(α,β)
(V)∪POS
(α,β)
(V)更新视频片段集,并进行基于时间序列进行视频片段重排序整合,获取新的视频片段序列集合V；
[0026]S11：定义收敛系数η，重复S3
‑
S10步骤次数达到收敛系数或者NEG
(α,β)
(O)域集数据在自增长阈值状态下保持为0，停止迭代；
[0027]S12：获得高质量语义视频片段集,获取高质量视频片段集合V；
[0028]S13:对基于光流过滤下的视频V进行基于动态视频下的纹理特征提取,获得在空间平面XY和时空平面XT，YT的三个平面上的视频特征值,其表达式所下所示:
[0029][0030]S14:采用分类器对S13获取的视频特征进行训练,获取微表情识别模型用于微表情最终识别。
[0031]本专利技术相对于现有技术具有以下优点：
[0032]1.本专利技术将粗糙集概率决策引入微表情领域，通过粗糙集进行信息决策，拓展了微表情研究新方向。
[0033]2.本专利技术依据光流变化权重对图片信息进行去冗余，有效压缩视频片段信息，提升信息间的语义表达。
附图说明
[0034]图1是本专利技术的基本流程图。
具体实施方式
[0035]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对
本专利技术进行进一步的详细说明。此处所描述的具体实施例仅用于解释本专利技术技术方案，并不限于本专利技术。
[0036]如图1所示的基于三支决策和光流过滤机制的微表情压缩方法基本流程图，本专利技术将通过以下实施例作进一步说明。
[0037]1.以微表情CASMEII数据集作为实验数据，其中包括26个参与者，256个微表情视频文件V＝{V1,V2,V3,
…
V
256
}，微表情标签中包含开心、厌恶、恐惧、悲伤和其他5大类表情标签。并定义初始化迭代阈值η＝5，统计次数S＝0，阈值(α,β)＝(0.35,0.6)。
[0038]2.针对于视频文件V1＝{v1,v2,
…
,v
290
}，其由290张视频帧图片构成，依据光流提取规则可获取光流集合O＝{o1,o2,
…
,o
289
}，共289张光流来表示图片间的语义变化关系。
[0039]3.利用S4
‑
S6所定义的光流加权函数对O本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于三支决策和光流过滤机制的微表情压缩方法，其特征在于：包括如下步骤：S1:选取微表情数据集A＝{V1,V2,V3,
…
V
t
}进行图像的补齐、统一大小、图像灰值化预处理；S2:采用MTCNN多任务级联神经网络对V1,V2,V3,
…
V
t
视频片段图片进行脸部区域的定位裁剪,并统一图片大小；S3:对每一段视频V
i
＝{v1,v2,
…
,v
t
}对于每两个连续的视频片段v
i
和v
i+1
都有o
i
生成,视频V
i
转变为光流集合O
i
＝{o1,o2,
…
,o
t
‑1}；S4:对于O
i
＝{o1,o2,
…
,o
t
‑1}获取每一张光流的横向位移和纵向位移通过如下表达式计算每一张光流的强度，其中W代表横向像素，H代表纵向像素大小；S5:对当前光流o
i
获取当前光流下的平均像素强度其表达式如下所示：S6:采用作用加权函数对每张光流o
i
进行加权赋值，其赋值表达是如下所示：S7:重复S3
‑
S6对每一个视频片段集进行光流处理加权，可以获取每一个视频集合V
i
所对应的光流加权集合ω
i
；S8:定义三支阈值(α,β)通过对ω
i
集合进行分支筛选，其规则定义为：当时，光流o
i
划分为NEG
(α,β)
(O)域集...

【专利技术属性】
技术研发人员：徐健锋，吴俊杰，王振，左柯，雷洁，
申请(专利权)人：南昌大学，
类型：发明
国别省市：