一种基于压缩信息的人脸倾斜度分析方法、系统及设备技术方案

本发明专利技术提出一种基于压缩信息的人脸倾斜度分析方法、系统及设备。本发明专利技术方法首先利用视频码流中图像块的划分并结合肤色及五官的特性，进行人脸倾斜度分析的辅助定位，然后根据辅助定位确定人脸的倾斜度。本方法通过对视频压缩信息的二次利用，可用较少的计算量实现人脸倾斜角度分析，提升人脸检测系统准确率。

【技术实现步骤摘要】
一种基于压缩信息的人脸倾斜度分析方法、系统及设备
本专利技术涉及视频编解码
，尤其涉及一种基于压缩信息的人脸倾斜度分析方法、系统及设备。
技术介绍
人脸识别、视频美颜是新兴的两大视频应用。实际应用中，人脸不会总是处于正面不歪头。由于个人的习惯及美化的需求，往往会存在侧面，倾斜等情况。若按照正常的模式不加以区分，会影响人脸检测识别的准确度。人脸检测不准确，自然就无法达到好的人像美颜效果。
技术实现思路
本专利技术实施例的目的在于提供一种基于压缩信息的人脸倾斜度分析方法、系统及设备，旨在解决现有技术人脸检测识别的准确度低的问题。本专利技术实施例的第一目的在于提供一种基于压缩信息的人脸倾斜度分析方法，所述方法包括：Step1：创建当前帧第一检测区域；Step2：判断是否所述第一检测区域为非空，若是，则进入Step3；否则，进入Step6；Step3：对第一检测区域内块进行肤色检测，根据肤色检测划定当前待定人脸检测集并更新第一检测区域；Step4：对所述当前待定人脸检测集进行人脸检测，排除非人脸当前待定人脸检测集，确定五官待定集及其侧面模式；Step5：根据五官待定集的侧面模式，对未判定为非人脸的当前待定人脸检测集进行辅助定位，确定人脸倾斜度，然后重回Step2；Step6：判断是否当前帧的下一帧存在，若存在，则将当前帧的下一帧设置为当前帧，然后进入Step7；否则，则结束；Step7：判断当前帧I块数量是否满足第一阈值条件，若满足第一阈值条件，则重回Step1。进一步地，当不满足第一阈值条件时，则进入Step8；Step8：创建当前帧第二检测区域；Step9：对当前帧第二检测区域进行新增人脸辅助定位，确定人脸倾斜度。本专利技术实施例的第二目的在于提供一种基于压缩信息的人脸倾斜度分析系统。所述系统包括：第一检测区域创建模块，用于创建当前帧第一检测区域；第一判断处理模块，用于判断是否所述第一检测区域为非空，若是，则进入待定人脸检测集划分及第一检测区域更新模块；否则，进入第二判断处理模块；待定人脸检测集划分及第一检测区域更新模块，用于对第一检测区域内块进行肤色检测，根据肤色检测划定当前待定人脸检测集并更新第一检测区域；第一人脸检测装置，用于对所述当前待定人脸检测集进行人脸检测，排除非人脸当前待定人脸检测集，确定五官待定集及其侧面模式；第一人脸倾斜度确定装置，用于根据五官待定集的侧面模式，对未判定为非人脸的当前待定人脸检测集进行辅助定位，确定人脸倾斜度，然后重回第一判断处理模块；第二判断处理模块，用于判断是否当前帧的下一帧存在，若存在，则将当前帧的下一帧设置为当前帧，然后进入第一阈值条件判断处理模块；否则，则结束；第一阈值条件判断处理模块，用于判断当前帧I块数量是否满足第一阈值条件，若满足第一阈值条件，则重回第一检测区域创建模块。进一步地，所述系统包括：当不满足第一阈值条件时，则进入第二检测区域创建模块；第二检测区域创建模块，用于创建当前帧第二检测区域；新增人脸倾斜度确定装置，用于对当前帧第二检测区域，进行新增人脸辅助定位，确定人脸倾斜度。本专利技术实施例的第三目的在于提供一种设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述基于压缩信息的人脸倾斜度分析方法的步骤。本专利技术的有益效果本专利技术提出一种基于压缩信息的人脸倾斜度分析方法、系统及设备。本专利技术方法首先利用视频码流中图像块的划分并结合肤色及五官的特性，进行人脸倾斜度分析的辅助定位，然后根据辅助定位确定人脸的倾斜度。本方法通过对视频压缩信息的二次利用，可用较少的计算量实现人脸倾斜角度分析，提升人脸检测系统准确率。附图说明图1是本专利技术实施例提供的一种基于压缩信息的人脸倾斜度分析方法流程图；图2是图1中Step4的方法流程图；图3是图1中Step9的方法流程图；图4是本专利技术实施例提供的一种基于压缩信息的人脸倾斜度分析系统结构图；图5是图4中第一人脸检测装置详细结构图；图6是图4中新增人脸倾斜度确定装置详细结构图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本专利技术进行进一步详细说明，为了便于说明，仅示出了与本专利技术实施例相关的部分。应当理解，此处所描写的具体实施例，仅仅用于解释本专利技术，并不用以限制本专利技术，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据本专利技术实施例获得其他的等同实施例。本专利技术提出一种基于压缩信息的人脸倾斜度分析方法、系统及设备。本专利技术方法首先利用视频码流中图像块的划分并结合肤色及五官的特性，进行人脸倾斜度分析的辅助定位，然后根据辅助定位确定人脸的倾斜度。本方法通过对视频压缩信息的二次利用，可用较少的计算量实现人脸倾斜角度分析，提升人脸检测系统准确率。图1是本专利技术实施例提供的一种基于压缩信息的人脸倾斜度分析方法流程图；所述方法包括：Step1：创建当前帧第一检测区域；将当前帧中划分为基本块的块中，属于非边界、非孤立块的块作为第一检测区域；其中，所述基本块表示当前视频压缩所使用编码标准允许的最大划分块，当前帧初始值为视频第一帧。Step2：判断是否所述第一检测区域为非空，若是，则进入Step3；否则，进入Step6。Step3：对第一检测区域内块进行肤色检测，根据肤色检测划定当前待定人脸检测集并更新第一检测区域；本专利技术实施例中，若检测到肤色块，则停止肤色检测，记所述肤色块为当前肤色标识块，接着将第一检测区域内所有与当前肤色标识块连通的块及当前肤色标识块划入当前待定人脸检测集；再接着将所述当前待定人脸检测集对应块从第一检测区域内删除，获取更新后的第一检测区域；然后进入Step4。若检测到非肤色块，则将所述非肤色块从第一检测区域删除，然后重回Step2；所述肤色检测法为本
常规的方法，在此不再赘述。Step4：对所述当前待定人脸检测集进行人脸检测，排除非人脸当前待定人脸检测集，确定五官待定集及其侧面模式。图2是图1中Step4的方法流程图；包括：S41：根据所述当前待定人脸检测集包围区域的内侧与第一检测区域的块包含关系，对所述当前待定人脸检测集进行非人脸排除，并划定五官待定集；具体为：若所述当前待定人脸检测集合包围区域的内侧的块均属于第一检测区域，则判定所述当前待定人脸检测集为非人脸，重回Step2；否则，将所述当前待定人脸检测集包围区域内侧不属于第一检测区域的块，按其连通性划分为若干连通块子集，将每个连通块子集作为一个五官待定集。S42:判断五官待定集数量是否满足第一条件，对满足第一条件的当前待定人脸检测集进行非人脸排除；对不满足第一条件的五官待定集，进行侧面模式判定。所本文档来自技高网...

【技术保护点】
1.一种基于压缩信息的人脸倾斜度分析方法，其特征在于，所述方法包括：/nStep1：创建当前帧第一检测区域；/nStep2：判断是否所述第一检测区域为非空，若是，则进入Step3；否则，进入Step6；/nStep3：对第一检测区域内块进行肤色检测，根据肤色检测划定当前待定人脸检测集并更新第一检测区域；/nStep4：对所述当前待定人脸检测集进行人脸检测，排除非人脸当前待定人脸检测集，确定五官待定集及其侧面模式；/nStep5：根据五官待定集的侧面模式，对未判定为非人脸的当前待定人脸检测集进行辅助定位，确定人脸倾斜度，然后重回Step2；/nStep6：判断是否当前帧的下一帧存在，若存在，则将当前帧的下一帧设置为当前帧，然后进入Step7；否则，则结束；/nStep7：判断当前帧I块数量是否满足第一阈值条件，若满足第一阈值条件，则重回Step1。/n

【技术特征摘要】
1.一种基于压缩信息的人脸倾斜度分析方法，其特征在于，所述方法包括：
Step1：创建当前帧第一检测区域；
Step2：判断是否所述第一检测区域为非空，若是，则进入Step3；否则，进入Step6；
Step3：对第一检测区域内块进行肤色检测，根据肤色检测划定当前待定人脸检测集并更新第一检测区域；
Step4：对所述当前待定人脸检测集进行人脸检测，排除非人脸当前待定人脸检测集，确定五官待定集及其侧面模式；
Step5：根据五官待定集的侧面模式，对未判定为非人脸的当前待定人脸检测集进行辅助定位，确定人脸倾斜度，然后重回Step2；
Step6：判断是否当前帧的下一帧存在，若存在，则将当前帧的下一帧设置为当前帧，然后进入Step7；否则，则结束；
Step7：判断当前帧I块数量是否满足第一阈值条件，若满足第一阈值条件，则重回Step1。


2.如权利要求1所述的基于压缩信息的人脸倾斜度分析方法，其特征在于，当不满足第一阈值条件时，则进入Step8；
Step8：创建当前帧第二检测区域；
Step9：对当前帧第二检测区域进行新增人脸辅助定位，确定人脸倾斜度。


3.如权利要求2所述的基于压缩信息的人脸倾斜度分析方法，其特征在于，所述创建当前帧第一检测区域具体为：
将当前帧中划分为基本块的块中，属于非边界、非孤立块的块作为第一检测区域；其中，所述基本块表示当前视频压缩所使用编码标准允许的最大划分块，当前帧初始值为视频第一帧；
所述创建当前帧第二检测区域具体为：
将当前帧中划分为最大块中属于非边界、非孤立块的帧内预测块作为第二检测区域。


4.如权利要求3所述的基于压缩信息的人脸倾斜度分析方法，其特征在于，所述对第一检测区域内块进行肤色检测，根据肤色检测划定当前待定人脸检测集并更新第一检测区域具体为：
若检测到肤色块，则停止肤色检测，记所述肤色块为当前肤色标识块，接着将第一检测区域内所有与当前肤色标识块连通的块及当前肤色标识块划入当前待定人脸检测集；再接着将所述当前待定人脸检测集对应块从第一检测区域内删除，获取更新后的第一检测区域；然后进入Step4。若检测到非肤色块，则将所述非肤色块从第一检测区域删除，然后重回Step2。


5.如权利要求4所述的基于压缩信息的人脸倾斜度分析方法，其特征在于，所述对所述当前待定人脸检测集进行人脸检测，排除非人脸当前待定人脸检测集，确定五官待定集及其侧面模式包括：
S41：根据所述当前待定人脸检测集包围区域的内侧与第一检测区域的块包含关系，对所述当前待定人脸检测集进行非人脸排除，并划定五官待定集；
S42:判断五官待定集数量是否满足第一条件，对满足第一条件的当前待定人脸检测集进行非人脸排除；对不满足第一条件的五官待定集，进行侧面模式判定；所述侧面模式包括非完全侧面模式和完全侧面模式，所述完全侧面模式包括完全左侧面和完全右侧面模式；
S43：根据五官待定集位于当前待定人脸检测集内的外邻接块是否为肤色块，对所述当前待定人脸检测集进行非人脸排除。


6.如权利要求5所述的基于压缩信息的人脸倾斜度分析方法，其特征在于，所述根据所述当前待定人脸检测集包围区域的内侧与第一检测区域的块包含关系，对所述当前待定人脸检测集进行非人脸排除，并划定五官待定集具体为：
若所述当前待定人脸检测集合包围区域的内侧的块均属于第一检测区域，则判定所述当前待定人脸检测集为非人脸，重回Step2；否则，将所述当前待定人脸检测集包围区域内侧不属于第一检测区域的块，按其连通性划分为若干连通块子集，将每个连通块子集作为一个五官待定集；
所述判断五官待定集数量是否满足第一条件，对满足第一条件的当前待定人脸检测集进行非人脸排除；对不满足第一条件的五官待定集，进行侧面模式判定包括以下步骤：
首先，标注每个五官待定集的行号，即用每个五官待定集内具有最小行号块对应的块行号，作为每个五官待定集的行号；
接着，判断五官待定集数量是否满足第一条件，若五官待定集数量满足第一条件，则判定所述当前待定人脸检测集为非人脸，重回Step2；
若五官待定集数量不满足第一条件，则进一步判断是否五官待定集总数大于单侧五官数量；若五官待定集总数大于单侧五官数量，则标识五官待定集为非完全侧面模式，进入S43；否则，若五官待定集总数小于等于单侧五官数量，则标识五官待定集为完全侧面模式，进一步判断是否五官待定集多分布于当前待定人脸检测集左侧；若五官待定集多分布于当前待定人脸检测集左侧，则标识五官待定集为完全左侧面模式，进入S43；若五官待定集多分布于当前待定人脸检测集右侧，则标识五官待定集为完全右侧面模式，进入S43。
五官待定集多分布于当前待定人脸检测集左侧：位于当前待定人脸检测集左侧的五官待定集多于位于当前待定人脸检测集右侧的五官待定集；
五官待定集多分布于当前待定人脸检测集右侧：位于当前待定人脸检测集右侧的五官待定集多于位于当前待定人脸检测集左侧的五官待定集；
第一条件：五官待定集总数小于单侧五官数量或者具有最小行号的五官待定集数量小于具有非最小行号的五官待定集数量；
所述根据五官待定集位于当前待定人脸检测集内的外邻接块是否为肤色块，对所述当前待定人脸检测集进行非人脸排除具体为：
对每个五官待定集位于当前待定人脸检测集内的外邻接块进行肤色检测，若所述外邻接块均为肤色块，则进入Step5；否则，判定当前待定人脸检测集为非人脸，重回Step2。


7.如权利要求6所述的基于压缩信息的人脸倾斜度分析方法，其特征在于，所述根据五官待定集的侧面模式，对未判定为非人脸的当前待定人脸检测集进行辅助定位，确定人脸倾斜度，具体包括：
Case1：五官待定集为非完全侧面模式，
步骤A1，根据五官待定集划定备选辅助待定集；
具体为：除了最大行号、次最大行号五官待定集外，将其余五官待定集按其行号升序依次划入备选辅助待定集；
步骤A2，若所述备选辅助待定集满足第二条件，则根据满足第二条件的备选辅助待定集划定第一辅助定位集、第二辅助定位集；
具体为：依次对所述备选辅助待定集进行判定，若所述备选辅助待定集满足第二条件，则将具有最小行号、次最小行号的备选辅助待定集确定为第一辅助定位集、第二辅助定位集，进入步骤A3；
第二条件：至少存在两个备选辅助待定集满足abs(kmax1-kmax2)＞Thres；
其中，Thres表示门限阈值，Thres＞50；kmax1、kmax2分别表示备选辅助待定集亮度值分布最大值对应的亮度值、亮度值分布次最大值对应的亮度值；
若所述备选辅助待定集不满足第二条件，则判定当前待定人脸检测集为非人脸，重回Step2；
步骤A3，根据第一辅助定位集、第二辅助定位集，计算人脸倾斜度；
人脸倾斜度
其中，(i5,j5)、(i6,j6)分别表示第一辅助定位集、第二辅助定位集中心的行列号；
Case2：五官待定集为完全侧面模式，
步骤B1，根据五官待定集划定备选辅助待定集；
具体为：除了最小行号、次最小行号五官待定集外，将其余五官待定集按其行号降序依次划入备选辅助待定集；
步骤B2：依次对备选辅助待定集进行唇部色度判定，将满足唇部色度条件的备选辅助待定集划定为辅助定位集，进入步骤B3；
若不存在满足唇部色度条件的备选辅助待定集，则判定当前待定人脸检测集为非人脸，重回Step2；
唇部色度条件：sum(sign(bpk)|bpk∈Ωi)＞num(Ωi)*Thres2；
其中，Ωi表示备选辅助待定集的第i个元素(即第i个备选辅助待定集)；sum(变量|条件)表示对满足条件的变量求和；num(Ωi)表示Ωi包含的预测块数量；Thres2表示门限阈值，Thres2≥0.9；



条件1：um＜128且vm＞128且vm+um＞256；
条件2：um＞128且vm＞128且vm＞um；
条件3：um＝128且vm＝128且(ym≤50或者ym≥180)；ym、um、vm分别表示预测块bpk的亮度均值、U色度均值、V色度均值；
步骤B3：根据所述辅助定位集，计算人脸倾斜度；
步骤B31：找到辅助定位集中具有最小列号的块列，定位该块列的中间块，记为第一中间块gmb(i1,j1)；找到辅助定位集中具有最大列号的块列，定位该块列的中间块，记为第二中间块gmb(i2,j2)；找到辅助定位集中具有最小行号的块行，定位该块行的中间块，记为第三中间块gmb(i3,j3)；
步骤B32：计算人脸倾...

【专利技术属性】
技术研发人员：舒倩，
申请(专利权)人：深圳市梦网视讯有限公司，
类型：发明
国别省市：广东;44