一种头部姿态定位与检测方法及其应用和系统技术方案

本发明专利技术公开了一种头部姿态定位与检测方法及其应用和系统。其中，该头部姿态定位与检测方法包括如下步骤：获取待测头部姿态的图像集，并将图像集中的所有图像进行标准亮度转换；将转换后的所有图像分别利用人物检测模型、头部检测模型得到全身位置信息Pa和头部位置信息Ph，将全身位置信息Pa和头部位置信息Ph输入到预先构建的深度学习卷积神经网络中，转换得到两种位置信息的中间特征Pa^和Ph^；将两种位置信息的中间特征Pa^和Ph^按一定权重进行融合，根据融合后的特征P_site计算得到头部偏转欧拉角。本发明专利技术提供的头部姿态定位与检测方法受影响程度小，检测准确；同时还能有效提升模型学习的速率。升模型学习的速率。升模型学习的速率。

【技术实现步骤摘要】
一种头部姿态定位与检测方法及其应用和系统


[0001]本专利技术属于姿态检测
，更具体地，涉及一种头部姿态定位与检测方法及其应用和系统。

技术介绍

[0002]头部姿态检测技术有着广泛的应用领域，例如：驾驶员疲劳状态检测、课堂注意力检测、协同表情识别等。一方面，虽然利用深度像机获取图像的深度信息可以使得头部姿态估计取得非常精确的结果，但在现实生活中，深度相机的成本较高，不具有普适性。另一方面，传统的头部姿态估计方法对于高质量图像或视频能够表现出较好的性能，但对于低分辨率图像或远场景下的人物头部姿态估计效果较差，实际中难以应用。
[0003]真实环境中伴随着光线强度的变化，光线的变化会对头部姿态估计产生一定的干扰。当图像或视频中的人物存在大范围的面部遮挡、较大角度的头部偏转时，传统基于机器学习的头部姿态估计方法很难检测出人物头部，故无法据此进行头部姿态估计。
[0004]深度学习方法在图像领域有着较优的表现，比机器学习方法更适用于真实场景下的头部姿态估计，具体表现在以下三点：(1)在低分辨率场景下展现出良好的鲁棒性；(2)对于场景中光线的变化不敏感；(3)可通过一定方法(如：生成式对抗网络)对于图像中存在的遮挡、偏转人像进行修复,从而提高预测准确率。
[0005]同时，深度学习方法在进行头部姿态估计任务时也存在一定的缺陷：就检测效果而言，头部姿态的估计效果直接受到模型质量好坏的影响；就时间开销而言，深度学习方法往往需花费大量时间进行模型训练，而在模型训练过程中，无关的背景因素会对训练造成干扰，拖慢了参数整体优化的速率。

技术实现思路

[0006]针对现有技术的缺陷，本专利技术的目的在于提供一种头部姿态定位与检测方法及其应用和系统，旨在解决传统头部姿态估计中存在的问题(易受环境光线等客观因素，人物头部偏转、遮挡等主观因素影响)，同时提升模型学习的速率。
[0007]为实现上述目的，第一方面，本专利技术提供了一种头部姿态定位与检测方法，包括如下步骤：
[0008](1)获取待测头部姿态的图像集，并将所述图像集中的所有图像进行标准亮度转换，所述图像集包括图像数据中按照顺序排列的图像集合、或视频数据中按照帧列顺序排列的图像集合；
[0009](2)将标准亮度转换后的所有图像分别利用人物检测模型、头部检测模型得到全身位置信息Pa和头部位置信息Ph，将所述全身位置信息Pa和所述头部位置信息Ph输入到预先构建的深度学习卷积神经网络中，转换得到两种位置信息的中间特征Pa^和Ph^；
[0010](3)将所述两种位置信息的中间特征Pa^和Ph^按一定权重进行融合，根据融合后的特征P_site计算得到头部偏转欧拉角。
[0011]在其中一个实施例中，步骤(1)，具体包括：
[0012]对于图像数据，直接将图像集中各图像的R、G、B三通道进行标准亮度转换为Y单通道图像；对于视频数据，获取图像集中连续三帧图像，并将所述三帧图像中各图像的R、G、B三通道进行标准亮度转换，得到(Y1，Y2，Y3)短时帧间关联的三帧亮度信息，其中，所述三帧图像中的中间帧图像亮度信息Y2为基准亮度，前后两帧图像的亮度信息Y1、Y3为变换亮度。
[0013]在其中一个实施例中，步骤(1)，还包括：
[0014]将获取的图像集进行预处理，并将预处理后的所述图像集中的所有图像进行标准亮度转换，其中，所述预处理包括旋转、镜像、校正对齐和去中心化裁剪中的一种或多种。
[0015]在其中一个实施例中，所述标准亮度转换公式为：Y＝sqrt(0.241*R^2+0.691*G^2+0.068*B^2)。
[0016]在其中一个实施例中，所述中间特征Pa^和Ph^融合公式为：
[0017]P_site＝(0.4Pa^
⊙
E+(0.6Ph^
⊙
E+α))
[0018]其中，
⊙
表示元素之间的点乘；α是0常量矩阵；Pa^
⊙
E表示将所述全身位置信息Pa经所述深度学习卷积神经网络的卷积层运算后得到的中间特征、与所述深度学习卷积神经网络的全连接层的输入维度相统一；Ph^
⊙
E表示将所述头部位置信息Ph经深度学习卷积神经网络的卷积层运算后得到的中间特征、与所述深度学习卷积神经网络的全连接层的输入维度相统一。
[0019]在其中一个实施例中，所述深度学习卷积神经网络的工作流程为：
[0020]经过一层卷积层conv1，一层归一化处理bn1，线性单元修正ReLU，最大池化操作Max
‑
pooling，再经由四层上采样操作，对结果进行平均池化mean
‑
pooling，再输送到全连接层中。
[0021]在其中一个实施例中，所述深度学习卷积神经网络采用UPAN数据集进行训练。
[0022]在其中一个实施例中，所述深度学习卷积神经网络的损失函数采用均方误差损失。
[0023]第二方面，本专利技术提供了一种上述所述的头部姿态定位与检测方法在驾驶预警、课堂注意力检测、儿童行为诱导中的应用。
[0024]第三方面，本专利技术提供了一种头部姿态定位与检测系统，包括：
[0025]图像集输入模块，用于获取待测头部姿态的图像集，并将所述图像集中的所有图像进行标准亮度转换，所述图像集包括图像数据中按照顺序排列的图像集合、或视频数据中按照帧列顺序排列的图像集合；
[0026]位置信息融合模块，用于将标准亮度转换后的所有图像分别利用人物检测模型、头部检测模型得到全身位置信息Pa和头部位置信息Ph，将所述全身位置信息Pa和所述头部位置信息Ph输入到预先构建的深度学习卷积神经网络中，转换得到两种位置信息的中间特征Pa^和Ph^；
[0027]深度学习模块，用于将所述两种位置信息的中间特征Pa^和Ph^按一定权重进行融合，根据融合后的特征P_site计算得到头部偏转欧拉角。
[0028]本专利技术提供的头部姿态定位与检测方法及其应用和系统，具有如下有益效果：1)将获取的图像集进行标准亮度转换可去除与头部姿态估计无关的颜色信息，同时亮度维度Y由R、G、B三者线性组合而来，保留了原有维度的信息；2)人物检测模型和头部检测模型采
用不同的模型，提高了模型整体的健壮性；将两种模型得到的信息经由同一网络输出，保证了两种位置中间特征具有相同的空间结构；3)将两种位置的中间特征进行融合，融合后的位置特征保留了头部位置信息的精准性和全身位置信息的容错性，可提升模型的学习速率，减小头部姿态估计的角度偏差。
附图说明
[0029]图1为一实施例中头部姿态定位与检测方法的流程图；
[0030]图2为一实施例中头部姿态定位与检测系统的模块示意图；
[0031]图3为一实施例中头部姿态定位与检测系统的技术框图；
[0032]图4为一实施例中图像标准亮度的计算原理图；
[0033]图5为图4中图像标准亮度的计算流本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种头部姿态定位与检测方法，其特征在于，包括如下步骤：(1)获取待测头部姿态的图像集，并将所述图像集中的所有图像进行标准亮度转换，所述图像集包括图像数据中按照顺序排列的图像集合、或视频数据中按照帧列顺序排列的图像集合；(2)将标准亮度转换后的所有图像分别利用人物检测模型、头部检测模型得到全身位置信息Pa和头部位置信息Ph，将所述全身位置信息Pa和所述头部位置信息Ph输入到预先构建的深度学习卷积神经网络中，转换得到两种位置信息的中间特征Pa^和Ph^；(3)将所述两种位置信息的中间特征Pa^和Ph^按一定权重进行融合，根据融合后的特征P_site计算得到头部偏转欧拉角。2.根据权利要求1所述的头部姿态定位与检测方法，其特征在于，步骤(1)，具体包括：对于图像数据，直接将图像集中各图像的R、G、B三通道进行标准亮度转换为Y单通道图像；对于视频数据，获取图像集中连续三帧图像，并将所述三帧图像中各图像的R、G、B三通道进行标准亮度转换，得到(Y1，Y2，Y3)短时帧间关联的三帧亮度信息，其中，所述三帧图像中的中间帧图像亮度信息Y2为基准亮度，前后两帧图像的亮度信息Y1、Y3为变换亮度。3.根据权利要求1或2所述的头部姿态定位与检测方法，其特征在于，步骤(1)，还包括：将获取的图像集进行预处理，并将预处理后的所述图像集中的所有图像进行标准亮度转换，其中，所述预处理包括旋转、镜像、校正对齐和去中心化裁剪中的一种或多种。4.根据权利要求3所述的头部姿态定位与检测方法，其特征在于，所述标准亮度转换公式为：Y＝sqrt(0.241*R^2+0.691*G^2+0.068*B^2)。5.根据权利要求1所述的头部姿态定位与检测方法，其特征在于，所述中间特征Pa^和Ph^融合公式为：P_site＝(0.4Pa
∧
⊙
E+(0.6Ph
∧
⊙
E+α))其中，
⊙
表示元素之间的点乘；α是...

【专利技术属性】
技术研发人员：刘三女牙，杨宗凯，杨巧来，朱晓亮，戴志诚，赵亮，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：