一种基于多源信息融合和标签传播的疲劳检测方法技术

本发明专利技术公布了一种基于多源信息融合和标签传播的疲劳检测方法，现有的疲劳检测方法有的需要使用侵入式传感器获取信息，而这会影响驾驶员的正常驾驶；有的方法仅仅使用单一特征无法全面性反映驾驶过程中的状态变化。本发明专利技术以驾驶视频作为输入，通过提取人脸特征点以及头部运动特征，得到疲劳特征节点；之后计算节点的亲和距离并构建特征图；并采用半监督学习的方式，选取特征图中的节点进行标签初始化；通过标签传播的方式，选取隶属度最大的标签作为该节点的疲劳等级，直到达到最大传播次数。本发明专利技术能够建立更加综合和稳定的模型，从而高效地检测驾驶员的疲劳状态，且增强检测的鲁棒性和检测效率。性和检测效率。性和检测效率。

【技术实现步骤摘要】
一种基于多源信息融合和标签传播的疲劳检测方法


[0001]本专利技术属于计算机图像处理和汽车安全领域，具体涉及一种疲劳检测方法。

技术介绍

[0002]得益于车载传感器的广泛应用，人们能够轻易地获取驾驶员的面部图像和车辆的行驶信息，结合深度学习等监督学习方法和社区发现等半监督学习方法，能够帮助我们建立更加准确和稳定的模型，从而高效地检测驾驶员的疲劳状态。
[0003]深度学习在解决过去难以解决的复杂问题方面取得了重大突破，但它需要大量的标注数据作为神经网络的输入来进行训练。然而，对于高精度的车载传感器所采集的大量未标记数据进行语义标注是一项费时费力的工作，这限制了监督学习在疲劳驾驶检测领域的应用。因此，有研究者将注意力转向社区发现等半监督学习的疲劳检测方法上，比如使用深度学习的方法实现社区发现算法。
[0004]目前，反映驾驶员疲劳状态的主要特征包括驾驶员的生理信号、驾驶行为和车辆运动信息。疲劳驾驶检测最有效的方法是对驾驶员的生理信号进行分析。然而，这种方法几乎不可避免地要使用侵入式的方法来获取驾驶员的生理信号，这导致许多用户不愿意接受。随着计算机视觉技术的广泛应用，驾驶员的面部表情可以通过视频中的眨眼和打哈欠来识别，驾驶行为可以通过头部姿势估计，用于检测疲劳驾驶。这些有价值的研究促进了疲劳驾驶检测技术的发展，但许多研究只关注于对驾驶视频进行特征提取，忽略了丰富的传感器数据，如传感器所采集的头部运动信息。这些头部运动信息可以真实反映头部状态的变化，并且弥补视频信息的单一性和局限性，通过融合这两种信息可以使疲劳检测模型更具有综合性。
[0005]标签传播作为社区发现中的一种半监督学习方式，只需要标注少量数据，就可利用大量的未标注数据，这大大降低了标注时间和成本，而且有利于保证检测的实时性，被广泛应用于社交网络领域，目前尚未有人将其引入疲劳状态检测的领域。

技术实现思路

[0006]本专利技术的主要目的是针对现有的疲劳检测方法特征信息单一和计算开销过高的问题，提出一种融合多源信息的标签传播方法LPDD(Label Propagation Based Drowsiness Detection)，提取驾驶视频中的驾驶员面部特征和传感器获取的头部运动特征，来进行疲劳状态的检测。
[0007]本专利技术所使用的疲劳检测方法包括如下步骤：
[0008]步骤一、提取驾驶视频中的面部和头部特征并构建特征节点x
[0009]以原始视频作为特征提取的输入，对每一帧图像进行人脸68个特征点的定位，分别提取嘴部和眼部的特征，包括眼睛纵横比EAR、嘴部纵横比MAR、眼睑闭合度PERCLOS；根据传感器获取的头部偏航角获取头部运动特征HPI；得到以上几种特征后，疲劳特征点x表示为以上几种特征的组合：
[0010]x＝[EAR,MAR,PERCLOS,HPI][0011]步骤二、计算节点的亲和距离并构建特征图
[0012]根据节点与节点之间的关系来判断是否在两个节点之间需要形成边，若两个节点的特征越类似，则它们之间存在边的可能性越大；这里采用基于高斯函数的亲和距离s
ij
来衡量节点x
i
和节点x
j
之间的距离：
[0013][0014]其中，σ为超参数，它通过学习邻居节点间的平均距离而得到；若亲和距离s
ij
小于给定的阈值ε，则在节点i和节点j之间构建一条边，对所有的节点重复此过程，则构建一个疲劳特征图；
[0015]步骤三、选取特征图中的节点进行标签初始化
[0016]为了降低传播过程中的计算复杂度，在特征图中仅初始化部分节点的初始标签，剩余节点的标签由其他节点传播而来；对所有的特征点X，将其分为两个部分X
l
和X
u
，X
l
为初始化后带有标签的节点集合；X
u
为不带有标签的集合，该集合中的节点标签由标签传播而获得；这里采取最大信息熵的方式来确定需要初始化标签的集合X
l
；对于每个疲劳节点x
i
，它的疲劳等级为四级疲劳等级中的某一个等级，使用如下方法来计算信息熵：
[0017][0018]其中，信息熵H(x
i
)表示节点x
i
所拥有的信息量大小，b是其中的一个超参数，p(y
j
)表示节点x
i
的疲劳等级为j的概率；最后，根据预先确定的l的大小，对所有节点的信息熵排序后，选取其中最大的l个节点作为初始标签集合X
l
，该集合由元组(x
i
，c
i
)，表示节点x
i
的初始标签为c
i
；
[0019]步骤四、对特征图中的节点进行标签传播
[0020]1)在每个传播过程τ中，计算节点x
i
对于疲劳等级c的隶属度b
t
(c，x
i
)，通过上一次传播过程的隶属度b
t
‑1(c，x
i
)，得出本次传播过程的权值ω，该权值表示在本次迭代中，节点x
i
对于标签c的权重大小：
[0021][0022]其中，N(x)表示节点x
i
的邻居节点集合；b
t
‑1(c，x
i
)表示上一次迭代中x
i
对于疲劳等级c的隶属度；θ是一个判别函数，它能判断标签c在此次传播过程中，是否在x
i
的标签集合中；I
ij
表示节点x
i
和节点x
j
之间的传播概率；
[0023]2)对于本次迭代过程中所得到的标签集合L
i
，对于其中的每个标签c，获取其对应的隶属度b
t
(c，x
i
)，从L
i
中删除隶属度小于阈值的标签；
[0024]3)保存本次传播过程的标签集合L
i
和隶属度b
t
，转1)，进行下一次传播过程，直到达到最大传播次数τ
max
；
[0025]步骤五、确定每个节点最终的疲劳标签
[0026]获取步骤四得到每个节点x
i
的标签集合L
i
，选取其中最大的隶属度所对应的标签c
作为x
i
的疲劳标签。
[0027]作为优选，所述的EAR的计算方式如下：
[0028][0029]其中p1～p6分别表示眼部的六个特征点坐标，其中p1表示眼部的左角特征点坐标，p2、p3表示眼部上沿的从左到右的两个特征点坐标，p4表示眼部的右角特征点坐标，p6、p5表示眼部下沿的从左到右的两个特征点坐标；MAR的计算方式如下：
[0030][0031]其中A～H分别表示嘴部的八个特征点坐标，其中A表示嘴本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多源信息融合和标签传播的疲劳检测方法，其特征在于：该方法包括如下步骤：步骤一、提取驾驶视频中的面部和头部特征并构建特征节点x以原始视频作为特征提取的输入，对每一帧图像进行人脸68个特征点的定位，分别提取嘴部和眼部的特征，包括眼睛纵横比EAR、嘴部纵横比MAR、眼睑闭合度PERCLOS；根据传感器获取的头部偏航角获取头部运动特征HPI；得到以上几种特征后，疲劳特征点x表示为以上几种特征的组合：x＝[EAR，MAR，PERCLOS，HPI]步骤二、计算节点的亲和距离并构建特征图根据节点与节点之间的关系来判断是否在两个节点之间需要形成边，若两个节点的特征越类似，则它们之间存在边的可能性越大；这里采用基于高斯函数的亲和距离s
ij
来衡量节点x
i
和节点x
j
之间的距离：其中，σ为超参数，它通过学习邻居节点间的平均距离而得到；若亲和距离s
ij
小于给定的阈值ε，则在节点i和节点j之间构建一条边，对所有的节点重复此过程，则构建一个疲劳特征图；步骤三、选取特征图中的节点进行标签初始化对所有的特征点X，将其分为两个部分X
l
和X
u
，X
l
为初始化后带有标签的节点集合；X
u
为不带有标签的集合，该集合中的节点标签由标签传播而获得；这里采取最大信息熵的方式来确定需要初始化标签的集合X
l
；对于每个疲劳节点x
i
，它的疲劳等级为四级疲劳等级中的某一个等级，使用如下方法来计算信息熵：其中，信息熵H(x
i
)表示节点x
i
所拥有的信息量大小，b是其中的一个超参数，p(y
j
)表示节点x
i
的疲劳等级为j的概率；最后，根据预先确定的l的大小，对所有节点的信息熵排序后，选取其中最大的l个节点作为初始标签集合X
l
，该集合由元组(x
i
，c
i
)，表示节点x
i
的初始标签为c
i
；步骤四、对特征图中的节点进行标签传播1)在每个传播过程τ中，计算节点x
i
对于疲劳等级c的隶属度b
t
(c，x
i
)，通过上一次传播过程的隶属度b
t
‑1(c，x
i
)，得出本次传播过程的权值ω，该权...

【专利技术属性】
技术研发人员：李立凯，冯建文，张建辉，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：