基于面部关键点及时序特征编码的人员状态监测方法技术

本发明专利技术涉及一种基于面部关键点及时序特征编码的人员状态监测方法，包括如下步骤：S1，采集自动驾驶BRT人员的图像信号并进行预处理；S2，基于预处理后的图像信号，利用MTCNN检测并截取人员的面部图像；S3，针对所述面部图像，采用PFLD检测面部关键点；S4，将多帧图像的面部关键点输入预训练好的基于GRU的时序特征编码分类模型，获取人员的状态；S6：实时监测自动驾驶BRT人员状态，当出现疲劳、注意力分散等危险状态时发出危险警报。与现有技术相比，本发明专利技术对面部关键点时序特征进行编码，考虑了历史信息，具有更高的准确率与召回率。具有更高的准确率与召回率。具有更高的准确率与召回率。

【技术实现步骤摘要】
基于面部关键点及时序特征编码的人员状态监测方法


[0001]本专利技术涉及计算机
，尤其是涉及一种基于面部关键点及时序特征编码的人员状态监测方法。

技术介绍

[0002]随着科技的不断发展，汽车行业也在不断创新和改进。自动驾驶汽车的出现，让人们看到了未来交通的可能性。但是，自动驾驶汽车所面临的安全问题也不容忽视。自动驾驶BRT技术是一项基于自动驾驶技术的快速公交系统。与传统公交系统相比，自动驾驶BRT系统不需要人工驾驶，可以通过互联网和其他智能设备来实现车辆的自动控制和管理。这种技术可以提高公交系统的运行效率和安全性，减少交通拥堵和污染，为城市的可持续发展提供有力支持。为了保证自动驾驶汽车的安全，自动驾驶BRT安全员状态监测技术应运而生。
[0003]自动驾驶BRT安全员状态监测技术对于保障自动驾驶汽车的安全具有重要意义。首先，它可以及时发现驾驶员或自动驾驶安全员的异常情况，如疲劳驾驶、分心驾驶等，从而避免交通事故的发生。其次，它可以帮助自动驾驶汽车更好地适应各种路况和环境，提高自动驾驶汽车的安全性和可靠性。最后，它可以帮助企业更好地管理自动驾驶汽车，提高企业的服务质量和竞争力。
[0004]自动驾驶BRT安全员状态监测的常用方法包括视觉监测、生理监测和语音监测。视觉监测主要是通过使用摄像头等设备监测自动驾驶安全员的眼睛、头部、身体姿态等情况。这种方法可以及时发现安全员的疲劳、分心或其他异常情况，从而防止交通事故发生。生理监测则是通过感应器等设备监测自动驾驶安全员的生理指标，如心率、呼吸、体温等，以便及时发现异常情况。语音监测则是通过麦克风等设备监测自动驾驶安全员的语音情况，以便及时发现异常情况。
[0005]视觉监测可以通过监测安全员的眼睛、头部和身体姿态等情况来检测他们的注意力和疲劳程度。如果安全员的眼睛开始眨眼或头部开始下垂，这可能意味着他们开始感到疲劳或分心。此时，自动驾驶系统应该及时提醒安全员休息或切换工作。此外，视觉监测还可以用来检测安全员的姿势，以确保他们坐得正确，并减少身体疲劳。
[0006]生理监测是另一种常用的自动驾驶安全员状态监测方法。这种方法可以使用感应器等设备监测安全员的生理指标，如心率、呼吸和体温等，以便及时发现异常情况。如果安全员的心率开始加快或呼吸变浅，这可能意味着他们正感到疲劳或紧张。在这种情况下，自动驾驶系统应该及时提醒安全员休息或采取其他措施来减轻压力。
[0007]语音监测也是一种常用的自动驾驶安全员状态监测方法。这种方法可以使用麦克风等设备来监测安全员的语音情况，以便及时发现异常情况。如果安全员开始说话变得含糊不清或者开始说话变得慢慢，这可能意味着他们感到疲劳或困惑。在这种情况下，自动驾驶系统应该及时提醒安全员休息或采取其他措施来帮助他们恢复状态。
[0008]总之，自动驾驶安全员状态监测技术是一项非常有前途的技术，其应用领域非常
广泛。随着技术的不断发展和完善，相信这项技术将会为各行各业提供更多的保障，确保人们的生命安全和财产安全。
[0009]目前，自动驾驶BRT安全员状态监测是最常用的方法之一。这种方法通常基于单帧图像判断安全员状态，当安全员出现眨眼等状态时，容易引发误判。

技术实现思路

[0010]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于面部关键点及时序特征编码的人员状态监测方法，以解决或部分解决现有方法由于采用单帧图像进行判断导致误判率高的问题。
[0011]本专利技术的目的可以通过以下技术方案来实现：
[0012]本专利技术的一个方面，提供了一种基于面部关键点及时序特征编码的人员状态监测方法，包括如下步骤：
[0013]步骤S1，采集自动驾驶BRT人员的图像信号并进行预处理；
[0014]步骤S2，基于预处理后的图像信号，利用MTCNN检测并截取人员的面部图像；
[0015]步骤S3，针对所述面部图像，采用PFLD检测面部关键点；
[0016]步骤S4，将多帧图像的面部关键点输入预训练好的基于GRU的时序特征编码分类模型，获取人员的状态。
[0017]作为优选的技术方案，所述的MTCNN包括级联的PNet、RNet和ONet，所述的步骤S2具体包括：
[0018]步骤S201，在所述PNet中，针对预处理后的图像信号进行卷积处理，获取候选框以及候选框属于面部的概率，通过非极大值抑制处理取出高度重叠的候选框，保留置信度最高的候选框；
[0019]步骤S202，在所述RNet中，基于所述PNet的输出进一步筛选候选框并进行非极大值抑制处理；
[0020]步骤S203，在所述ONet中，基于所述RNet的输出，获取面部框和五官位置，作为所述面部图像。
[0021]作为优选的技术方案，所述的步骤S3具体包括：
[0022]步骤S301，将输入的面部图像输入到预训练好的PFLD模型中，得到用于表示图像中各个像素点置信度的关键点热图以及回归器输出坐标；
[0023]步骤S302，针对所述关键点热图进行非极大值抑制处理；
[0024]步骤S303，在处理后的关键点热图中，将置信度最高的点作为面部中心点，基于所述面部中心点以及所述回归器输出坐标计算面部关键点的坐标，实现面部关键点的检测。
[0025]作为优选的技术方案，所述的步骤S1具体包括：
[0026]步骤S101，在自动驾驶BRT启动后，利用图像捕获设备采集人员的图像信号；
[0027]步骤S102，计算图像信号的灰度直方图并转换为累积分布函数，应用变换函数和映射函数实现均衡化处理。
[0028]作为优选的技术方案，所述的基于GRU的时序特征编码分类模型包括：
[0029]输入层，用于获取多个时刻的面部关键点坐标，作为输入数据；
[0030]GRU层，用于针对所述输入数据进行时序特征编码；
[0031]多层全连接网络，用于针对时序特征编码进行特征提取和分类；
[0032]输出层，用于输出人员状态的分类结果。
[0033]作为优选的技术方案，所述的GRU层的计算过程为：
[0034][0035]其中，GRU(～)表示单层GRU单元，表示第一层GRU在t
‑
1时刻的隐藏状态，为第二层GRU在t
‑
1时刻的隐藏状态，e
t
为GRU层的输出，X
t
为GRU层输入。
[0036]作为优选的技术方案，所述的多层全连接网络计算过程为：
[0037][0038]f0＝φ[N(W0e
′
t
)][0039]f1＝N(W1f0)
[0040][0041]其中，φ(～)表示激活函数，N(～)表示批归一化操作，W1、W2、W3分别表示各全连接层参数，为多层全连接网络的输出，d为e
t
的长度，softmax(～)表示分类函数。
[0042]作为优选的技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于面部关键点及时序特征编码的人员状态监测方法，其特征在于，包括如下步骤：步骤S1，采集自动驾驶BRT人员的图像信号并进行预处理；步骤S2，基于预处理后的图像信号，利用MTCNN检测并截取人员的面部图像；步骤S3，针对所述面部图像，采用PFLD检测面部关键点；步骤S4，将多帧图像的面部关键点输入预训练好的基于GRU的时序特征编码分类模型，获取人员的状态。2.根据权利要求1所述的一种基于面部关键点及时序特征编码的人员状态监测方法，其特征在于，所述的MTCNN包括级联的PNet、RNet和ONet，所述的步骤S2具体包括：步骤S201，在所述PNet中，针对预处理后的图像信号进行卷积处理，获取候选框以及候选框属于面部的概率，通过非极大值抑制处理取出高度重叠的候选框，保留置信度最高的候选框；步骤S202，在所述RNet中，基于所述PNet的输出进一步筛选候选框并进行非极大值抑制处理；步骤S203，在所述ONet中，基于所述RNet的输出，获取面部框和五官位置，作为所述面部图像。3.根据权利要求1所述的一种基于面部关键点及时序特征编码的人员状态监测方法，其特征在于，所述的步骤S3具体包括：步骤S301，将输入的面部图像输入到预训练好的PFLD模型中，得到用于表示图像中各个像素点置信度的关键点热图以及回归器输出坐标；步骤S302，针对所述关键点热图进行非极大值抑制处理；步骤S303，在处理后的关键点热图中，将置信度最高的点作为面部中心点，基于所述面部中心点以及所述回归器输出坐标计算面部关键点的坐标，实现面部关键点的检测。4.根据权利要求1所述的一种基于面部关键点及时序特征编码的人员状态监测方法，其特征在于，所述的步骤S1具体包括：步骤S101，在自动驾驶BRT启动后，利用图像捕获设备采集人员的图像信号；步骤S102，计算图像信号的灰度直方图并转换为累积分布函数，应用变换函数和映射函数实现均衡化处理。5.根据权利要求1所述的一种基于面部关键点及时序特征编码的人员状态监测方法，其特征在于，所述的基于GRU的时序特征编码分类模型包括：输入层，用于获取多个...

【专利技术属性】
技术研发人员：张希，殷承良，赵柏暄，陈浩，姜浩，林一伟，丁涛军，秦文刚，吴越鹏，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：