车辆驾驶环境异常监测方法、装置、电子设备和存储介质制造方法及图纸

本申请适用于安全监控技术领域，提供了一种车辆驾驶环境异常监测方法、装置、电子设备和存储介质，所述方法包括：实时获取车内图像；将所述车内图像输入至已训练完成的行为检测模型进行处理，获得所述行为检测模型输出的异常检测结果；所述行为检测模型对所述车内图像的处理包括：获取所述车内图像中人员的关键点特征及其关联嵌入值；根据所述关键点特征及其关联嵌入值，确定所述人员的行为状态；基于所述行为状态，确定所述车内是否存在异常行为；若根据所述异常检测结果确定所述车内存在异常行为，则将所述异常行为上报至指定终端。本申请可实现行车过程中对车内司机和乘客的行为的监督，从而有效保证司机和乘客的安全。

【技术实现步骤摘要】
【国外来华专利技术】车辆驾驶环境异常监测方法、装置、电子设备和存储介质
本申请涉及安全监测
，尤其涉及一种车辆驾驶环境异常监测方法、装置、电子设备和存储介质。
技术介绍
随着我国社会主义现代化建设的快速发展，城市人口逐渐增多，各种类型的交通工具涌进了人民的日常生活，交通工具增多一方面极大地方便了人民的出行，然而另一方面也带来了大量的安全问题，尤其是在人们日常生活中发挥的巨大作用的公共交通工具，诸如，网约车、出租车、公交车等。近年来，公交司机被乘客殴打导致发生重大交通事故的事件经常发生，乘客殴打司机这一现象也经常在出租车上演，网约车上乘客安全受到危险的事件时有发生。如何保障乘客和司机的安全成为我们研究的首要问题。目前，各公共交通运营平台通常会提供一些投诉或报警的通道，利用这些投诉或报警的通道对司机的行为进行监督，但通过投诉或报警的方式通常是在异常行为发生之后进行，时效性差，并且，对于乘客骚扰伤害司机的异常行为很难及时通知运营平台或警方，行车过程中司机和乘客的安全无法得到保障。综上所述，现有技术中，在车辆驾驶环境中缺乏对异常行为的有效监测，无法有效保障行车过程中司机和乘客安全。
技术实现思路
本申请实施例提供了一种车辆驾驶环境异常监测方法、装置、电子设备和存储介质，可以解决现有技术中存在的在车辆驾驶环境中缺乏对异常行为的有效监测，无法有效保障行车过程中司机和乘客安全的问题。第一方面，本申请实施例提供了一种车辆驾驶环境异常监测方法，包括：实时获取车内图像；将所述车内图像输入至已训练完成的行为检测模型进行处理，获得所述行为检测模型输出的异常检测结果；其中，所述行为检测模型对所述车内图像的处理，包括：获取所述车内图像中人员的关键点特征及其关联嵌入值，所述关联嵌入值用于标识关键点特征之间的关联程度；根据所述关键点特征及其关联嵌入值，确定所述人员的行为状态；基于所述行为状态，确定所述车内是否存在异常行为；若根据所述异常检测结果确定所述车内存在异常行为，则将所述异常行为上报至指定终端。在第一方面的一种可能的实现方式中，所述行为检测模型包括特征提取模块、注意力模块和特征融合模块，所述行为检测模型还包括双头解耦结构；所述获取所述车内图像中人员的关键点特征及其关联嵌入值的步骤，包括：将所述车内图像输入至所述特征提取模块，通过所述特征提取模块输出所述人员的人体特征；将所述人体特征输入至所述注意力模块，通过所述注意力模块对所述人体特征进行自适应加权；将所述注意力模块的输出结果输入至所述特征融合模块，通过所述特征融合模块对所述注意力模块的输出结果进行特征融合；利用所述双头解耦结构对所述特征融合模块的输出结果进行任务回归，得到所述人员的关键点特征及其关联嵌入值。在第一方面的一种可能的实现方式中，所述特征提取模块包括第一特征提取子模块、第二特征提取子模块以及第三特征提取子模块，所述注意力模块包括通道注意力子模块和空间注意力子模块；所述通过所述特征提取模块输出所述人员的人体特征的步骤，包括：通过所述第一特征提取子模块输出第一层级的第一人体特征；通过所述第二特征提取子模块输出第二层级的第二人体特征；通过所述第三特征提取子模块输出第三层级的第三人体特征，其中，所述第一层级、所述第二层级以及所述第三层级存在递进关系；所述将所述人体特征输入至所述注意力模块，通过所述注意力模块对所述人体特征进行自适应加权的步骤包括：通过所述通道注意力子模块对所述第一人体特征、所述第二人体特征以及所述第三人体特征进行通道自适应加权；通过所述空间注意力子模块对所述第一人体特征、所述第二人体特征以及所述第三人体特征进行空间自适应加权；所述通过所述特征融合模块对所述注意力模块的输出结果进行特征融合的步骤，包括：通过所述特征融合模块将所述通道注意力子模块的输出结果与所述空间注意力子模块的输出结果进行特征融合。在第一方面的一种可能的实现方式中，所述行为检测模型还包括时空图卷积模块，所述根据所述关键点特征及其关联嵌入值，确定所述人员的行为状态的步骤，包括：根据所述关键点特征与所述关联嵌入值，得到目标特征；将所述目标特征输入至时空图卷积模块进行处理，获取所述时空图卷积模块输出的所述人员的行为状态；其中，所述时空图卷积模块用于对所述目标特征进行空间维度的第一图卷积与时间维度的第二图卷积，根据所述第一图卷积的结果与所述第二图卷积的结果确定所述人员的行为状态。在第一方面的一种可能的实现方式中，所述车辆驾驶环境异常监测方法还包括：根据预设算法，对所述已训练完成的行为检测模型进行模型优化，得到目标行为检测模型；利用所述目标行为检测模型对所述车内图像进行处理，获得所述目标行为检测模型输出的异常检测结果；若根据所述目标行为检测模型输出的异常检测结果确定所述车内存在异常行为，则将所述异常行为上报至所述指定终端。在第一方面的一种可能的实现方式中，所述根据预设算法，对所述已训练完成的行为检测模型进行模型优化，得到目标行为检测模型的步骤，包括：获取目标训练样本集；获取教师网络模型和学生网络模型，其中，所述教师网络模型为所述已训练完成的行为检测模型，所述学生网络模型为按预设参数进行剪枝后的所述已训练完成的行为检测模型；基于对抗生成网络与所述训练样本集，对所述教师网络模型和所述学生网络模型进行模型蒸馏，得到目标行为检测模型。第二方面，本申请实施例提供了一种车辆驾驶环境异常监测装置，包括：图像获取单元，用于实时获取车内图像；异常检测单元，用于将所述车内图像输入至已训练完成的行为检测模型进行处理，获得所述行为检测模型输出的异常检测结果；其中，所述行为检测模型对所述车内图像的处理，包括：获取所述车内图像中人员的关键点特征及其关联嵌入值，所述关联嵌入值用于标识关键点特征之间的关联程度；根据所述关键点特征及其关联嵌入值，确定所述人员的行为状态；基于所述行为状态，确定所述车内是否存在异常行为；异常上报单元，用于若根据所述异常检测结果确定所述车内存在异常行为，则将所述异常行为上报至指定终端。第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现如上述第一方面所述的车辆驾驶环境异常监测方法。第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上述第一方面所述的车辆驾驶环境异常监测方法。第五方面，本申请实施例提供了一种计算机可读指令产品，当计算机可读指令产品在电子设备上运行时，使电子设备执行如上述第一方面所述的车辆驾驶环境异常监测方法。本申请实施例中，通过实时获取车内图像，将所述车内图像输入至已训练完成的行为检测模型进行处理，获得所述行为检测模型本文档来自技高网...

【技术保护点】
1.一种车辆驾驶环境异常监测方法，其特征在于，包括：/n实时获取车内图像；/n将所述车内图像输入至已训练完成的行为检测模型进行处理，获得所述行为检测模型输出的异常检测结果；/n其中，所述行为检测模型对所述车内图像的处理，包括：获取所述车内图像中人员的关键点特征及其关联嵌入值，所述关联嵌入值用于标识关键点特征之间的关联程度；根据所述关键点特征及其关联嵌入值，确定所述人员的行为状态；基于所述行为状态，确定所述车内是否存在异常行为；/n若根据所述异常检测结果确定所述车内存在异常行为，则将所述异常行为上报至指定终端。/n

【技术特征摘要】
【国外来华专利技术】1.一种车辆驾驶环境异常监测方法，其特征在于，包括：
实时获取车内图像；
将所述车内图像输入至已训练完成的行为检测模型进行处理，获得所述行为检测模型输出的异常检测结果；
其中，所述行为检测模型对所述车内图像的处理，包括：获取所述车内图像中人员的关键点特征及其关联嵌入值，所述关联嵌入值用于标识关键点特征之间的关联程度；根据所述关键点特征及其关联嵌入值，确定所述人员的行为状态；基于所述行为状态，确定所述车内是否存在异常行为；
若根据所述异常检测结果确定所述车内存在异常行为，则将所述异常行为上报至指定终端。


2.根据权利要求1所述的车辆驾驶环境异常监测方法，其特征在于，所述行为检测模型包括特征提取模块、注意力模块和特征融合模块，所述行为检测模型还包括双头解耦结构；
所述获取所述车内图像中人员的关键点特征及其关联嵌入值的步骤，包括：
将所述车内图像输入至所述特征提取模块，通过所述特征提取模块输出所述人员的人体特征；
将所述人体特征输入至所述注意力模块，通过所述注意力模块对所述人体特征进行自适应加权；
将所述注意力模块的输出结果输入至所述特征融合模块，通过所述特征融合模块对所述注意力模块的输出结果进行特征融合；
利用所述双头解耦结构对所述特征融合模块的输出结果进行任务回归，得到所述人员的关键点特征及其关联嵌入值。


3.根据权利要求2所述的车辆驾驶环境异常监测方法，其特征在于，所述特征提取模块包括第一特征提取子模块、第二特征提取子模块以及第三特征提取子模块，所述注意力模块包括通道注意力子模块和空间注意力子模块；
所述通过所述特征提取模块输出所述人员的人体特征的步骤，包括：
通过所述第一特征提取子模块输出第一层级的第一人体特征；
通过所述第二特征提取子模块输出第二层级的第二人体特征；
通过所述第三特征提取子模块输出第三层级的第三人体特征，其中，所述第一层级、所述第二层级以及所述第三层级存在递进关系；
所述将所述人体特征输入至所述注意力模块，通过所述注意力模块对所述人体特征进行自适应加权的步骤包括：
通过所述通道注意力子模块对所述第一人体特征、所述第二人体特征以及所述第三人体特征进行通道自适应加权；
通过所述空间注意力子模块对所述第一人体特征、所述第二人体特征以及所述第三人体特征进行空间自适应加权；
所述通过所述特征融合模块对所述注意力模块的输出结果进行特征融合的步骤，包括：
通过所述特征融合模块将所述通道注意力子模块的输出结果与所述空间注意力子模块的输出结果进行特征融合。


4.根据权利要求1所述的车辆驾驶环境异常监测方法，其特征在于，所述行为检测模型还包括时空图卷积模块，所述根据所述关键点特征及其关联嵌入值，确定所述人员的行为状态的步骤，包括：
根据所述关键点特征与所述关联嵌入值，得到目标特征；
将所述目标特征输入至时空图卷积模块进行处理，获取所述时空图卷积模块输出的所述人员的行为状态；其中，所述时空图卷积模块用于对所述目标特征进行空间维度的第一图卷积与时间维度的第二图卷积，根据所述第一图卷积的结果与所述第二图卷积的结果确定所述人员的行为状态。


5.根据权利要求1至4任一项所述的车辆驾驶环境异常监测方法，其特征在于，所述车辆驾驶环境异常监测方法还包括：
根据预设算法，对所述已训练完成的行为检测模型进行模型优化，得到目标行为检测模型；
利用所述目标行为检测模型对所述车内图像进行处理，获得所述目标行为检测模型输出的异常检测结果；
若根据所述目标行为检测模型输出的异常检测结果确定所述车内存在异常行为，则将所述异常行为上报至所述指定终端。


6.根据权利要求5所述的车辆驾驶环境异常监测方法，其特征在于，所述根据预设算法，对所述已训练完成的行为检测模型进行模型优化，得到目标行为检测模型的步骤，包括：
获取目标训练样本集；
获取教师网络模型和学生网络模型，其中，所述教师网络模型为所述已训练完成的行为检测模型，所述学生网络模型为按预设参数进行剪枝后的所述已训练完成的行为检测模型；
基于对抗生成网络与所述训练样本集，对所述教师网络模型和所述学生网络模型进行模型蒸馏，得到目标行为检测模型。


7.一种车辆驾驶环境异常监测装置，其特征在于，包括：
图像获取单元，用于实时获取车内图像；
异常检测单元，用于将所述车内图像输入至已训练完成的行为检测模型进行处理，获得所述行为检测模型输出的异常检测结果；其中，所述行为检测模型对所述车内图像的处理，包括：获取所述车内图像中人员的关键点特征及其关联嵌入值，所述关联嵌入值用于标识关键点特征之间的关联程度；根据所述关键点特征及其关联嵌入值，确定所述人员的行为状态；基于所述行为状态，确定所述车内是否存在异常行为；
异常上报单元，用于若根据所述异常检测结果确定所述车内存在异常行为，则将所述异常行为上报至指定终端。


8.根据权利要求7所述的车辆驾驶环境异常监测装置，其特征在于，所述行为检测模型包括特征提取模块、注意力模块和特征融合模块，所述行为检测模型还包括双头解耦结构；所述异常检测单元具体用于：
将所述车内图像输入至所述特征提取模块，通过所述特征提取模块输出所述人员的人体特征；
将所述人体特征输入至所述注意力模块，通过所述注意力模块对所述人体特征进行自适应加权；
将所述注意力模块的输出结果输入至所述特征融合模块，通过所述特征融合模块对所述注意力模块的输出结果进行特征融合；
利用所述双头解耦结构对所述特征融合模块的输出结果进行任务回归，得到所述人员的关键点特征及其关联嵌入值。


9.根据权利要求8所述的车辆驾驶环境异常监测装置，其特征在于，所述特征提取模块包括第一特征提取子模块、第二特征提取子模块以及第三特征提取子模块，所述注意力模块包括通道注意力子模块和空间注意力子模块；
所述通过所述特征提取模块输出所述人员的人体特征的步骤，包括：
通过所述第一特征提取子模块输出第一层级的第一人体特征；
通过所述第二特征提取子模块输出第二层级的第二人体特征；
通过所述第三特征提取子模块输出第三层级的第三人体特征，其中，所述第一层级、所述第二层级以及所述第三层级存在递进关系；
所述将所述人体特征输入至所述注意力模块，通过所述注意力模块对所述人体特征进行自适应加权的步骤包括：
通过所述通道注意力子模块对所述第一人体特征、所述第二人体特征以及所述第三人体特征进行通道自适应加权；
通过所述空间注意力子模块对所述第一人体特征、所述第二人体特征以及所述第三人体特征进行空间自适应加权；
所述通过所述特征融合模块对所述注意力模块的输出结果进行特征融合的步骤，包括：
通过所述特征融合模块将所述通道注意力子模块的输出结果与所述空间注意力子模块的输出结果...

【专利技术属性】
技术研发人员：高毅鹏，刘力铭，黄凯明，
申请(专利权)人：深圳市锐明技术股份有限公司，
类型：发明
国别省市：广东;44