乘客行为检测方法、装置、电子设备和计算机可读介质制造方法及图纸

本公开的实施例公开了乘客行为检测方法、装置、电子设备和计算机可读介质。该方法的一具体实施方式包括：控制摄像机进行视频和音频采集，得到监控视频和监控音频；对监控视频进行异常行为检测处理，得到乘客异常行为信息；对监控音频进行异常音频检测处理，得到乘客异常行为信息；确定乘客异常行为信息和乘客异常音频信息对应的乘客信息集，以及对乘客信息集发送警告信息；确定每个乘客信息对应的警告次数；确定达到预设警告次数阈值的告警次数对应的至少一位乘客信息，作为拦截乘客信息集；将拦截乘客信息集添加至预设乘客拦截名单。该实施方式结合视频和音频对乘客进行异常检测，可以提高异常检测的准确性，减少存储资源的浪费。费。费。

【技术实现步骤摘要】
乘客行为检测方法、装置、电子设备和计算机可读介质


[0001]本公开的实施例涉及计算机
，具体涉及乘客行为检测方法、装置、电子设备和计算机可读介质。

技术介绍

[0002]乘客行为检测，是用于对乘客不文明行为进行实时检测，以便及时制止和报警，保证乘客的生命安全。对于乘客的行为进行检测，通常采用的方式为：使用普通摄像机对乘客行为进行采集，得到监控视频，然后将监控视频发送至服务器进行存储，以及对乘客监控视频进行全身关键点追踪检测，并与异常行为数据库中的异常行为进行相似度计算，确定乘客异常行为。
[0003]然而，专利技术人发现，当采用上述方式来检测乘客行为时，经常会存在如下技术问题：
[0004]第一，由于使用普通摄像机进行采集，并将采集的监控视频直接发送至服务器端，导致传输时间较长，占用较多的通信资源，仅仅对监控视频进行异常行为检测，难以检测出遮挡区域的异常行为，造成检测准确率较低，导致存在大量冗余数据，导致存储资源的浪费。
[0005]第二，由于对监控视频进行全身关键点追踪检测，并与异常行为数据库中的异常行为进行相似度计算，导致得到的关键点数据中存在大量冗余数据，导致存储和内存资源的浪费。
[0006]第三，由于普通摄像机无法检测滞留乘客，只能将视频发送至服务器进行滞留乘客的检测，导致传输时间较长和占用较多的通信资源，不能及时发现滞留乘客，导致乘客的安全性较低。
[0007]该
技术介绍
部分中所公开的以上信息仅用于增强对本专利技术构思的背景的理解，并因此，其可包含并不形成本国的本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0008]本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
[0009]本公开的一些实施例提出了乘客行为检测方法、装置、电子设备和计算机可读介质，来解决以上
技术介绍
部分提到的技术问题中的一项或多项。
[0010]第一方面，本公开的一些实施例提供了一种乘客行为检测方法，包括：响应于检测到乘客进入目标车辆，控制上述目标车辆中的摄像机对上述目标车辆进行视频和音频采集，得到监控视频和监控音频；基于上述监控视频和上述监控音频，执行以下添加步骤：对上述监控视频进行异常行为检测处理，得到乘客异常行为信息；对上述监控音频进行异常音频检测处理，得到乘客异常音频信息；确定上述乘客异常行为信息和上述乘客异常音频
信息对应的乘客信息集，以及对上述乘客信息集对应的乘客集发送警告信息；确定被发送警告信息的乘客信息集中每个乘客信息对应的警告次数，得到警告次数集；响应于确定上述警告次数集中存在警告次数达到预设警告次数阈值的警告次数，确定达到预设警告次数阈值的告警次数对应的至少一位乘客信息，作为拦截乘客信息集；将上述拦截乘客信息集添加至预设乘客拦截名单，以及将上述乘客异常音频信息、上述乘客异常行为信息和上述预设乘客拦截名单发送至存储服务器。
[0011]第二方面，本公开的一些实施例提供了一种乘客行为检测装置，包括：控制单元，被配置成响应于检测到乘客进入目标车辆，控制上述目标车辆中的摄像机对上述目标车辆进行视频和音频采集，得到监控视频和监控音频；执行单元，被配置成基于上述监控视频和上述监控音频，执行以下添加步骤：对上述监控视频进行异常行为检测处理，得到乘客异常行为信息；对上述监控音频进行异常音频检测处理，得到乘客异常音频信息；确定上述乘客异常行为信息和上述乘客异常音频信息对应的乘客信息集，以及对上述乘客信息集对应的乘客集发送警告信息；确定被发送警告信息的乘客信息集中每个乘客信息对应的警告次数，得到警告次数集；响应于确定上述警告次数集中存在警告次数达到预设警告次数阈值的警告次数，确定达到预设警告次数阈值的告警次数对应的至少一位乘客信息，作为拦截乘客信息集；将上述拦截乘客信息集添加至预设乘客拦截名单，以及将上述乘客异常音频信息、上述乘客异常行为信息和上述预设乘客拦截名单发送至存储服务器。
[0012]第三方面，本公开的一些实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。
[0013]第四方面，本公开的一些实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
[0014]本公开的上述各个实施例中具有如下有益效果：本公开的一些实施例的乘客行为检测方法结合视频和音频对乘客进行异常检测，可以提高异常检测的准确性，减少存储资源的浪费。具体来说，造成相关的存储资源的浪费的原因在于：由于使用普通摄像机进行采集，并将采集的监控视频直接发送至服务器端，导致传输时间较长，占用较多的通信资源，仅仅对监控视频进行异常行为检测，难以检测出遮挡区域的异常行为，造成检测准确率较低，导致存在大量冗余数据，导致存储资源的浪费。基于此，本公开的一些实施例的乘客行为检测方法可以第一步，响应于检测到乘客进入目标车辆，控制上述目标车辆中的摄像机对上述目标车辆进行视频和音频采集，得到监控视频和监控音频。在这里，得到的监控视频和监控音频便于后续进行异常行为检测和异常音频检测。第二步，基于上述监控视频和上述监控音频，执行以下添加步骤：首先，对上述监控视频进行异常行为检测处理，得到乘客异常行为信息。在这里，异常行为检测处理可以实时检测乘客的异常行为，避免现有技术中将监控视频发送至服务器进行异常行为检测，可以减少通信资源的浪费以及提高乘客的安全。其次，对上述监控音频进行异常音频检测处理，得到乘客异常音频信息。在这里，异常音频检测处理可以实时检测乘客异常音频，避免现有技术中将监控音频发送至服务器进行异常音频检测，可以减少通信资源的浪费，以及提高乘客的安全。再次，确定上述乘客异常行为信息和上述乘客异常音频信息对应的乘客信息集，以及对上述乘客信息集对应的乘客集发送警告信息。在这里，结合监控音频和监控视频进行异常检测可以检测到仅仅使用监控
视频进行异常检测中的检测盲区，可以提高异常检测的准确性和全面性，进而可以提高乘客信息确定的准确性和警告信息发送的准确性。随后，确定被发送警告信息的乘客信息集中每个乘客信息对应的警告次数，得到警告次数集。在这里，得到的告警次数集便于后续确定待拦截乘客信息。然后，响应于确定上述警告次数集中存在警告次数达到预设警告次数阈值的警告次数，确定达到预设警告次数阈值的告警次数对应的至少一位乘客信息，作为拦截乘客信息集。在这里，得到的拦截乘客信息集可以减少目标车辆中的拦截乘客，提高乘客的安全。最后，将上述拦截乘客信息集添加至预设乘客拦截名单，以及将上述乘客异常音频信息、上述乘客异常行为信息和上述预设乘客拦截名单发送至存储服务器。在这里，得到的准确率较高的乘客异常音频信息、乘客异常行为信息和预设乘客拦截名单，可以减少存储资源的浪本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种乘客行为检测方法，包括：响应于检测到乘客进入目标车辆，控制所述目标车辆中的摄像机对所述目标车辆进行视频和音频采集，得到监控视频和监控音频；基于所述监控视频和所述监控音频，执行以下添加步骤：对所述监控视频进行异常行为检测处理，得到乘客异常行为信息；对所述监控音频进行异常音频检测处理，得到乘客异常音频信息；确定所述乘客异常行为信息和所述乘客异常音频信息对应的乘客信息集，以及对所述乘客信息集对应的乘客集发送警告信息；确定被发送警告信息的乘客信息集中每个乘客信息对应的警告次数，得到警告次数集；响应于确定所述警告次数集中存在警告次数达到预设警告次数阈值的警告次数，确定达到预设警告次数阈值的告警次数对应的至少一位乘客信息，作为拦截乘客信息集；将所述拦截乘客信息集添加至预设乘客拦截名单，以及将所述乘客异常音频信息、所述乘客异常行为信息和所述预设乘客拦截名单发送至存储服务器。2.根据权利要求1所述的方法，其中，所述方法还包括：响应于确定所述警告次数集中存在警告次数未达到预设警告次数阈值的告警次数，重新采集监控视频和监控音频，得到待检测视频和待检测音频；将所述待检测视频和所述待检测音频，确定为监控视频和监控音频，以及再次执行所述添加步骤。3.根据权利要求2所述的方法，其中，所述方法还包括：响应于检测到所述目标车辆到达目的地，对所述目标车辆进行生命体检测，得到生命体检测结果；响应于确定所述生命体检测结果表征存在滞留乘客，对至少一位滞留乘客中的每个滞留乘客进行生命体征识别，以生成生命体征信息，得到生命体征信息集；根据所述生命体征信息集，控制对应设备执行对应操作。4.根据权利要求1所述的方法，其中，所述对所述监控视频进行异常行为检测处理，得到乘客异常行为信息，包括：对所述监控视频进行关键帧提取，得到目标关键帧序列；对所述目标关键帧序列中的每个目标关键帧进行预处理，得到预处理后目标关键帧序列；将所述预处理后目标关键帧序列输入至异常行为识别模型，得到乘客异常行为信息。5.根据权利要求1所述的方法，其中，所述对所述监控音频进行异常音频检测处理，得到乘客异常音频信息，包括：将所述监控音频进行格式转换，得到监控频谱图；对所述监控频谱图进行分块处理，得到监控频谱块集；对所述监控频谱块集中的每个监控频谱块进行特征提取处理，以生成监控特征向量，得到监控特征向量集；构建异常音频特征向量集；确定所述监控特征向量集中的每个监控特征向量与所述异常音频特征向量集中的每
个异常音频特征向量的相似度，得到多个相似度数...

【专利技术属性】
技术研发人员：本惠杰，张超，
申请(专利权)人：河南海融软件有限公司，
类型：发明
国别省市：