一种行为检测方法、装置、终端设备及存储介质制造方法及图纸

本申请适用于行为检测技术领域，提供了一种行为检测方法、装置、终端设备及存储介质。本申请实施例中获取公共交通工具内目标人群的图像数据和音频数据；将图像数据输入预设的时序检测模型中进行处理，得到图像数据的图像特征向量；将音频数据输入预设的声音检测模型中进行处理，得到音频数据的音频特征向量；根据图像特征向量和音频特征向量确定目标人群的行为状态，从而提高公共交通工具内检测危险事件的效率。件的效率。件的效率。

【技术实现步骤摘要】
一种行为检测方法、装置、终端设备及存储介质


[0001]本申请属于行为检测
，尤其涉及一种行为检测方法、装置、终端设备及存储介质。

技术介绍

[0002]随着社会的发展，绿色交通越来越受到人们的重视，而由此越来越多人的首选出行方式为利用公共交通工具出行，例如，公交车、火车、地铁等。而在利用公共交通工具给人们带来便捷的同时，还存在一些安全问题，例如在公共交通工具上发生乘客打架、抢劫、乘客殴打司机等危险事件，由于公共交通工具上一般客流流动性大、人群密度高以及人群复杂等特点，而导致公共交通工具内检测危险事件的效率较低。

技术实现思路

[0003]本申请实施例提供了一种行为检测方法、装置、终端设备及存储介质，可以解决公共交通工具内检测危险事件的效率较低的问题。
[0004]第一方面，本申请实施例提供了一种行为检测方法，包括：
[0005]获取公共交通工具内目标人群的图像数据和音频数据；
[0006]将上述图像数据输入预设的时序检测模型中进行处理，得到上述图像数据的图像特征向量；
[0007]将上述音频数据输入预设的声音检测模型中进行处理，得到上述音频数据的音频特征向量；
[0008]根据上述图像特征向量和上述音频特征向量确定上述目标人群的行为状态。
[0009]第二方面，本申请实施例提供了一种行为检测装置，包括：
[0010]数据获取模块，用于获取公共交通工具内目标人群的图像数据和音频数据；
[0011]图像处理模块，用于将上述图像数据输入预设的时序检测模型中进行处理，得到上述图像数据的图像特征向量；
[0012]音频处理模块，用于将上述音频数据输入预设的声音检测模型中进行处理，得到上述音频数据的音频特征向量；
[0013]状态确定模块，用于根据上述图像特征向量和上述音频特征向量确定上述目标人群的行为状态。
[0014]第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现上述任一种行为检测方法的步骤。
[0015]第四方面，本申请实施例提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述的计算机程序被处理器执行时实现上述任一种行为检测方法的步骤。
[0016]第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端
设备上运行时，使得终端设备执行上述第一方面中任一种行为检测方法。
[0017]本申请实施例中获取公共交通工具内目标人群的图像数据和音频数据，以对目标人群的行为图像和音频进行分析，综合判定当前公共交通工具内目标人群的行为状态，并进一步通过将图像数据输入预设的时序检测模型中进行处理，得到图像数据的图像特征向量，再通过将音频数据输入预设的声音检测模型中进行处理，得到音频数据的音频特征向量，从而根据图像特征向量和音频特征向量确定目标人群的行为状态，来提高公共交通工具内检测危险事件的效率。
附图说明
[0018]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0019]图1是本申请实施例提供的行为检测方法的第一种流程示意图；
[0020]图2是本申请实施例提供的行为检测方法的第二种流程示意图；
[0021]图3是本申请实施例提供的时序检测模型的结构示意图；
[0022]图4是本申请实施例提供的多模态融合的结构示意图；
[0023]图5是本申请实施例提供的行为检测装置的结构示意图；
[0024]图6是本申请实施例提供的终端设备的结构示意图。
具体实施方式
[0025]以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
[0026]应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0027]还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0028]如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
[0029]另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0030]图1所示为本申请实施例中一种行为检测方法的流程示意图，该方法的执行主体可以是终端设备，如图1所示，上述行为检测方法可以包括如下步骤：
[0031]步骤S101、获取公共交通工具内目标人群的图像数据和音频数据。
[0032]在本实施例中，终端设备可以通过设置于公共交通工具内的检测设备同时获取图像数据和音频数据，从而通过对公共交通工具内的目标人群的行为图像和音频进行综合考量，以确保危险事件确定的准确性。其中，上述图像数据包括至少一帧的视频帧，一般可以设为25帧，即获取包含25帧视频帧的图像数据；上述音频数据包括至少一帧的音频帧，一般可以设为25帧，即获取包含25帧音频帧的音频数据；上述检测设备包括但不限于是图像检测设备，例如摄像机，以及声音检测设备，例如麦克风等。上述目标人群为处于公共交通工具内的人，例如乘坐公共交通工具的乘客和驾驶公共交通工具的驾驶员。
[0033]具体示例而非限定的，当公共交通工具为公交、出租车等仅能承载小于或等于预设数量人群的交通工具时，可以在公共交通工具内设置预设位置，该预设位置包括但不限于是驾驶员座位上方、出现危险事件次数较多的区域附近等，可以将检测设备设置在预设位置上来对目标人群进行检测，以提高公共交通工具上的危险事件发现的效率。
[0034]具体示例而非限定的，当公共交通工具为地铁、高铁等承载人数大于预设数量的交通工具时，可以将公共交通工具内的区域划分为各个子区域，在各个子区域内分别设置一组检测设备，以确保公共交通工具上的危险事件及时发现。
[0035]在一个实施例中，上述检测设备可以通过旋转进行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种行为检测方法，其特征在于，包括：获取公共交通工具内目标人群的图像数据和音频数据；将所述图像数据输入预设的时序检测模型中进行处理，得到所述图像数据的图像特征向量；将所述音频数据输入预设的声音检测模型中进行处理，得到所述音频数据的音频特征向量；根据所述图像特征向量和所述音频特征向量确定所述目标人群的行为状态。2.如权利要求1所述的行为检测方法，其特征在于，所述将所述图像数据输入预设的时序检测模型中进行处理，得到所述图像数据的图像特征向量，包括：对所述图像数据进行特征提取，得到卷积特征；将所述卷积特征输入所述时序检测模型的检测子网中进行处理，确定目标特征图和第一时序特征值；将所述卷积特征和所述目标特征图输入所述时序检测模型的分类子网中进行处理，确定第二时序特征值；将所述第一时序特征值和第二时序特征值串联处理，确定所述图像特征向量。3.如权利要求2所述的行为检测方法，其特征在于，在确定目标特征图之后，还包括：对所述目标特征图进行边框回归处理，若处理后的目标特征图中存在预设类型的对象，则进行提示操作。4.如权利要求1所述的行为检测方法，其特征在于，所述将所述音频数据输入预设的声音检测模型中进行处理，包括：对所述音频数据进行降噪处理，从处理后的音频数据中提取声学特征；根据所述声学特征构建特征图谱，将所述特征图谱输入预设的声音检测模型中进行处理。5.如权利要求1至4任一项所述的行为检测方法，其特征在于，所述根据所述图像特征向量和所述音频特征向量确定所述目标人群的行为状态，包括：将预设数量的图像特征向量和预设数量的音频特征向量分别进行乘积处理，得到预设数量的特征向量；将所述预设数量的特征向量与未进行乘积处理的图像特征向量和未进行乘积处理的音频特征向量进行拼接处...

【专利技术属性】
技术研发人员：高毅鹏，黄凯明，
申请(专利权)人：深圳市锐明技术股份有限公司，
类型：发明
国别省市：