本发明专利技术涉及人工智能领域，应用于智慧城市领域中，公开了一种违规行为图像的检索方法、装置、设备及存储介质，用于提高违规行为图像的检索效率。所述违规行为图像的检索方法包括：获取实时采集的行为监控音视频流，并对行为监控音视频流进行分帧处理，得到目标行为图像集；通过违规行为识别模型，对目标行为图像集进行违规行为检测，得到初始违规图像，并将初始违规图像存储至目标数据库；对待搜索语音数据进行语音识别，得到待搜索文本信息；通过自然语句转换模型，将待搜索文本信息转换为数据库查询语句，并从目标数据库中查找待搜索语音数据对应的目标违规图像。此外，本发明专利技术还涉及区块链技术，目标违规图像可存储于区块链节点中。点中。点中。
【技术实现步骤摘要】
违规行为图像的检索方法、装置、设备及存储介质
[0001]本专利技术涉及检测模型领域，尤其涉及一种违规行为图像的检索方法、装置、设备及存储介质。
技术介绍
[0002]许多场合对人们的行为有规范要求，如后厨要求厨师佩戴厨师帽和口罩、地铁站要求进站者佩戴口罩、医院要求医生穿制服等，在具有行为规范要求的场合，通常设置有监控设备，以便于进行有效的行为规范监管。
[0003]由于监控视频数据量大，监管部门对于行为规范的检测通常是通过对监控视频进行抽检完成，通过定期的采样检测识别一些违规行为图像，但是，这种方式难以全面地获得违规行为信息，并且基于传统的违规行为图像检索逻辑，使得违规图像的检索效率低下，存在监管不及时的问题。
技术实现思路
[0004]本专利技术提供了一种违规行为图像的检索方法、装置、设备及存储介质，用于提高违规行为图像的检索效率。
[0005]本专利技术第一方面提供了一种违规行为图像的检索方法，包括：
[0006]获取实时采集的行为监控音视频流，并对所述行为监控音视频流进行分帧处理，得到目标行为图像集；
[0007]通过预先训练好的违规行为识别模型，对所述目标行为图像集进行违规行为检测，得到初始违规图像，并按照预置数据结构将所述初始违规图像存储至目标数据库；
[0008]获取待搜索语音数据，并对所述待搜索语音数据进行语音识别，得到待搜索文本信息；
[0009]通过训练好的自然语句转换模型，将所述待搜索文本信息转换为数据库查询语句；
[0010]通过所述数据库查询语句，从所述目标数据库中查找所述待搜索语音数据对应的目标违规图像。
[0011]可选的，在本专利技术第一方面的第一种实现方式中，所述获取实时采集的行为监控音视频流，并对所述行为监控音视频流进行分帧处理，得到目标行为图像集，包括：
[0012]实时对监控摄像头采集的音视频流进行拉流处理，得到行为监控音视频流；
[0013]按照预置帧率，对所述行为监控音视频流进行分帧处理，得到初始行为图像集；
[0014]对所述初始行为图像集进行画面变动检测，得到检测结果，并通过所述检测结果对所述初始行为图像集进行降噪处理，得到目标行为图像集。
[0015]可选的，在本专利技术第一方面的第二种实现方式中，所述对所述初始行为图像集进行画面变动检测，得到检测结果，并通过所述检测结果对所述初始行为图像集进行降噪处理，得到目标行为图像集，包括：
[0016]对所述初始行为图像集进行灰度图像转换，得到多帧灰度图像，并提取各帧灰度图像中每个像素点的灰度值，得到各帧灰度图像对应的灰度值矩阵；
[0017]按照所述行为监控音视频流的分帧顺序，对相邻帧灰度图像对应的灰度值矩阵进行灰度差值计算，得到计算结果，并根据所述计算结果确定所述初始行为图像集中的静止画面图像和运动画面图像；
[0018]将所述初始行为图像集中的静止画面图像剔除，得到目标行为图像集。
[0019]可选的，在本专利技术第一方面的第三种实现方式中，所述通过预先训练好的违规行为识别模型，对所述目标行为图像集进行违规行为检测，得到初始违规图像，并按照预置数据结构将所述初始违规图像存储至目标数据库，包括：
[0020]初始化预先训练好的违规行为识别模型，所述训练好的违规行为识别模型包括多个级联的检测网络，每个检测网络对应不同的交并比阈值；
[0021]通过各检测网络对所述目标行为图像集进行违规行为识别，并将交并比阈值最大的检测网络的输出设置为违规行为检测结果，所述违规行为检测结果用于指示所述目标行为图像是否为违规图像；
[0022]根据所述违规行为检测结果，从所述目标行为图像集中提取违规图像，得到初始违规图像，并按照预置数据结构将所述初始违规图像存储至目标数据库。
[0023]可选的，在本专利技术第一方面的第四种实现方式中，所述根据所述违规行为检测结果，从所述目标行为图像集中提取违规图像，得到初始违规图像，并按照预置数据结构将所述初始违规图像存储至目标数据库，包括：
[0024]根据所述违规行为检测结果，从所述目标行为图像集中提取违规图像，得到初始违规图像，并生成所述初始违规图像对应的图像标识符；
[0025]将所述初始违规图像存储至预置的分布式文件库，得到图像存储路径信息；
[0026]获取所述初始违规图像的违规对象信息、图像信息和违规信息，并按照预置数据结构将所述图像存储路径信息、所述图像标识符、所述违规对象信息、所述图像信息和所述违规信息存储至目标数据库。
[0027]可选的，在本专利技术第一方面的第五种实现方式中，所述通过训练好的自然语句转换模型，将所述待搜索文本信息转换为数据库查询语句，包括：
[0028]初始化训练好的自然语句转换模型，并通过所述自然语言转换模型中的BERT网络对所述待搜索文本信息进行编码，得到文本编码向量；
[0029]通过所述自然语言转换模型中的分类器对所述文本编码向量进行全局分类，得到分类结果，所述分类结果包括表格名称、列名称和运算符；
[0030]根据所述分类结果中的表格名称、列名称和运算符，生成所述待搜索文本信息对应的数据库查询语句。
[0031]可选的，在本专利技术第一方面的第六种实现方式中，所述通过所述数据库查询语句，从所述目标数据库中查找所述待搜索语音数据对应的目标违规图像，包括：
[0032]通过所述数据库查询语句，从所述目标数据库的违规对象信息、图像信息和违规信息中查找违规图像存储记录；
[0033]通过所述违规图像存储记录获取对应的图像存储路径信息和图像标识符，并通过所述图像存储路径信息和所述图像标识符获取所述待搜索语音数据对应的目标违规图像。
[0034]本专利技术第二方面提供了一种违规行为图像的检索装置，包括：
[0035]获取模块，用于获取实时采集的行为监控音视频流，并对所述行为监控音视频流进行分帧处理，得到目标行为图像集；
[0036]检测模块，用于通过预先训练好的违规行为识别模型，对所述目标行为图像集进行违规行为检测，得到初始违规图像，并按照预置数据结构将所述初始违规图像存储至目标数据库；
[0037]识别模块，用于获取待搜索语音数据，并对所述待搜索语音数据进行语音识别，得到待搜索文本信息；
[0038]转换模块，用于通过训练好的自然语句转换模型，将所述待搜索文本信息转换为数据库查询语句；
[0039]查找模块，用于通过所述数据库查询语句，从所述目标数据库中查找所述待搜索语音数据对应的目标违规图像。
[0040]可选的，在本专利技术第二方面的第一种实现方式中，所述获取模块包括：
[0041]拉流单元，用于实时对监控摄像头采集的音视频流进行拉流处理，得到行为监控音视频流；
[0042]分帧单元，用于按照预置帧率，对所述行为监控音视频流进行分帧处理，得到初始行为图像集；
[0043]降噪单元，用于对所述初始行为图像集进行画本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种违规行为图像的检索方法，其特征在于，所述违规行为图像的检索方法包括：获取实时采集的行为监控音视频流，并对所述行为监控音视频流进行分帧处理，得到目标行为图像集；通过预先训练好的违规行为识别模型，对所述目标行为图像集进行违规行为检测，得到初始违规图像，并按照预置数据结构将所述初始违规图像存储至目标数据库；获取待搜索语音数据，并对所述待搜索语音数据进行语音识别，得到待搜索文本信息；通过训练好的自然语句转换模型，将所述待搜索文本信息转换为数据库查询语句；通过所述数据库查询语句，从所述目标数据库中查找所述待搜索语音数据对应的目标违规图像。2.根据权利要求1所述的违规行为图像的检索方法，其特征在于，所述获取实时采集的行为监控音视频流，并对所述行为监控音视频流进行分帧处理，得到目标行为图像集，包括：实时对监控摄像头采集的音视频流进行拉流处理，得到行为监控音视频流；按照预置帧率，对所述行为监控音视频流进行分帧处理，得到初始行为图像集；对所述初始行为图像集进行画面变动检测，得到检测结果，并通过所述检测结果对所述初始行为图像集进行降噪处理，得到目标行为图像集。3.根据权利要求2所述的违规行为图像的检索方法，其特征在于，所述对所述初始行为图像集进行画面变动检测，得到检测结果，并通过所述检测结果对所述初始行为图像集进行降噪处理，得到目标行为图像集，包括：对所述初始行为图像集进行灰度图像转换，得到多帧灰度图像，并提取各帧灰度图像中每个像素点的灰度值，得到各帧灰度图像对应的灰度值矩阵；按照所述行为监控音视频流的分帧顺序，对相邻帧灰度图像对应的灰度值矩阵进行灰度差值计算，得到计算结果，并根据所述计算结果确定所述初始行为图像集中的静止画面图像和运动画面图像；将所述初始行为图像集中的静止画面图像剔除，得到目标行为图像集。4.根据权利要求1所述的违规行为图像的检索方法，其特征在于，所述通过预先训练好的违规行为识别模型，对所述目标行为图像集进行违规行为检测，得到初始违规图像，并按照预置数据结构将所述初始违规图像存储至目标数据库，包括：初始化预先训练好的违规行为识别模型，所述训练好的违规行为识别模型包括多个级联的检测网络，每个检测网络对应不同的交并比阈值；通过各检测网络对所述目标行为图像集进行违规行为识别，并将交并比阈值最大的检测网络的输出设置为违规行为检测结果；根据所述违规行为检测结果，从所述目标行为图像集中提取违规图像，得到初始违规图像，并按照预置数据结构将所述初始违规图像存储至目标数据库。5.根据权利要求4所述的违规行为图像的检索方法，其特征在于，所述根据所述违规行为检测结果，从所述目标行为图像集中提取违规图像，得到初始违规图像，并按照预置数据结构将所述初始违规图像存储至目标数据库，包括：根据所述违规行为检测结果，从所述目标行为图像集中提取违规...
【专利技术属性】
技术研发人员：黄哲，
申请(专利权)人：平安国际智慧城市科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。