一种音视频设备数据采集、分析、预警系统技术方案

本发明专利技术公开了一种音视频设备数据采集、分析、预警系统，属于音视频分析技术领域，利用存储的模型训练文件对音视频进数据分析的数据识别模块；所述数据识别模块设有对外识别服务接口；用于获取音视频的数据采集模块；接收所述数据采集模块的采集数据并检验有效性的数据清洗模块，所述数据清洗模块将符合识别条件的清洗后数据传输给数据归集模块；将清洗后数据根据分类存储成归集文件的数据归集模块；读取归集文件并发送给数据识别模块的数据分析模块，所述数据分析模块把数据识别模块识别后的结果存储为标准化的分析结果文件；该音视频设备数据采集、分析、预警系统，提高系统运转效率，降低人工分析识别的成本及出错率。降低人工分析识别的成本及出错率。降低人工分析识别的成本及出错率。

【技术实现步骤摘要】
一种音视频设备数据采集、分析、预警系统


[0001]本专利技术属于音视频分析
，具体涉及音视频设备数据采集、分析、预警系统。

技术介绍

[0002]目前国内外音视频数据采集，都是每个音视频设备的生产厂家配套有专门的采集软件负责数据采集，另外也没有预警通知，也没有采用标准化的通知方法，在各个数据流转过程中，仍旧采用的是传统的数据交互方式，因此需要研发一种能够适应不同音视频设备生产厂家的采集、分析、预警的系统来解决现有的问题。

技术实现思路

[0003]本专利技术的目的在于提供一种音视频设备数据采集、分析、预警系统，以解决针对不同的音视频设备生产厂家需要更换不同的采集、分析、预警系统的问题。
[0004]为实现上述目的，本专利技术提供如下技术方案：一种音视频设备数据采集、分析、预警系统，其特征在于：包括：利用存储的模型训练文件对音视频数据进行分析的数据识别模块；所述数据识别模块设有对外识别服务接口；用于获取音视频的数据采集模块；接收所述数据采集模块的采集数据并检验有效性的数据清洗模块，所述数据清洗模块将符合识别条件的清洗后数据传输给数据归集模块；将清洗后数据根据分类存储成归集文件的数据归集模块；读取归集文件并发送给数据识别模块的数据分析模块，所述数据分析模块把数据识别模块识别后的结果存储为标准化的分析结果文件；将分析结果文件与已设定规则比对并生成比对结果文件的规则比对模块；判断比对结果文件是否达到预警条件的预警模块。
[0005]上述模型训练文件由识别训练模块生成，所述识别训练模块包括视频或图片识别训练模块和音频识别训练模块，所述视频或图片识别训练模块获取音视频设备录制的训练资料中的视频或者图片资源；所述音频识别训练模块获取音视频设备录制的训练资料中的音频资源。
[0006]上述数据采集模块包括标准化数据采集终端以及标准化数据上传接口；所述标准化数据采集终端通过通讯端口与音视频设备做连接；所述标准化数据上传接口设有基于自定义的标准化规范开发的HTTP协议类型上传接口和RTSP协议类型上传接口来接收音视频数据；所述数据清洗模块将符合识别条件的清洗后数据传输给数据归集模块，具体的方法如下：数据清洗模块接收到已上传的数据后，如果是视频或者是图片，则使用JAVA调用
OpenCV工具对其处理，使用VideoCapture方法判断分辨率、尺寸、清晰度是否符合用户事先设置的要求，不符合则丢弃文件，执行删除操作，并记录日志信息，包括删除的文件名称、时间以及删除原因；如果是音频文件，则使用JAVA调用ffmpeg工具对其处理，使用ffprobe方法判断录音时长、比特率、采样率是否符合要求，不符合则丢弃文件，执行删除操作，并记录日志信息，包括删除的文件名称、时间以及删除原因；经过清洗检测合格的文件，将会传入数据归集模块；所述数据归集模块接收到已清洗的文件后，如果是视频文件，则会使用JAVA调用OpenCV工具，按照预设的时间间隔对视频进行截图抽帧处理，生成多张图片文件，之后进行储存；如果是音频或者图片文件，则直接进行储存。
[0007]上述标准化数据采集终端安装有标准化数据采集软件，所述标准化数据采集软件实时检测是否有新的设备连接上终端，若发现有新设备接入后，则进入到其设备存储空间的根目录下寻找ID.DAT文件，若未寻找到ID.DAT文件，则创建ID.DAT文件，并存储在该设备存储空间的根目录下；若存在ID.DAT文件，则读取ID.DAT文件的第一行，使用3DES解密算法进行解密，将解密后的字符串作为设备ID使用；所述标准化数据采集软件采用递归方式查询该设备存储空间下所有文件夹内的音视频文件，并同时读取文件的创建时间、创建者参数，并将音视频文件复制到标准化数据采集终端的硬盘中；文件复制成功后，标准化数据采集软件会根据用户事先的配置决定是否将已复制的源文件从设备中删除，同时会调用标准化数据上传接口上传数据。
[0008]上述数据清洗模块接收到数据采集模块的数据时，若数据格式为视频或图片，则使用计算机视觉处理工具对其处理，判断分辨率、尺寸、清晰度是否符合要求；若数据格式为音频数据，使用计算机音频工具对其处理，判断录音时长、比特率、采样率。
[0009]上述数据归集模块中分类存储的方式为：若清洗后数据格式是音频或图片，则直接存储；若清洗后数据格式是视频，则会按照设置的时间间隔进行截图处理，再将截图存储。
[0010]上述截图处理的方式为使用计算机视觉处理工具，按设置的时间间隔对视频截图抽帧处理，生成多张图片文件并储存。
[0011]上述数据分析模块将接收到的音视频文件发送给数据识别模块，并接收数据识别模块的返回值；若发送图片数据，则返回值为出现特定物体的像素位置信息；若发送音频数据，则返回值为出现指定话术的音频时间点。
[0012]上述标准化数据上传接口包括基于自定义的标准化规范开发的HTTP协议类型上传接口和RTSP协议类型上传接口；可以选择HTTP协议类型或者是RTSP协议类型传输音视频数据；若选择HTTP协议类型则按照自定义的标准化规范进行传输数据；若选择RTSP协议类型，则还需要提供音视频设备的RTSP数据流地址给所述标准化数据上传接口，所述标准化数据上传接口会自动连接设备的RTSP数据流地址采集音视频数据流。
[0013]上述规则比对模块采用的是RETE规则匹配算法，RETE规则匹配算法用于判定的规则分为前提LHS和结论RHS；首先读取标准化分析结果文件，生成Working Memory集合，然后找出符合LHS部分的Working Memory集合，之后选出一个条件被满足的规则，最后执行RHS的内容，根据RHS的内容，生成最终的标准化比对结果文件，文件最终可以用XML格式进行存
储；所述预警模块根据预先设置的方式进行预警，并将预警记录日志并进行储存；所述预警模块的实现方法如下：预警模块在接收到标准化比对结果文件后，首先会解析标准化比对结果文件，依次读取每一行，并提取出匹配结果数据；会依次将提取到的匹配结果数据与预警条件进行比对；如果达到了预警条件，则会根据用户事先设置的电话、短信、声音方式进行预警；其中所述电话、短信预警方式是与电信运营商进行对接，预警模块将报警数据提交给电信运营商，由电信运营商发送短信或打电话；所述声音方式指的是在后台计算机上进行高音量的语音提示或高亮文字提示；无论是否达到了预警条件，预警模块都会记录日志并进行储存。
[0014]本专利技术的技术效果和优点：该音视频设备数据采集、分析、预警系统，在数据采集阶段，采用标准化、通用的方式支持不同的音视频设备；在数据分析阶段，采用生成标准化分析结果文件的方法，以及在规则比对阶段，采用生成标准化比对结果文件的方法，从而实现预警数据流程过程中的统一性，提高系统运转效率，降低人工分析识别的成本及出错率，具有如下优点：1、用户可以通过系统，实现市面上所有携带有USB数据接口或者网络传输接口的音视频设备数据的采集，无需根据不同的生产厂家更换不同的采集软件；2、将音频、视频、图片的训练和识别采用了统一的方法，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种音视频设备数据采集、分析、预警系统，其特征在于：包括：利用存储的模型训练文件对音视频数据进行分析的数据识别模块；所述数据识别模块设有对外识别服务接口；用于获取音视频的数据采集模块；接收所述数据采集模块的采集数据并检验有效性的数据清洗模块，所述数据清洗模块将符合识别条件的清洗后数据传输给数据归集模块；将清洗后数据根据分类存储成归集文件的数据归集模块；读取归集文件并发送给数据识别模块的数据分析模块，所述数据分析模块把数据识别模块识别后的结果存储为标准化的分析结果文件；将分析结果文件与已设定规则比对并生成比对结果文件的规则比对模块；判断比对结果文件是否达到预警条件的预警模块。2.根据权利要求1所述的一种音视频设备数据采集、分析、预警系统，其特征在于：所述模型训练文件由识别训练模块生成，所述识别训练模块包括视频或图片识别训练模块和音频识别训练模块，所述视频或图片识别训练模块获取音视频设备录制的训练资料中的视频或者图片资源；所述音频识别训练模块获取音视频设备录制的训练资料中的音频资源。3.根据权利要求1所述的一种音视频设备数据采集、分析、预警系统，其特征在于：所述数据采集模块包括标准化数据采集终端以及标准化数据上传接口；所述标准化数据采集终端通过通讯端口与音视频设备做连接；所述标准化数据上传接口设有基于自定义的标准化规范开发的HTTP协议类型上传接口和RTSP协议类型上传接口来接收音视频数据；所述数据清洗模块将符合识别条件的清洗后数据传输给数据归集模块，具体的方法如下：数据清洗模块接收到已上传的数据后，如果是视频或者是图片，则使用JAVA调用OpenCV工具对其处理，使用VideoCapture方法判断分辨率、尺寸、清晰度是否符合用户事先设置的要求，不符合则丢弃文件，执行删除操作，并记录日志信息，包括删除的文件名称、时间以及删除原因；如果是音频文件，则使用JAVA调用ffmpeg工具对其处理，使用ffprobe方法判断录音时长、比特率、采样率是否符合要求，不符合则丢弃文件，执行删除操作，并记录日志信息，包括删除的文件名称、时间以及删除原因；经过清洗检测合格的文件，将会传入数据归集模块；所述数据归集模块接收到已清洗的文件后，如果是视频文件，则会使用JAVA调用OpenCV工具，按照预设的时间间隔对视频进行截图抽帧处理，生成多张图片文件，之后进行储存；如果是音频或者图片文件，则直接进行储存。4.根据权利要求3所述的一种音视频设备数据采集、分析、预警系统，其特征在于：所述标准化数据采集终端安装有标准化数据采集软件，所述标准化数据采集软件实时检测是否有新的设备连接上终端，若发现有新设备接入后，则进入到其设备存储空间的根目录下寻找ID.DAT文件，若未寻找到ID.DAT文件，则创建ID.DAT文件，并存储在该设备存储空间的根目录下；若存在ID.DAT文件，则读取ID.DAT文件的第一行，使用3DES解密算法进行解密，将解密后的字符串作为设备ID使用；所述标准化数据采集软件采用递归方式查询该设备存储
空间下所有文件夹内的音视频文件，并同时读取文件的创建时间、创建者参数，并将音视频文...

【专利技术属性】
技术研发人员：张宇驰，
申请(专利权)人：江苏宸华智慧科技有限公司，
类型：发明
国别省市：