本发明专利技术公开了一种用于视频分析数据结果集的采集分析存储统计系统，其包括一视频图像分析模块、Flume模块、ZeroMQ模块、SparkStreaming模块、Hbase模块、Kafka模块、Spark SQL模块、JOB管理器模块、订阅者模块和结果显示模块。该系统可以通过对视频图像进行实时分析，同时将分析结果进行特定的行为判定，如果被判定为异常行为，将通知监控人员人工复核，如果属实则通知相关部门采取行动。在实时分析的同时记录分析数据的时间戳，将分析数据清洗过滤，整合成符合要求的数据集。在调看视频录像时，在图像上叠加分析数据，辅助监控人员发现线索，同时可以通过进度条结合分析数据提供的时间段信息，快速定位事件发生的时间。
【技术实现步骤摘要】
本专利技术属于大数据流处理的应用领域，具体而言涉及一种视频分析数据处理系统。
技术介绍
随着这些年安防产业的迅速发展，高清摄像机越来越多的被使用在各个行业领域，保障人民和财产的安全，同时视频录像为事件追溯提供了依据。通过调看重点区域的视频图像，方便监控人员及时发现问题。但是人的精力有限无法应对日益增多的视频图像，无法及时发现所有事件，无法及时通知相关部门采取行动以减少损失。在事件发生后，通过调看录像来寻找事件线索，但是这需要许多人力和时间去盯着画面，这样既存在人工无意识的疏漏也十分费力。为了减少获得线索的时间，可以通过对一定时间范围内的视频图像进行分析，提高定位线索的效率，但是分析视频的时间往往很长，特别是针对时间跨度较大，范围较大的情况时，往往需要半天或者1天的时间来完成分析。这样也耗去了破案追溯的时间。Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。ZeroMQ一个简单好用的传输层，像框架一样的一个socketlibrary，他使得Socket编程更加简单、简洁和性能更高。是一个消息处理队列库，可在多个线程、内核和主机盒之间弹性伸缩。ZMQ的明确目标是“成为标准网络协议栈的一部分，之后进入Linux内核”。现在还未看到它们的成功。但是，它无疑是极具前景的、并且是人们更加需要的“传统”BSD套接字之上的一层封装。Spark是一个类似于MapReduce的分布式计算框架，其核心是弹性分布式数据集，提供了比MapReduce更丰富的模型，可以在快速在内存中对数据集进行多次迭代，以支持复杂的数据挖掘算法和图形计算算法。SparkStreaming是一种构建在Spark上的实时计算框架，它扩展了Spark处理大规模流式数据的能力。HBase是一个分布式的、面向列的开源数据库，该技术来源于FayChang所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（FileSystem）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群机来提供实时的消费。SparkSQL是Spark的一个组件，用于结构化数据的计算。SparkSQL提供了一个称为DataFrames的编程抽象，DataFrames可以充当分布式SQL查询引擎。
技术实现思路
为克服现有技术中的不足，本专利技术的目的在于提供一种用于视频分析数据结果集的采集分析存储统计系统，该系统可以大大加强监控人员的日常视频巡检的效果，做到事件发生时及时报警，提高事件的处置的实时性。为实现上述技术目的，达到上述技术效果，本专利技术通过以下技术方案实现：一种用于视频分析数据结果集的采集分析存储统计系统，其包括一视频图像分析模块、Flume模块、ZeroMQ模块、SparkStreaming模块、Hbase模块、Kafka模块、SparkSQL模块、JOB管理器模块、订阅者模块和结果显示模块；所述视频图像分析模块通过视频算法针对某些固定场景和固定行为模式规则对视频图像进行实时分析，将分析产生的结构化数据通过所述Flume模块或所述ZeroMQ模块传输至所述SparkStreaming模块，所述SparkStreaming模块通过其实时流引擎对数据进行聚合分析，如果发生某些定义过的行为，则所述SparkStreaming模块向所述Kafka模块推送警报信息，然后警报信息会再次推送到所述订阅者模块，同时所述SparkStreaming模块会将分析过的数据和警报信息保存到所述Hbase模块中；所述Job管理器用于定义各种形式的分析模型，定时使用所述SparkSQL模块获取所述Hbase模块的数据，然后将分析得到的结果推送到所述Kafka模块，再将结果推送到所述订阅者模块；所述SparkSQL模块分析所述Hbase模块中的数据，获得分析结果后通过所述结果显示模块显示出来。为了可以及时发现被摄像机视频所覆盖的区域内发生的特定时间或者记录事件行为，作为监控人员人工监视的补充，该系统可以通过对视频图像进行实时分析，同时将分析结果进行特定的行为判定，如果被判定为异常行为，将通知监控人员人工复核，如果属实则通知相关部门采取行动。在实时分析的同时记录分析数据的时间戳，将分析数据清洗过滤，整合成符合要求的数据集。在调看视频录像时，在图像上叠加分析数据，辅助监控人员发现线索，同时可以通过进度条结合分析数据提供的时间段信息，快速定位事件发生的时间。本专利技术的有益效果是:通过本专利技术的系统，使用者可以大大加强监控的日常视频巡检的效果，做到事件发生时及时报警，提高事件的处置的实时性。在事后回查录像时，大大提高的监控人员查找线索的效率，减少了时间消耗，为破案提供了宝贵的时间。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，并可依照说明书的内容予以实施，以下以本专利技术的较佳实施例并配合附图详细说明如后。本专利技术的具体实施方式由以下实施例及其附图详细给出。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1为本专利技术的系统框架示意图。具体实施方式下面将参考附图并结合实施例，来详细说明本专利技术。参见图1所示，一种用于视频分析数据结果集的采集分析存储统计系统，其包括一视频图像分析模块1、Flume模块2、ZeroMQ模块3、SparkStreaming模块4、Hbase模块5、Kafka模块6、SparkSQL模块7、JOB管理器模块8、订阅者模块9和结果显示模块10；所述视频图像分析模块1通过视频算法针对某些固定场景和固定行为模式规则对视频图像进行实时分析，将分析产生的结构化数据通过所述Flume模块2或所述ZeroMQ模块3传输至所述SparkStreaming模块4，所述SparkStreaming模块4通过其实时流引擎对数据进行聚合分析，如果发生某些定义过的行为，则所述SparkStreaming模块4向所述Kafka模块6推送警报信息，然后警报信息会再次推送到所述订阅者模块9，同时所述SparkStreaming模块4会将分析过的数据和警报信息保存到所述Hbase模块5中；所述Job管理器本文档来自技高网...
【技术保护点】
一种用于视频分析数据结果集的采集分析存储统计系统，其特征在于：包括一视频图像分析模块（1）、Flume模块（2）、ZeroMQ模块（3）、SparkStreaming模块（4）、Hbase模块（5）、Kafka模块（6）、Spark SQL模块（7）、JOB管理器模块（8）、订阅者模块（9）和结果显示模块（10）；所述视频图像分析模块（1）通过视频算法针对某些固定场景和固定行为模式规则对视频图像进行实时分析，将分析产生的结构化数据通过所述Flume模块（2）或所述ZeroMQ模块（3）传输至所述SparkStreaming模块（4），所述SparkStreaming模块（4）通过其实时流引擎对数据进行聚合分析，如果发生某些定义过的行为，则所述SparkStreaming模块（4）向所述Kafka模块（6）推送警报信息，然后警报信息会再次推送到所述订阅者模块（9），同时所述SparkStreaming模块（4）会将分析过的数据和警报信息保存到所述Hbase模块（5）中；所述Job管理器（8）用于定义各种形式的分析模型，定时使用所述Spark SQL模块（7）获取所述Hbase模块（5）的数据，然后将分析得到的结果推送到所述Kafka模块（6），再将结果推送到所述订阅者模块（9）；所述Spark SQL模块（7）分析所述Hbase模块（5）中的数据，获得分析结果后通过所述结果显示模块（10）显示出来。...
【技术特征摘要】
1.一种用于视频分析数据结果集的采集分析存储统计系统，其特征在于：包括一视频图像分析模块（1）、Flume模块（2）、ZeroMQ模块（3）、SparkStreaming模块（4）、Hbase模块（5）、Kafka模块（6）、SparkSQL模块（7）、JOB管理器模块（8）、订阅者模块（9）和结果显示模块（10）；所述视频图像分析模块（1）通过视频算法针对某些固定场景和固定行为模式规则对视频图像进行实时分析，将分析产生的结构化数据通过所述Flume模块（2）或所述ZeroMQ模块（3）传输至所述SparkStreaming模块（4），所述SparkStreaming模块（4）通过其实时流引擎对数据...
【专利技术属性】
技术研发人员：江俊杰，
申请(专利权)人：苏州航天系统工程有限公司，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。