一种基于分布式的监控视频数据并行处理系统及方法技术方案

本发明专利技术提供一种基于分布式的监控视频数据并行处理系统及方法，所述处理系统包括：Kafka组件、Spark分布式计算平台和数据存储组件；本发明专利技术的Spark分布式计算平台基于重复帧数据划分读取的方式，对视频帧序列进行划分并以多线程并行的方式拉取数据到Spark分布式计算平台的Spark处理节点，进行并行处理。在任务完成后需要对结果数据进行排序、合并操作，最后对合并后的数据结果根据数据类型输出到数据存储组件进行持久化存储，或者继续发送到Kafka组件进行缓存供下一个Spark处理节点进行拉取处理，实现了Kafka采集和Spark处理耦合，提高了系统的灵活性和扩展性。

【技术实现步骤摘要】
一种基于分布式的监控视频数据并行处理系统及方法
本专利技术涉及视频图像处理
，特别是涉及一种基于分布式的监控视频数据并行处理系统及方法。
技术介绍
智能监控视频随着智慧城市的推广被广泛应用于各行各业，监控视频系统的规模越来越大，监控摄像头的分辨率也越来越清晰，视频数据量猛烈增长。为了从大规模监控视频数据中挖掘更多有价值的信息，辅助监控人员实现智能视频监控，越来越多的视频分析算法被引入使用，更加重了监控视频系统的计算负载。面对海量视频数据和各种复杂的视频分析，传统集中式视频处理系统已远远不能满足对数据处理的实时性和高效性。因此，设计一种高效能够灵活耦合各种视频分析算法的大规模监控视频系统对于监控应用领域具有重要意义。近年来，分布式技术被引进处理大规模数据，而视频图像处理往往需要进行大量的数据密集型计算。因此一些学者转向研究如何实现视频处理和分布式计算的集成以及应用等，如Yang等人分析探讨了Hadoop和Spark在视频数据分析的应用，设计实现了视频数据分析算法在集群上并行化。TariqAbdullah等人讨论了云计算在交通监控方面的应用，本文档来自技高网...

【技术保护点】
1.一种基于分布式的监控视频数据并行处理系统，其特征在于，所述处理系统包括：Kafka组件、Spark分布式计算平台和数据存储组件；/n所述Kafka组件与摄像头连接，用于获取监控摄像头拍摄的视频流，并将所述视频流转化成视频帧序列，对所述视频帧序列进行存储；/n所述Spark分布式计算平台分别与所述Kafka组件和所述数据存储组件连接，用于采用重复帧数据划分读取的方式从Kafka组件中读取视频帧序列，得到一个或多个视频帧序列段，对一个或多个所述视频帧序列段进行并行处理，并依据相邻两个视频序列段的重复区域对每个视频帧序列段的处理结果进行合并，将合并后的中间处理结果以视频帧序列的形式存储至所述Ka...

【技术特征摘要】
1.一种基于分布式的监控视频数据并行处理系统，其特征在于，所述处理系统包括：Kafka组件、Spark分布式计算平台和数据存储组件；
所述Kafka组件与摄像头连接，用于获取监控摄像头拍摄的视频流，并将所述视频流转化成视频帧序列，对所述视频帧序列进行存储；
所述Spark分布式计算平台分别与所述Kafka组件和所述数据存储组件连接，用于采用重复帧数据划分读取的方式从Kafka组件中读取视频帧序列，得到一个或多个视频帧序列段，对一个或多个所述视频帧序列段进行并行处理，并依据相邻两个视频序列段的重复区域对每个视频帧序列段的处理结果进行合并，将合并后的中间处理结果以视频帧序列的形式存储至所述Kafka组件，将合并后的处理结果发送给所述数据存储组件；相邻两个视频序列段包括有K帧重复区域；
所述Spark分布式计算平台还用于采用重复帧数据划分读取的方式读取所述Kafka组件的中间处理结果，并对中间处理结果的每个视频帧序列段的采用并行处理的方式进行再次的处理；
所述数据存储组件用于对合并后的处理结果进行存储。


2.根据权利要求1所述的基于分布式的监控视频数据并行处理系统，其特征在于，所述Kafka组件包括数据采集模块、Kafka集群和中间数据缓存组件；
所述数据采集模块分别与所述监控摄像头和所述Kafka集群连接，所述数据采集模块用于获取监控摄像头的视频流，并将所述视频流转化成视频帧序列；
所述Kafka集群与所述Spark分布式计算平台连接，所述Kafka集群用于对所述视频帧序列进行存储；
所述中间数据缓存组件与所述Spark分布式计算平台连接，用于对所述Spark分布式计算平台获得的所述合并后的中间处理结果进行缓存。


3.根据权利要求1所述的基于分布式的监控视频并行处理系统，其特征在于，所述Spark分布式计算平台包括：重复帧数据划分读取模块和多个Spark处理节点和数据合并模块；
所述重复帧数据划分读取模块分别与所述Kafka组件和多个所述Spark处理节点连接，所述重复帧数据划分读取模块用于采用重复帧数据划分读取的方式从Kafka组件中读取视频帧序列，得到一个或多个视频帧序列段，并将每个所述视频帧序列段分别发送给不同的Spark处理节点；
多个所述Spark处理节点分别与所述重复帧数据划分读取模块和所述数据合并模块连接，多个所述Spark处理节点用于对每个所述视频帧序列段进行并行处理；
所述数据合并模块分别与所述数据存储组件和所述Kafka组件连接，用于依据相邻两个视频序列段的重复区域对每个视频帧序列段的处理结果进行合并，将合并后的中间处理结果以视频帧序列的形式存储至所述Kafka组件，将合并后的处理结果发送给所述数据存储组件。


4.根据权利要求1所述的基于分布式的监控视频并行处理系统，其特征在于，所述数据存储组件包括HBASE数据库；...

【专利技术属性】
技术研发人员：王阳萍，李宁辉，党建武，王松，雍玖，杨景玉，李吉元，金静，王文润，岳彪，
申请(专利权)人：兰州交通大学，
类型：发明
国别省市：甘肃;62