【技术实现步骤摘要】
基于Spark的分布式海量视频解析系统
本专利技术涉及模式识别、计算机视觉领域，尤其涉及一种基于Spark的分布式海量视频解析系统。
技术介绍
随着视频监控网络系统的大量部署，产生了大量的视频数据。视频数据是一种非结构化的数据，在海量视频数据的存储和内容处理等方面面临巨大挑战。目前，基于Hadoop和Spark的大数据处理技术应用广泛，然而，这些大数据处理技术在处理压缩的视频文件时，因压缩的视频文件中各帧之间有依赖关系，在对视频处理时需要参考视频帧前后的数据进行解压，像普通文件一样直接切分将导致文件无法解压，限制了视频的并行处理。然而，在实际应用中，通常需要从海量的离线视频文件中寻找某个兴趣目标或兴趣事件，人工查找效率低且容易出错。因此，搭建一个新型的视频解析系统，以满足对大规模海量视频数据的处理需求，同时可以灵活方便的嵌入多种检测识别算法，具备良好的通用性和可扩展性成为亟待解决的问题。
技术实现思路
为了解决现有技术中的上述问题，即为了满足海量视频数据的处理需求，提供一种通用性和可扩展性良好的系统，本申请提出一种基于Spark的分布式海量视频解析系统以解决上述问题：...
【技术保护点】
1.一种基于Spark的分布式海量视频解析系统，其特征在于，所述系统包括：分布式文件子系统、资源管理模块、分布式订阅子系统、数据处理模块、数据库模块和前台展示模块；所述分布式文件子系统，配置为提供非结构化数据的交互接口；所述资源管理模块，配置为上层应用提供统一的资源管理和调度服务；所述分布式订阅子系统，作为系统的消息中间件，所述系统的各模块通过所述分布式订阅子系统进行消息和数据的传递；所述数据处理模块，包括多个视觉处理算法子模块，各所述视觉处理算法子模块从所述分布式文件子系统获取视频数据，或从所述分布式订阅子系统中获取中间数据，多个所述视觉处理算法子模块协同工作将所获取到的...
【技术特征摘要】
1.一种基于Spark的分布式海量视频解析系统，其特征在于，所述系统包括：分布式文件子系统、资源管理模块、分布式订阅子系统、数据处理模块、数据库模块和前台展示模块；所述分布式文件子系统，配置为提供非结构化数据的交互接口；所述资源管理模块，配置为上层应用提供统一的资源管理和调度服务；所述分布式订阅子系统，作为系统的消息中间件，所述系统的各模块通过所述分布式订阅子系统进行消息和数据的传递；所述数据处理模块，包括多个视觉处理算法子模块，各所述视觉处理算法子模块从所述分布式文件子系统获取视频数据，或从所述分布式订阅子系统中获取中间数据，多个所述视觉处理算法子模块协同工作将所获取到的视频数据解压缩为多帧图片，并基于所解压出的多帧图片进行视觉处理，并将处理结果保存在对应的数据存储介质中，其中，视觉处理包括行人检测、跟踪、行人属性识别、行人身份再识别；所述数据库模块，配置为多种存储介质，用来存储各算法子模块处理的结果；所述前台展示模块，从所述数据库模块和所述分布式文件子系统中读取相应数据，向用户展示各算法子模块的处理结果并与用户进行交互。2.根据权利要求1所述的基于Spark的分布式海量视频解析系统，其特征在于，所述数据处理模块包括检测跟踪子模块、属性识别子模块和身份再识别子模块；所述检测跟踪子模块，配置为从所述视频数据中逐帧进行行人检测并跟踪目标人物的轨迹；所述属性识子别模块，配置为读取对所述目标人物进行跟踪所得的轨迹数据，利用所述轨迹数据的特征向量对所述目标人物的属性进行识别；所述身份再识别子模块，配置为根据所述目标人物的轨迹和属性来确定所述目标人物是否为之前出现的目标人物。3.根据权利要求2所述的基于Spark的分布式海量视频解析系统，其特征在于，所述数据处理模块的各子模块都有多种算法可供选择，并配置为接收用户通过所述前台展示模块发送的算法执行顺序，从预设的多种算法中选取需要的算法进行执行。4.根据权利要求3所述的基于Spark的分布式海量视频解析系统，其特征在于，所述...
【专利技术属性】
技术研发人员：黄凯奇，张彰，李俊，李达，余铠，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。