【技术实现步骤摘要】
本专利技术属于数据管理，具体涉及一种基于分布式存储的消防大数据管理方法及系统。
技术介绍
1、随着信息化技术的发展，在消防监督管理的重点区域安装不同类型探测器、网络摄像头等基础设备，并将所有设备与大数据平台进行连接，构建起现代化特征且能够提高消防监督管理工作智慧化的消防物联网平台。随着物联网设备的不断增加，数据的产生量呈现出指数级增长，传统数据存储和处理架构对数据的调度效率低下，构建专门数据库用于存储大数据据成本过高，且存在因系统故障导致的数据信息丢失等问题。
技术实现思路
1、为解决现有技术中存在的上述问题，本专利技术提供了一种基于分布式存储的消防大数据管理方法及系统，
2、本专利技术的目的可以通过以下技术方案实现：
3、s1：实时获取传感器数据、消防物资数据、消防人员数据、路网数据、车辆和装备数据并建立大数据集，将所述大数据集推送至临时缓冲区，在所述临时缓冲区内对所述大数据进行格式化处理得到数据流文件，通过数据流文件的映射信息将所述数据流文件传输至分布式集群系统
4、本文档来自技高网...
【技术保护点】
1.一种基于分布式存储的消防大数据管理方法，其特征在于，包括：
2.根据权利要求1所述的一种基于分布式存储的消防大数据管理方法，其特征在于，所述临时缓冲区由文件存储服务器组成的环形缓冲区结构，对接收的大数据集进行序列化管理。
3.根据权利要求1所述的一种基于分布式存储的消防大数据管理方法，其特征在于，所述格式化处理方法为：将所述大数据集转换为数据属性表、数据字段、实时数据切片信息、数据索引组成的元数据，并根据所述大数据集进入临时缓冲区的时间为所述元数据添加时间戳。
4.根据权利要求1所述的一种基于分布式存储的消防大数据管理方法，其特...
【技术特征摘要】
1.一种基于分布式存储的消防大数据管理方法，其特征在于，包括：
2.根据权利要求1所述的一种基于分布式存储的消防大数据管理方法，其特征在于，所述临时缓冲区由文件存储服务器组成的环形缓冲区结构，对接收的大数据集进行序列化管理。
3.根据权利要求1所述的一种基于分布式存储的消防大数据管理方法，其特征在于，所述格式化处理方法为：将所述大数据集转换为数据属性表、数据字段、实时数据切片信息、数据索引组成的元数据，并根据所述大数据集进入临时缓冲区的时间为所述元数据添加时间戳。
4.根据权利要求1所述的一种基于分布式存储的消防大数据管理方法，其特征在于，所述并行执行任务框架包括应用层、核心层、基础架构层；所述应用层用于将所述缓存队列的数据流文件封装为批处理任务，所述核心层用于加载和控制所述应用层封装的批处理任务，所述基础架构层提供所述应用层和所述核心层的调度接口。
5.根据权利要求1所述的一种基于分布式存储的消防大数据管理方法，其特征在于，所述压缩编码设置方法为基于字节计算数据包信源的平均信息量，通过所述平均信息量确定编码字符的平均最小比特数，基于数据包信源进行编码压缩，压...
【专利技术属性】
技术研发人员：姚建文，段俊洲，
申请(专利权)人：宇消安全科技上海有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。