一种用于物联网的大数据分布式存储方法及系统技术方案

本发明专利技术提供一种用于物联网的大数据分布式存储方法及系统，涉及数据处理领域，其中，该系统包括：数据处理模块，用于接收多个物联网终端采集的物联网数据并进行存储预处理；数据处理模块用于对物联网数据进行存储预处理，并判断是否对物联网数据进行缓存；数据存储模块用于存储预处理后的物联网数据；数据缓存模块，用于在数据预处理节点判定对物联网数据进行缓存后，分配多个最优数据缓存节点，缓存预处理后的物联网数据；算力调度节点还用于为用户终端发起的数据查询请求分配数据预处理节点，数据预处理节点用于从数据存储模块或数据缓存模块调取数据查询请求对应的目标物联网数据，具有提高物联网的大数据存储的安全性的优点。

【技术实现步骤摘要】

本专利技术涉及数据处理领域，特别涉及一种用于物联网的大数据分布式存储方法及系统。

技术介绍

1、随着物联网技术的迅速发展，越来越多的物联网设备接入互联网，形成了庞大的网络。随着物联网的发展，迅速增长的物联网设备采集了大量的数据，推动着智慧医疗、智能制造和智能交通的快速发展。

2、现有的数据存储方式通常是集中式的，需要大型的数据中心或服务器来承载数据存储和处理的任务，这种方式存在数据安全性差、可靠性低、以及数据维护成本高等问题

3、因此，需要提供一种用于物联网的大数据分布式存储方法及系统，用于提高物联网的大数据存储的安全性。

技术实现思路

1、本专利技术提供一种用于物联网的大数据分布式存储系统，包括：数据处理模块，用于接收多个物联网终端采集的物联网数据并进行存储预处理；所述数据处理模块包括算力调度节点及多个数据预处理节点，所述算力调度节点用于为所述物联网数据分配数据预处理节点，所述数据预处理节点用于对所述物联网数据进行存储预处理，并判断是否对所述物联网数据进行缓存；数据存储模块，包括存储本文档来自技高网...

【技术保护点】

1.一种用于物联网的大数据分布式存储系统，其特征在于，包括：

2.根据权利要求1所述的一种用于物联网的大数据分布式存储系统，其特征在于，所述数据预处理节点对所述物联网数据进行存储预处理，包括：

3.根据权利要求2所述的一种用于物联网的大数据分布式存储系统，其特征在于，所述数据预处理节点基于所述物联网终端的历史物联网数据的访问信息，确定所述物联网终端对应的第一分片大小，包括：

4.根据权利要求2所述的一种用于物联网的大数据分布式存储系统，其特征在于，所述数据预处理节点确定所述相似物联网终端，包括：

5.根据权利要求2所述的一种用于物联网的大数...

【技术特征摘要】

1.一种用于物联网的大数据分布式存储系统，其特征在于，包括：

2.根据权利要求1所述的一种用于物联网的大数据分布式存储系统，其特征在于，所述数据预处理节点对所述物联网数据进行存储预处理，包括：

3.根据权利要求2所述的一种用于物联网的大数据分布式存储系统，其特征在于，所述数据预处理节点基于所述物联网终端的历史物联网数据的访问信息，确定所述物联网终端对应的第一分片大小，包括：

4.根据权利要求2所述的一种用于物联网的大数据分布式存储系统，其特征在于，所述数据预处理节点确定所述相似物联网终端，包括：

5.根据权利要求2所述的一种用于物联网的大数据分布式存储系统，其特征在于，所述数据预处理节点基于相似物联网终端的访问信息，确定所述物联网终端对应的第一分片大小...

【专利技术属性】
技术研发人员：林铖安，
申请(专利权)人：广州云扬信息科技有限公司，
类型：发明
国别省市：