基于分布式数字底座的物联网实时数据分层存储系统及方法技术方案

本发明专利技术提供了一种基于分布式数字底座的物联网实时数据分层存储系统及方法，包括：主数据中心和多个从数据中心；将物联设备数据上传至距离最近的从数据中心，通过数据同步策略实现主数据中心全量数据的存储和分数据中心数据的备份

【技术实现步骤摘要】
基于分布式数字底座的物联网实时数据分层存储系统及方法


[0001]本专利技术涉及物联网工程
，具体地，涉及基于分布式数字底座的物联网实时数据分层存储系统及方法
。

技术介绍

[0002]随着物联网工程的发展和智慧城市数字化转型进程的推进，大量物联感知设备部署在城市的各个角落，用来收集多维度的数据，城市级甚至城市群级的物联网应用成为行业趋势
。
该类应用本身涉及千万级
、
甚至上亿级的物联感知设备，设备物理地址分布区域涉及范围跨度大，如何高效的管理这些物联设备和物联设备产生的实时数据，保证数据质量高
、
延迟低，是目前亟需解决的问题
。
[0003]物联网设备上报的数据，具有海量性
、
时序性
、
多样性
、
实时性的特点，传统的数据库存储难以满足其读写和高效管理的需求，需要构建数据中心对数据进行统一管理
。
同时对于城市群级的物联网应用，设备分布的范围广，设备到达数据中心的平均距离非常大
。
距离大会引起两个问题：终端设备能耗大和数据传输延迟大
。
如果使用传统的单一数据中心进行数据的接收，整体性能收到极大的影响
。
[0004]为了解决城市群级物联网应用中，单数据中心无法高效管理设备数据的问题，本专利技术提出基于分布式数字底座的分层存储的解决方案，通过设置一主多从的数据中心的模式，解决设备到数据中心距离远的问题，多个从数据中心作为数据接收和独立存储的节点；同时设计数据同步队列的方式，实现从数据中心的数据互备和主数据中心的数据同步
。
[0005]专利文献
CN112947848A(
申请号：
202010080358.5)
公开了一种低成本且高效能的数据中心，采分层异构储存，其中包括至少三群伺服器，相应存取频度不同的三种数据，提供三种储存媒介
。
三群伺服器彼此以网络连结
。
相应中度存取频度的数据，对应的该群伺服器是以多个阶储存单元建构的一种固态硬盘为储存媒介，全盘以一伪单阶储存单元模式操作
。
该专利适用于低成本小型的数据中心，通过分层存储对不同存取频率的数据采用不同的存储介质，保证高频访问的数据可以快速响应
。
本专利技术则是对大型
、
覆盖区域广的数据中心需求，设置主从数据中心，按照整体结构分层的方式对数据进行存取和规划的
。
[0006]专利文献
CN109951370B(
申请号：
201711394815.2)
公开了一种多大数据中心分层互联互通方法及装置，其中，方法包括：通过数据分析层的通信协议进行会话管理
、
数据解析与封装
、
状态监控和元数据管理；通过计算引擎层的通信协议进行会话管理
、
数据解析与封装
、
集群监控和任务元数据管理；通过资源管理层的通信协议进行任务的跨集群调度；通过文件存储层的通信协议进行远程大数据集群的跨域读写，以实现远程读取其他大数据集群的文件存储中的数据
。
该专利是通过将数据中心分为不通的功能层，并制定一定的通讯规则保证不同层之间的通信，实现多数据中心的跨域通信和资源共享
。
而本专利技术主要是为了克服地理范围覆盖过大是物联传输协议无法将数据高效
、
快速的传递到数据中心的问题，依据地理范围，设置多个从数据中心，用于接收一定范围内的设备数据的，本专利技术和该专利的方法和目的均有差异
。
[0007]专利文献
CN116303766A(
申请号：
202310127621.5)
公开了数据同步方法
、
装置
、
存储介质和计算机设备，涉及数据同步

。
该专利通过数据同步等相关技术，从集群到跨域数据中心，根据不同的业务特点选择不同的复制方案，同步策略，多活数据中心的运行模式，是研究多数据中心之间远程数据同步的前提和基础，通过分析现有的多数据中心的建设模式，提出各种多数据中心建设模式，并构建银行金融服务信息系统的多数据中心运行模式，针对现有远程数据同步效率低，不能很好支持异构数据库的同步，通过在驱动程序中设置捕获器，捕获相应的
SQL
并发送给异地数据库执行，该机制优化现有数据同步流程，减少因网络延迟带来的性能影响，此外，还有效的支持异构数据库之间的同步
。
该专利是通过设置
sql
捕获器的方式，将
sql
语句发送到对应的异地数据库执行，然后将执行结果回传
。
通过该方法，减少了数据传输的开销
。
本专利技术中数据同步的方法是使用同步队列进行批量同步的，通过设置一定批量条件
(
如时间
、
数据量
、
数据条数
)
，当数据累计达到该条件时，触发同步操作，与检索专利的方法有本质区别
。

技术实现思路

[0008]针对现有技术中的缺陷，本专利技术的目的是提供一种基于分布式数字底座的物联网实时数据分层存储系统及方法
。
[0009]根据本专利技术提供的一种基于分布式数字底座的物联网实时数据分层存储系统，包括：主数据中心和多个从数据中心；
[0010]将物联设备数据上传至距离最近的从数据中心，通过数据同步策略实现主数据中心全量数据的存储和分数据中心数据的备份
。
[0011]优选地，所述主数据中心是以各个从数据中心为节点组成的多边形的中心点位置；所述主数据中心和各个从数据中心的距离基本相等；各个从数据中心和主数据中心的距离之和最小
。
[0012]优选地，所述主数据中心存储全量数据和分数据中心数据备份采用：采用同步队列的方式进行数据中心之间的数据同步；
[0013]所述主数据中心作为全量数据存储中心，实时同步从数据中心的数据；
[0014]所述从数据中心数据互备，按照最近邻未同步原则进行数据同步，对于一个从数据中心，查找距离最近
、
且并未作为其他从数据中心备份的邻居节点作为数据备份的对象
。
[0015]优选地，在数据中心节点设置缓存层；
[0016]所述缓存层为数据中心原有数据存储层之上的一层结构，硬件采用固态硬件，提高高效的读写性能；所述缓存层用来缓存静态资源数据和热数据；
[0017]所述静态资源数据包括设备基本信息和设备安装地址信息；
[0018]所述热数据为访问频率最高的数据，其替换策略为最近最久未访问策略；对于缓存区的热数据，标记每一组数据的最近访问时间，使用最近最久未访问策略进行新数据的替换
。
[0019]优选地，每个数据中心提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于分布式数字底座的物联网实时数据分层存储系统，其特征在于，包括：主数据中心和多个从数据中心；将物联设备数据上传至距离最近的从数据中心，通过数据同步策略实现主数据中心全量数据的存储和分数据中心数据的备份
。2.
根据权利要求1所述的基于分布式数字底座的物联网实时数据分层存储系统，其特征在于，所述主数据中心是以各个从数据中心为节点组成的多边形的中心点位置；所述主数据中心和各个从数据中心的距离基本相等；各个从数据中心和主数据中心的距离之和最小
。3.
根据权利要求1所述的基于分布式数字底座的物联网实时数据分层存储系统，其特征在于，所述主数据中心存储全量数据和分数据中心数据备份采用：采用同步队列的方式进行数据中心之间的数据同步；所述主数据中心作为全量数据存储中心，实时同步从数据中心的数据；所述从数据中心数据互备，按照最近邻未同步原则进行数据同步，对于一个从数据中心，查找距离最近
、
且并未作为其他从数据中心备份的邻居节点作为数据备份的对象
。4.
根据权利要求1所述的基于分布式数字底座的物联网实时数据分层存储系统，其特征在于，在数据中心节点设置缓存层；所述缓存层为数据中心原有数据存储层之上的一层结构，硬件采用固态硬件，提供高效的读写性能；所述缓存层用来缓存静态资源数据和热数据；所述静态资源数据包括设备基本信息和设备安装地址信息；所述热数据为访问频率最高的数据，其替换策略为最近最久未访问策略；对于缓存区的热数据，标记每一组数据的最近访问时间，使用最近最久未访问策略进行新数据的替换
。5.
根据权利要求1所述的基于分布式数字底座的物联网实时数据分层存储系统，其特征在于，每个数据中心提供对外的数据接收入口，物联设备直接向距离最近的从数据中心注册，上传数据
。6.
根据权利要求1所述的基于分布式数字底座的物联网实时数据分层存储系统，其特征在于，当用户发起数据访问请求时，判断出请求资源所在的数据中心，选择距离请求地点物理距离最近的一个数据中心提供服务；请求到达数据中心时，优先查找缓存层是否能命中，如果命中，直接返回数据，如果不命中，进行存储层数据搜索，并将数据返回给用户
。7.
根据权利要求1所述的基于分布式数字底座的物联网实时数据分层存储系统，其特征在于，当主数据中心发生故障时，首先通过全局数据检查的方式，查找丢失数据的情况；然后，定位丢失数据所在的从数据中心，在主数据中心具备数据恢复条件时，将...

【专利技术属性】
技术研发人员：张楠，姜鑫，董一舟，李振兴，
申请(专利权)人：中电科数智科技有限公司，
类型：发明
国别省市：