一种跨云平台的大数据管理的方法与系统技术方案

本申请公开了一种跨云平台的大数据管理的方法，应用于智慧城市的联合云网络架构，包括：联合云网络架构设置边缘层、汇聚层和核心层，在所述边缘层中设置N个边缘节点，在汇聚层中通过网络切片技术设置容量动态可调节的M个汇聚节点，其中M和N为大于1的自然数，且N大于M；所述N个边缘节点中设置X个备份边缘节点，将所述N‑X个边缘节点的数据备份至所述X个备份边缘节点中，其中，X为大于1小于N的自然数，所述N‑X个边缘节点的数据总容量与所述X个备份边缘节点的数据总容量相同；将所述X个备份边缘节点的数据备份至所述M个汇聚节点中，其中M个汇聚节点的数据总容量动态可调节；将所述M个汇聚节点中备份的数据备份至所述核心层。

【技术实现步骤摘要】
一种跨云平台的大数据管理的方法与系统
本申请涉及数据处理
，尤其涉及一种跨云平台的大数据管理的方法与系统。
技术介绍
城市信息模型(CityInformationModeling，CIM)是对城市地上地下、室内室外各种实体目标及时空状态的数字化表达和描述，其反映城市规划、建设、发展以及运行，并且可用于城市规划决策、城市建设、城市管理等工作。CIM是一个跨度很大的概念，涉及的行业包括规划、国土、交通、水利、安防、人防、环境保护、文物保护、能源燃气等各大行业及一切智慧城市相关的领域。目前国内外对CIM尚缺乏系统深入的研究，据《智慧城市背景下城市信息模型相关技术发展综述》论文中的观点，可尝试从构成CIM术语的三个单词初步分析其基本特征：首先是City，CIM要覆盖城市尺度，这里的“城市”可以实例化为某个城市或城区、某个园区、某个社区、某个院落等，但它对建模对象的描述能力应该是城市级的；其次是Information，CIM所容纳的信息应该是覆盖各种空间、时间维度的，是能支撑各种城市应用的，CIM中的信息可以描述城市各种物理或人文实体，具有多时态、多类型、多粒度级别、多来源等特点；最后是Modeling，即CIM要基于一定规则和方法，对上述信息按需进行组织、模拟、分析以及表达，更进一步地，可通过融合、挖掘、以及提炼新的知识，凝聚出智慧。从CIM的当前发展来看，CIM主要与BIM(BuildingInformationModeling，建筑信息模型)、GIS(GeographicInformationSystem，地理信息系统)、以及IOT(InternetofThings，物联网)等技术密切相关，同时还不可避免地需要应用到云计算、大数据等新一代信息技术。现有技术中，对于海量的CIM数据，会采用不同云进行数据存储，以形成联合云，联合云存储不同类型的CIM数据，为城市决策提供数据支撑，但是对于智慧城市中某一些机密的数据，例如涉及到城市的财务、军事、国防等重要数据，由于其重要性导致需要进行高密度的备份，而现有技术中往往欠缺有效的备份机制，单单靠云本身的镜像存储机制进行镜像备份，缺乏跨云的大数据备份机制，因此，其大数据备份效率低。
技术实现思路
本申请实施例提供一种跨云平台的大数据管理的方法及系统，用于解决现有技术中智慧城市场景下缺乏海量数据跨云备份机制的问题。本专利技术实施例一种跨云平台的大数据管理的方法，应用于智慧城市的联合云网络架构，包括：联合云网络架构设置边缘层、汇聚层和核心层，在所述边缘层中设置N个边缘节点，在汇聚层中通过网络切片技术设置容量动态可调节的M个汇聚节点，其中M和N为大于1的自然数，且N大于M；所述N个边缘节点中设置X个备份边缘节点，将所述N-X个边缘节点的数据备份至所述X个备份边缘节点中，其中，X为大于1小于N的自然数，所述N-X个边缘节点的数据总容量与所述X个备份边缘节点的数据总容量相同；将所述X个备份边缘节点的数据备份至所述M个汇聚节点中，其中M个汇聚节点的数据总容量动态可调节，且满足所述X个备份边缘节点的数据总容量与所述M个汇聚节点的数据总容量相同；将所述M个汇聚节点中备份的数据备份至所述核心层。可选地，所述方法还包括：将所述核心层保存的备份数据分裂为Y个备份数据，并将所述Y个备份数据分布存储在不同的边缘节点上，其中，Y为大于1的自然数，所述不同的边缘节点两两间的物理距离大于10公里。可选地，将所述N-X个边缘节点的数据备份至所述X个备份边缘节点中，包括：在N-X个边缘节点中创建数据镜像文件；将所述数据镜像文件以字典形式进行复制；并将所述复制后的数据镜像文件保存至所述X个备份边缘节点中。可选地，所述N为10，所述X为5，则将所述N-X个边缘节点的数据备份至所述X个备份边缘节点中，包括：将第一、第二边缘节点的数据备份至第一备份节点，所述第一备份节点的数据容量等于所述第一、第二边缘节点的数据容量；将第三、第四边缘节点的数据备份至第二、第三备份节点，其中，所述第二备份节点备份所述第三边缘节点的一部分数据，所述第三备份节点备份所述第二边缘节点的剩余部分数据，以及所述第四边缘节点的所有数据，且所述第三、第四边缘节点的数据总容量等于所述第二、第三备份节点的数据总容量；将所述第五边缘节点的数据备份至第四、第五备份节点，其中，所述第四备份节点保存所述第五边缘节点的一部分数据，所述第五备份节点保存所述第五边缘节点的剩余部分数据，且所述第五边缘节点的数据容量等于所述第四、第五备份节点的数据总容量。可选地，所述M为2，所述第一、第二和第三备份节点的数据类型相同，所述第四和第五备份节点的数据类型相同，且所述第一、第二和第三备份节点的数据类型与所述第四和第五备份节点的数据类型不同，则将所述X个备份边缘节点的数据备份至所述M个汇聚节点中，包括：将所述第一、第二和第三备份节点的数据备份至第一汇聚节点中；将所述第四和第五备份节点的数据备份至第二汇聚节点中。可选地，所述数据类型包括地理信息系统GIS、建筑信息模型BIM和物联网IoT。可选地，所述边缘节点的数据与所述备份节点的数据具备对等树结构。本专利技术实施例还提供一种跨云平台的大数据管理的系统，所述系统包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，所述处理器用于运行所述计算机程序时，执行上述跨云平台的大数据管理的方法。本专利技术实施例还提供一种计算机可读存储介质，其上存储有计算机可执行指令，其特征在于，该计算机可执行指令用于执行上述跨云平台的大数据管理的方法。上述提供的跨云平台的大数据管理的方法及系统，通过设置多级(至少三级)备份的机制，将海量数据进行边缘层、汇聚层和核心层的三重备份，以防在特殊情况下由于服务器宕机或物理破坏而导致重要数据丢失，提高了数据安全性，增加了数据备份的稳定性。附图说明为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。图1a和图1b为联合云树形网络拓扑图；图2为一个实施例中跨云平台的大数据管理的流程示意图；图3a为一个实施例中联合云网络层次示意图；图3b为一个实施例中数据备份示意图；图4为一个实施例中电子设备的组成架构图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。本文档来自技高网...

【技术保护点】
1.一种跨云平台的大数据管理的方法，应用于智慧城市的联合云网络架构，其特征在于，包括：/n联合云网络架构设置边缘层、汇聚层和核心层，在所述边缘层中设置N个边缘节点，在汇聚层中通过网络切片技术设置容量动态可调节的M个汇聚节点，其中M和N为大于1的自然数，且N大于M；/n所述N个边缘节点中设置X个备份边缘节点，将所述N-X个边缘节点的数据备份至所述X个备份边缘节点中，其中，X为大于1小于N的自然数，所述N-X个边缘节点的数据总容量与所述X个备份边缘节点的数据总容量相同；/n将所述X个备份边缘节点的数据备份至所述M个汇聚节点中，其中M个汇聚节点的数据总容量动态可调节，且满足所述X个备份边缘节点的数据总容量与所述M个汇聚节点的数据总容量相同；/n将所述M个汇聚节点中备份的数据备份至所述核心层。/n

【技术特征摘要】
1.一种跨云平台的大数据管理的方法，应用于智慧城市的联合云网络架构，其特征在于，包括：
联合云网络架构设置边缘层、汇聚层和核心层，在所述边缘层中设置N个边缘节点，在汇聚层中通过网络切片技术设置容量动态可调节的M个汇聚节点，其中M和N为大于1的自然数，且N大于M；
所述N个边缘节点中设置X个备份边缘节点，将所述N-X个边缘节点的数据备份至所述X个备份边缘节点中，其中，X为大于1小于N的自然数，所述N-X个边缘节点的数据总容量与所述X个备份边缘节点的数据总容量相同；
将所述X个备份边缘节点的数据备份至所述M个汇聚节点中，其中M个汇聚节点的数据总容量动态可调节，且满足所述X个备份边缘节点的数据总容量与所述M个汇聚节点的数据总容量相同；
将所述M个汇聚节点中备份的数据备份至所述核心层。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述核心层保存的备份数据分裂为Y个备份数据，并将所述Y个备份数据分布存储在不同的边缘节点上，其中，Y为大于1的自然数，所述不同的边缘节点两两间的物理距离大于10公里。


3.根据权利要求1所述的方法，其特征在于，将所述N-X个边缘节点的数据备份至所述X个备份边缘节点中，包括：
在N-X个边缘节点中创建数据镜像文件；
将所述数据镜像文件以字典形式进行复制；
并将所述复制后的数据镜像文件保存至所述X个备份边缘节点中。


4.根据权利要求1所述的方法，其特征在于，所述N为10，所述X为5，则将所述N-X个边缘节点的数据备份至所述X个备份边缘节点中，包括：
将第一、第二边缘节点的数据备份至第一备份节点，所述第一备份节点的数据容量等于所述第一、第二边缘节点的数据容量；
将第三、第四边缘节点的数据备份至第二、...

【专利技术属性】
技术研发人员：樊馨，
申请(专利权)人：深圳市赛宇景观设计工程有限公司，
类型：发明
国别省市：广东;44