IOT场景的数据库分区方法及系统技术方案

本发明专利技术公开了IOT场景的数据库分区方法及系统，属于数据库技术领域，本发明专利技术要解决的技术问题为如何实现IOT平台的数据库分区，减少数据读写的总量以缩减响应时间，技术方案为：该方法具体如下：用户在云端集群注册租户，在租户下注册多个门户；云端集群在启动时，根据默认配置或用户配置将云端集群内的节点进行分组，同时云端集群为本地边缘端提供基于门户信息的hash计算规则和集群信息；本地边缘端在启动时，云端集群下发集群信息和已经定义好的hash计算规则；本地边缘端根据集群信息和已经定义好的hash计算规则计算出本地边缘端最适合在云端集群存储数据的主节点和备用节点；本地边缘端采集到的数据通过数据同步服务同步到云端集群并完成存储和备份。到云端集群并完成存储和备份。到云端集群并完成存储和备份。

【技术实现步骤摘要】
IOT场景的数据库分区方法及系统


[0001]本专利技术涉及数据库
，具体地说是一种IOT场景的数据库分区方法及系统。

技术介绍

[0002]IoT平台是利用大数据、物联网、云计算、移动应用、人工智能等技术，围绕新能源微网控制、节能低碳、储能用能、多能互补、智能运维、实时监控、充电网能量管理、碳资产管理等场景应用搭建的数字化能源管理平台，目的是提升用户的综合能源管理能力，助力企业降本增效。
[0003]一般的IoT平台核心数据库部分一般分布在两处：云端集群和本地。用户可以在云端注册租户和门户，每个租户下可以注册多个门户，共用一套云端集群。每个租户对应到数据库中就是一个数据库，而每个门户则对应一张数据表。但是这种方式无法对IOT平台的数据库进行分区，大大增加了数据库读写的总量，无法进行精准定位。而常规的数据库分区方法仅适用于普通数据库，无法满足IOT平台的数据库分区。
[0004]故如何实现IOT平台的数据库分区，减少数据读写的总量以缩减响应时间是目前亟待亟待解决的技术问题。

技术实现思路

[0005]本专利技术的技术任务是提供一种IOT场景的数据库分区方法及系统，来解决如何实现IOT平台的数据库分区，减少数据读写的总量以缩减响应时间的问题。
[0006]本专利技术的技术任务是按以下方式实现的，一种IOT场景的数据库分区方法，该方法具体如下：
[0007]用户在云端集群(C端)注册租户，在租户下注册多个门户；
[0008]云端集群在启动时，根据默认配置或用户配置将云端集群内的节点进行分组，同时云端集群为本地边缘端(本地数据库服务端，E端)提供基于门户信息的hash计算规则和集群信息；
[0009]本地边缘端在启动时，云端集群下发集群信息和已经定义好的hash计算规则；
[0010]本地边缘端根据集群信息和已经定义好的hash计算规则计算出本地边缘端最适合在云端集群存储数据的主节点和备用节点；
[0011]本地边缘端采集到的数据通过数据同步服务同步到云端集群并完成存储和备份；
[0012]本地边缘端数据上传到云端集群后，在主节点存储原始数据，云端集群在备用节点存储复制数据。
[0013]作为优选，云端集群内的节点分组的依据包括地区、网络延迟的高低、节点存储空间及资源。
[0014]作为优选，对于一个门户来说，上传行为从本地边缘端上传到云端集群的任一主节点，主节点不可用时，云端集群存储数据会自动转到备用节点，并由云端集群触发主备同步，完成数据的复制备份。
[0015]更优地，主节点和备用节点的关系为一主一备或一主多备。
[0016]一种IOT场景的数据库分区系统，该系统包括云端集群(C端)和本地边缘端(本地数据库服务端，E端)，云端集群下发集群信息和已经定义好的hash计算规则到本地边缘端，本地边缘端数据上传到云端集群；
[0017]云端集群用于用户注册租户，在租户下注册多个门户，并根据默认配置或者用户配置将集群内节点进行分组，同时为本地边缘端提供基于门户信息的hash计算规则和集群信息；
[0018]本地边缘端用于根据集群信息和已经定义好的hash计算规则计算出本地边缘端最适合在云端集群存储数据的主节点和备用节点，并将采集到的数据通过数据同步服务同步到云端集群并完成存储和备份，在主节点存储原始数据，云端集群在备用节点存储复制数据。
[0019]作为优选，云端集群内的节点分组的依据包括地区、网络延迟的高低、节点存储空间及资源。
[0020]作为优选，对于一个门户来说，上传行为从本地边缘端上传到云端集群的任一主节点，主节点不可用时，云端集群存储数据会自动转到备用节点，并由云端集群触发主备同步，完成数据的复制备份。
[0021]更优地，该系统的工作过程具体如下：
[0022]S1、在云端集群注册一个租户，云端集群自动或管理员分配一个数据库集群；
[0023]S2、用户在云端集群注册门户，门户下属于任一租户；
[0024]S3、在本地边缘端启动一个用于连接到云端集群的服务，该服务用于验证门户信息及配置用户设置；
[0025]S4、云端集群验证身份，下发云端集群的集群信息和基于本地门户的hash计算规则；
[0026]S5、本地边缘端接收云端集群的集群信息和hash计算规则，计算出云端集群适合持久化数据的结点的优先级；
[0027]S6、选取优先级最高的一个云端集群节点作为本地边缘端数据在云端集群存储的主节点，备用节点使用用户配置或默认配置分组时的与主节点在一个分组的备节点；
[0028]S7、本地边缘端采集到的数据通过数据同步服务同步到云端集群并完成存储和备份；
[0029]S8、本地边缘端数据上传到云端集群后，在主节点存储原始数据，云端集群在备用节点存储复制数据。
[0030]其中，云端集群(C端Cloud)：部署着一个数据库集群和一些服务，用于数据的持久化存储和进行一些云计算、预测分析等。
[0031]本地边缘端(E端Edge)：部署着一个单节点数据库和一些依赖服务，用于采集数据、本地存储。
[0032]租户：用户可以在云端集群注册租户，由IoT自动分配多个node节点组成一个集群用于云端数据库服务和其他相关服务的进行。
[0033]门户：门户运行着本地单节点数据库和相关服务，每个租户下可以注册多个门户，共用一套云端集群。
[0034]一种电子设备，包括：存储器和至少一个处理器；
[0035]其中，所述存储器上存储有计算机程序；
[0036]所述至少一个处理器执行所述存储器存储的计算机程序，使得所述至少一个处理器执行如上述的IOT场景的数据库分区方法。
[0037]一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序可被处理器执行以实现如上述的IOT场景的数据库分区方法。
[0038]本专利技术的IOT场景的数据库分区方法及系统具有以下优点：
[0039](一)本专利技术可以用来实现对应场景下的数据分区问题，解决常规的分区算法不太适用于IoT平台数据库的问题，实现精准定位数据，减少查询、执行时间；
[0040](二)本专利技术的基于IoT平台的数据分区是指将本地(边缘端)的数据上传到云端并存储在云端的某个节点或某几个节点，目的是为了减少数据读写的总量以缩减响应时间；
[0041](三)本法民的IoT数据分区通过特定的算法或者用户配置将本地数据上传到云端结点，降低数据库的频繁IO压力值，优点如下：
[0042]①
相对于本地单个文件系统或是硬盘，上传到云端可以存储更多的数据；
[0043]②
数据管理比较方便，比如要清理或废弃某门户下的数据，就可以直接找到该门户的分区数据即可；
[0044]③
精准定位分区查询数据，不需要全盘扫描查询，大大提高数据检索效率；
[0045]④...

【技术保护点】

【技术特征摘要】
1.一种IOT场景的数据库分区方法，其特征在于，该方法具体如下：用户在云端集群注册租户，在租户下注册多个门户；云端集群在启动时，根据默认配置或用户配置将云端集群内的节点进行分组，同时云端集群为本地边缘端提供基于门户信息的hash计算规则和集群信息；本地边缘端在启动时，云端集群下发集群信息和已经定义好的hash计算规则；本地边缘端根据集群信息和已经定义好的hash计算规则计算出本地边缘端最适合在云端集群存储数据的主节点和备用节点；本地边缘端采集到的数据通过数据同步服务同步到云端集群并完成存储和备份；本地边缘端数据上传到云端集群后，在主节点存储原始数据，云端集群在备用节点存储复制数据。2.根据权利要求1所述的IOT场景的数据库分区方法，其特征在于，云端集群内的节点分组的依据包括地区、网络延迟的高低、节点存储空间及资源。3.根据权利要求1所述的IOT场景的数据库分区方法，其特征在于，对于一个门户来说，上传行为从本地边缘端上传到云端集群的任一主节点，主节点不可用时，云端集群存储数据会自动转到备用节点，并由云端集群触发主备同步，完成数据的复制备份。4.根据权利要求1
‑
3中任一所述的IOT场景的数据库分区方法，其特征在于，主节点和备用节点的关系为一主一备或一主多备。5.一种IOT场景的数据库分区系统，其特征在于，该系统包括云端集群和本地边缘端，云端集群下发集群信息和已经定义好的hash计算规则到本地边缘端，本地边缘端数据上传到云端集群；云端集群用于用户注册租户，在租户下注册多个门户，并根据默认配置或者用户配置将集群内节点进行分组，同时为本地边缘端提供基于门户信息的hash计算规则和集群信息；本地边缘端用于根据集群信息和已经定义好的hash计算规则计算出本地边缘端最适合在云端集群存储数据的主节点和备用节点，并将采集到的数据通过数据同步服务同步到云端集群并完成存储和备份，在主节点存储原始数据，云端集群在备用...

【专利技术属性】
技术研发人员：郝凯炜，
申请(专利权)人：浪潮软件集团有限公司，
类型：发明
国别省市：