本发明专利技术公开了时序数据库的自适应时序数据管理系统及方法，属于时序数据库技术领域，要解决的技术问题为如何改善时序数据库对时序数据的分析限制、优化数据备份和数据迁移流程。包括如下步骤：将分区参数解析分区对象、并构建系统表，以时间戳和系统表中分区对象为分区组合配置分区规则；创建分区对象，根据数据库集群节点使用情况为分区对象选择主备节点、并分配存储空间，将分区对象以及对应对象数据记录到系统表中；根据解析数据得到的分区对象、基于分区规则将数据存储至对应数据库节点；对于触发节点迁移的节点，基于选定的迁移类型计算需要迁移的分区对象以及迁移后的目标节点，将对分区对象及对应的对象数据迁移到目标节点，并更新系统表。并更新系统表。并更新系统表。
【技术实现步骤摘要】
时序数据库的自适应时序数据管理系统及方法
[0001]本专利技术涉及时序数据库
，具体地说是时序数据库的自适应时序数据管理系统及方法。
技术介绍
[0002]时序数据库全称为时间序列数据库。时间序列数据库指主要用于处理带时间标签(按照时间的顺序变化，即时间序列化)的数据，带时间标签的数据也称为时间序列数据。
[0003]时间序列数据主要由电力行业、化工行业、气象行业、地理信息等各类型实时监测、检查与分析设备所采集、产生的数据，这些工业数据的典型特点是：产生频率快(每一个监测点一秒钟内可产生多条数据)、严重依赖于采集时间(每一条数据均要求对应唯一的时间)、测点多信息量大。
[0004]在时序数据管理方面，传统的时序数据库均采用按照时间分区的形式，按照时间进行查询的效率较其他关系型数据库有极大提升，这也是时序数据库的特点之一；在数据备份和迁移部分，时序数据库跟其他数据库相差不多。
[0005]然而随着各行各业的发展，在某些场景下，仅仅通过时间进行分区已经达不到用户的需求了，需要对分区方式进行优化，而数据的备份迁移方面也需要有相应的提升。
[0006]如何改善时序数据库对时序数据的分析限制、优化数据备份和数据迁移流程，是需要解决的技术问题。
技术实现思路
[0007]本专利技术的技术任务是针对以上不足，提供时序数据库的自适应时序数据管理系统及方法，来解决如何改善时序数据库对时序数据的分析限制、优化数据备份和数据迁移流程的技术问题。
[0008]第一方面，本专利技术的一种时序数据库的自适应时序数据管理系统，用于对时序数据的数据分区、数据备份和数据迁移进行管理，所述系统包括：
[0009]用户配置解析模块，所述用户配置解析模块通过用户配置界面与用户交互，用于支持用户设置分区参数，将分区参数解析分区对象、并构建系统表，用于以时间戳和系统表中分区对象为分区组合配置分区规则，并用于支持用户选择数据迁移类型；
[0010]存储和计算模块，所述存储和计算模块通过存储和计算界面与用户交互，用于支持用户创建分区对象，对于每个分区对象，用于根据数据库集群节点使用情况为所述分区对象选择主节点和备节点、并分配存储空间，用于将所述分区对象以及对应对象数据记录到系统表中；
[0011]数据上传模块，所述数据上传模块通过数据上传界面与用户交互，用于支持用户传入数据，所述数据指定有分区对象，用于根据解析数据得到的分区对象、基于分区规则将数据存储至对应数据库节点；
[0012]数据迁移模块，所述数据迁移模块通过数据迁移界面与用户交互，用于检测各个
节点的状态，对于数据存储量超过阈值的节点，触发节点迁移，对于触发节点迁移的节点，用于基于选定的迁移类型计算需要迁移的分区对象以及迁移后的目标节点，将对分区对象及对应的对象数据迁移到目标节点，并用于更新系统表。
[0013]作为优选，所述用户配置解析模块用于对用户设置的分区参数进行检查，包括检查参数格式是否正确，检测合格后，用于将分区参数解析分区对象、并构建系统表。
[0014]作为优选，所述迁移类型包括：
[0015]迁移主节点数据，对于每个数据库节点，所述迁移主节点数据为将以所述数据库节点为主节点的分区对象以及对应的对象数据为需要迁移的数据；
[0016]迁移备节点数据，对于每个数据库节点，所述迁移备节点数据为将以所述数据库节点为备节点的分区对象以及对应的对象数据为需要迁移的数据；
[0017]动态迁移，对于每个数据库，所述迁移备节点数据为：基于以所述数据库节点为主节点的分区对象及对应对象数据、以及以所述数据库节点为备节点的分区对象及对应的对象数据，数据量少的分区对象以及对应的对象数据为需要迁移的数据。
[0018]作为优选，所述数据上传模块用于支持用户配置数据格式，所述数据格式用于限定用户上传的数据需要包括数据本身以及分区对象；
[0019]所述数据上传模块中基于数据格式对用户上传的数据进行格式验证，对于符合数据格式的数据，用于解析数据得到对应分区对象，根据分区对象、基于分区规则将所述数据本身存储至对应数据库节点。
[0020]作为优选，所述数据迁移模块用于调用定时任务，通过定时任务定时检查每个节点的节点状态，如果节点的数据存储量超过配置的阈值，触发所述节点的节点迁移。
[0021]第二方面，本专利技术的一种时序数据库的自适应时序数据管理方法，通过如第一方面任一项所述的时序数据库的自适应时序数据管理系统对时序数据进行数据上传、数据备份以及数据迁移，所述方法包括如下步骤：
[0022]设置分区参数，将分区参数解析分区对象、并构建系统表，以时间戳和系统表中分区对象为分区组合配置分区规则；并选择数据迁移类型；
[0023]创建分区对象，对于每个分区对象，根据数据库集群节点使用情况为所述分区对象选择主节点和备节点、并分配存储空间，将所述分区对象以及对应对象数据记录到系统表中；
[0024]传入数据，所述数据指定有分区对象，根据解析数据得到的分区对象、基于分区规则将数据存储至对应数据库节点；
[0025]检测各个节点的状态，对于数据存储量超过阈值的节点，触发节点迁移，对于触发节点迁移的节点，基于选定的迁移类型计算需要迁移的分区对象以及迁移后的目标节点，将对分区对象及对应的对象数据迁移到目标节点，并更新系统表。
[0026]作为优选，对设置的分区参数进行检查，包括检查参数格式是否正确，检测合格后，将分区参数解析分区对象、并构建系统表。
[0027]作为优选，所述迁移类型包括：
[0028]迁移主节点数据，对于每个数据库节点，所述迁移主节点数据为将以所述数据库节点为主节点的分区对象以及对应的对象数据为需要迁移的数据；
[0029]迁移备节点数据，对于每个数据库节点，所述迁移备节点数据为将以所述数据库
节点为备节点的分区对象以及对应的对象数据为需要迁移的数据；
[0030]动态迁移，对于每个数据库，所述迁移备节点数据为：基于以所述数据库节点为主节点的分区对象及对应对象数据、以及以所述数据库节点为备节点的分区对象及对应的对象数据，数据量少的分区对象以及对应的对象数据为需要迁移的数据。
[0031]作为优选，传入数据之前，配置数据格式，所述数据格式用于限定用户上传的数据需要包括数据本身以及分区对象；
[0032]传入数据后，基于数据格式对上传的数据进行格式验证，对于符合数据格式的数据，解析数据得到对应分区对象，根据分区对象、基于分区规则将所述数据本身存储至对应数据库节点。
[0033]作为优选，通过如下步骤检测各个节点的状态：调用定时任务，通过定时任务定时检查每个节点的节点状态，如果节点的数据存储量超过配置的阈值，触发所述节点的节点迁移。
[0034]本专利技术的时序数据库的自适应时序数据管理系统及方法具有以下优点：
[0035]1、可以根据用户设定的分区参数的进行分区，提升用户的效率，方便本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种时序数据库的自适应时序数据管理系统，其特征在于用于对时序数据的数据分区、数据备份和数据迁移进行管理，所述系统包括：用户配置解析模块，所述用户配置解析模块通过用户配置界面与用户交互，用于支持用户设置分区参数，将分区参数解析分区对象、并构建系统表，用于以时间戳和系统表中分区对象为分区组合配置分区规则，并用于支持用户选择数据迁移类型；存储和计算模块，所述存储和计算模块通过存储和计算界面与用户交互，用于支持用户创建分区对象，对于每个分区对象，用于根据数据库集群节点使用情况为所述分区对象选择主节点和备节点、并分配存储空间，用于将所述分区对象以及对应对象数据记录到系统表中；数据上传模块，所述数据上传模块通过数据上传界面与用户交互，用于支持用户传入数据，所述数据指定有分区对象，用于根据解析数据得到的分区对象、基于分区规则将数据存储至对应数据库节点；数据迁移模块，所述数据迁移模块通过数据迁移界面与用户交互，用于检测各个节点的状态，对于数据存储量超过阈值的节点，触发节点迁移，对于触发节点迁移的节点，用于基于选定的迁移类型计算需要迁移的分区对象以及迁移后的目标节点，将对分区对象及对应的对象数据迁移到目标节点，并用于更新系统表。2.根据权利要求1所述的时序数据库的自适应时序数据管理系统，其特征在于所述用户配置解析模块用于对用户设置的分区参数进行检查，包括检查参数格式是否正确，检测合格后，用于将分区参数解析分区对象、并构建系统表。3.根据权利要求1所述的时序数据库的自适应时序数据管理系统，其特征在于所述迁移类型包括：迁移主节点数据，对于每个数据库节点，所述迁移主节点数据为将以所述数据库节点为主节点的分区对象以及对应的对象数据为需要迁移的数据；迁移备节点数据，对于每个数据库节点，所述迁移备节点数据为将以所述数据库节点为备节点的分区对象以及对应的对象数据为需要迁移的数据；动态迁移，对于每个数据库，所述迁移备节点数据为：基于以所述数据库节点为主节点的分区对象及对应对象数据、以及以所述数据库节点为备节点的分区对象及对应的对象数据，数据量少的分区对象以及对应的对象数据为需要迁移的数据。4.根据权利要求1所述的时序数据库的自适应时序数据管理系统，其特征在于所述数据上传模块用于支持用户配置数据格式，所述数据格式用于限定用户上传的数据需要包括数据本身以及分区对象；所述数据上传模块用于基于数据格式对用户上传的数据进行格式验证，对于符合数据格式的数据，用于解析数据得到对应分区对象，根据分区对象、基于分区规则将所述数据本身存储至对应数据库节点。5.根据权利要求1所述的时序数据库的自适应时序数据管理系统，其特征在于所述数据迁...
【专利技术属性】
技术研发人员：齐亮，
申请(专利权)人：浪潮软件集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。