一种Jmatrix分布式云储存系统技术方案

本发明专利技术公开了一种Jmatrix分布式云储存系统，包括数据库主键生成器，用于在应用服务器生成数据库主键，数据库主键生成器使用一个高/低位算法来高效的生成long,short或者int类型的标识符，给定一个表和字段且高/低位算法生成的标识符只在一个特定的数据库中是唯一的；散列引擎，对数据库主键生成器生成的主键进行散列分布，将主键对应的数据不断地转运数据且碎片化；通过采用Jmatrix分布式的算法，可以做到对业务数据的快速存储，增加工作的效率，且在云存储系统中加入了漏检模块，即对数据存储时，会对母数据与子数据之间进行验算，避免数据的漏存储情况，从而保证企业数据业务的的收益，且本存储系统易于实行。

【技术实现步骤摘要】
一种Jmatrix分布式云储存系统
本专利技术属于存储系统
，具体涉及一种Jmatrix分布式云储存系统。
技术介绍
业务数据分析是分人业务管控的重要手段和内容之一。业务数据保险公司应建立合约分人业务数据分析处理方法，业务数据准确评估合约的风险、价格，掌握合约发展趋势。业务数据数据内容主要包括保额分段数据、损失分段数据、最大自留额数据、最大损失数据、责任累积数据、巨灾累积和损失数据、合约T型发展(倒三角流量发展)数据等，且业务数据分析后需要进行存储；目前的云存储系统反应比较慢，影响工作效率，且算法比较简单，容易造成漏复制的情况，会对企业业务造成损失的问题，为此我们提出一种Jmatrix分布式云储存系统。
技术实现思路
本专利技术的目的在于提供一种Jmatrix分布式云储存系统，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：一种Jmatrix分布式云储存系统，包括数据库主键生成器，用于在应用服务器生成数据库主键，数据库主键生成器使用一个高/低位算法来高效的生成long,short或者int类型的标识符，给定一个表和字段且高/低位算法生成的标识符只在一个特定的数据库中是唯一的；散列引擎，对数据库主键生成器生成的主键进行散列分布，将主键对应的数据不断地转运数据且碎片化，并且平衡分布到后端的业务数据库分区表中，将数据进行矩阵编码，生成子存储矩阵；分表数据操作引擎，按照业务类型将数据库拆分为多个业务数据库组，每组业务数据库中包含多个实际数据库实例，保证单库的数据量不超过TB级，同时对某个业务数据库实例的具体业务表也使用散列引擎进行拆分，保证单表的记录数不超过百万级；数据平衡器，将离线存储与在线存储融合的历史数据，通过高速、高容量的非在线存储设备作为磁盘设备的下一级设备，迁移到新的业务数据库中。优选的，所述数据平衡器包括复制模块、迁移模块、漏检模块与存储模块，复制模块用于将历史数据进行复制备份。优选的，所述表和字段默认分别是hibernate_unique_key和next作为高位值得来源。优选的，所述矩阵的乘积采用有限域下的二进制加法移位运算。优选的，所述数据平衡器内部包含数据服务模块与自代理模块，数据服务模块用于接收来自代理模块的携带读取起始地址的读请求，查找一级映射表中所述读取起始地址对应的映射记录，得到相应的存储节点以及块标识，把读请求路由到相应的存储节点。优选的，所述分表数据操作引擎包含首字母检索模块，用于对业务类型的名称首字母分析，按照首字母的顺序进行排列。优选的，所述散列引擎包含解码模块，对ARP响应包进行解码，用以通过将经解码的地址解析协议响应包内的一个或多个网络参数提供给散列函数来确定对应的散列表索引。优选的，所述迁移模块主要行使数据迁移工作，数据迁移的实现分为数据迁移前的准备、数据迁移的实施和数据迁移后的校验三个部分。优选的，所述迁移模块用于对历史数据进行搬迁至新的存储模块中。优选的，所述漏检模块对历史数据与存储模块中的迁移数据进行对比。与现有技术相比，本专利技术的有益效果是：本专利技术中，通过采用Jmatrix分布式的算法，可以做到对业务数据的快速存储，增加工作的效率，且在云存储系统中加入了漏检模块，即对数据存储时，会对母数据与子数据之间进行验算，避免数据的漏存储情况，从而保证企业数据业务的的收益，且本存储系统易于实行。附图说明图1为本专利技术的系统框架示意图；具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参阅图1，本专利技术提供一种技术方案：一种Jmatrix分布式云储存系统，包括数据库主键生成器，用于在应用服务器生成数据库主键，数据库主键生成器使用一个高/低位算法来高效的生成long,short或者int类型的标识符，给定一个表和字段且高/低位算法生成的标识符只在一个特定的数据库中是唯一的；散列引擎，对数据库主键生成器生成的主键进行散列分布，将主键对应的数据不断地转运数据且碎片化，并且平衡分布到后端的业务数据库分区表中，将数据进行矩阵编码，生成子存储矩阵；分表数据操作引擎，按照业务类型将数据库拆分为多个业务数据库组，每组业务数据库中包含多个实际数据库实例，保证单库的数据量不超过TB级，同时对某个业务数据库实例的具体业务表也使用散列引擎进行拆分，保证单表的记录数不超过百万级；数据平衡器，将离线存储与在线存储融合的历史数据，通过高速、高容量的非在线存储设备作为磁盘设备的下一级设备，迁移到新的业务数据库中。进一步地，数据平衡器包括复制模块、迁移模块、漏检模块与存储模块，复制模块用于将历史数据进行复制备份。进一步地，表和字段默认分别是hibernate_unique_key和next作为高位值得来源。进一步地，矩阵的乘积采用有限域下的二进制加法移位运算。进一步地，数据平衡器内部包含数据服务模块与自代理模块，数据服务模块用于接收来自代理模块的携带读取起始地址的读请求，查找一级映射表中读取起始地址对应的映射记录，得到相应的存储节点以及块标识，把读请求路由到相应的存储节点。进一步地，分表数据操作引擎包含首字母检索模块，用于对业务类型的名称首字母分析，按照首字母的顺序进行排列。进一步地，散列引擎包含解码模块，对ARP响应包进行解码，用以通过将经解码的地址解析协议响应包内的一个或多个网络参数提供给散列函数来确定对应的散列表索引。进一步地，迁移模块主要行使数据迁移工作，数据迁移的实现分为数据迁移前的准备、数据迁移的实施和数据迁移后的校验三个部分。进一步地，迁移模块用于对历史数据进行搬迁至新的存储模块中。进一步地，漏检模块对历史数据与存储模块中的迁移数据进行对比。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。以上所述，仅用以说明本专利技术的技术方案而非限制，本领域普通技术人员对本专利技术的技术方案所做的其它修改或者等同替换，只要不脱离本专利技术技术方案的精神和范围，均应涵盖在本专利技术的权利要求范围当中。本文档来自技高网...

【技术保护点】
1.一种Jmatrix分布式云储存系统，其特征在于，包括数据库主键生成器，用于在应用服务器生成数据库主键，数据库主键生成器使用一个高/低位算法来高效的生成long,short或者int类型的标识符，给定一个表和字段且高/低位算法生成的标识符只在一个特定的数据库中是唯一的；/n散列引擎，对数据库主键生成器生成的主键进行散列分布，将主键对应的数据不断地转运数据且碎片化，并且平衡分布到后端的业务数据库分区表中，将数据进行矩阵编码，生成子存储矩阵；/n分表数据操作引擎，按照业务类型将数据库拆分为多个业务数据库组，每组业务数据库中包含多个实际数据库实例，保证单库的数据量不超过TB级，同时对某个业务数据库实例的具体业务表也使用散列引擎进行拆分，保证单表的记录数不超过百万级；/n数据平衡器，将离线存储与在线存储融合的历史数据，通过高速、高容量的非在线存储设备作为磁盘设备的下一级设备，迁移到新的业务数据库中。/n

【技术特征摘要】
1.一种Jmatrix分布式云储存系统，其特征在于，包括数据库主键生成器，用于在应用服务器生成数据库主键，数据库主键生成器使用一个高/低位算法来高效的生成long,short或者int类型的标识符，给定一个表和字段且高/低位算法生成的标识符只在一个特定的数据库中是唯一的；
散列引擎，对数据库主键生成器生成的主键进行散列分布，将主键对应的数据不断地转运数据且碎片化，并且平衡分布到后端的业务数据库分区表中，将数据进行矩阵编码，生成子存储矩阵；
分表数据操作引擎，按照业务类型将数据库拆分为多个业务数据库组，每组业务数据库中包含多个实际数据库实例，保证单库的数据量不超过TB级，同时对某个业务数据库实例的具体业务表也使用散列引擎进行拆分，保证单表的记录数不超过百万级；
数据平衡器，将离线存储与在线存储融合的历史数据，通过高速、高容量的非在线存储设备作为磁盘设备的下一级设备，迁移到新的业务数据库中。


2.根据权利要求1所述的一种Jmatrix分布式云储存系统，其特征在于：所述数据平衡器包括复制模块、迁移模块、漏检模块与存储模块，复制模块用于将历史数据进行复制备份。


3.根据权利要求1所述的一种Jmatrix分布式云储存系统，其特征在于：所述表和字段默认分别是hibernate_unique_key和next作为高位值得来源。


4.根据权利要求1所述的一种Jmatrix分布式云储存系统，其特征在于：所述矩阵...

【专利技术属性】
技术研发人员：李再放，
申请(专利权)人：成都网信天成科技有限公司，
类型：发明
国别省市：四川;51