一种基于数据切片技术的数据冗余存储方法技术

本发明专利技术涉及数据切片技术领域，公开了一种基于数据切片技术的数据冗余存储方法，包括以下步骤：步骤S1.获取数据库中列表、元组和字符串中的数据，并将所述数据进行备份；步骤S2.根据所述数据预设数据切片方案；步骤S3.根据所述数据切片方案选择切片方式；步骤S4.根据所述切片方式进行切片，切片后连接数据库并通过服务器发布存储服务。本发明专利技术采用数据存储切片技术实现分布式数据数据存储功能，用于提供灵活的数据版本管理功能，同时提供多版本数据存储模式下主版本的轮转分布功能和副本随机分布的策略功能，能够将数据均匀分布到整个数据库集群节点中。库集群节点中。库集群节点中。

【技术实现步骤摘要】
一种基于数据切片技术的数据冗余存储方法


[0001]本专利技术涉及数据切片
，具体地说，是一种基于数据切片技术的数据冗余存储方法，采用数据存储切片技术实现分布式数据数据存储功能，用于提供灵活的数据版本管理功能，同时提供多版本数据存储模式下主版本的轮转分布功能和副本随机分布的策略功能，能够将数据均匀分布到整个数据库集群节点中，从而保证存储的高可用，能够用最少的数据迁移量，达到扩充数据库容量和增加机器节点的目的。

技术介绍

[0002]随着互联网应用的广泛普及，海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的互联网应用，每天几十亿的PV无疑对数据库造成了相当高的负载。对于系统的稳定性和扩展性造成了极大的问题。通过数据切分来提高网站性能，横向扩展数据层已经成为架构研发人员首选的方式。水平切分数据库，可以降低单台机器的负载，同时最大限度的降低了了宕机造成的损失。通过负载均衡策略，有效的降低了单台机器的访问负载，降低了宕机的可能性；通过集群方案，解决了数据库宕机带来的单点数据库不能访问的问题；通过读写分离策略更是最大限度了提高了应用中读本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据切片技术的数据冗余存储方法，其特征在于，所述方法包括以下步骤： 步骤S1.获取数据库中列表、元组和字符串中的数据，并将所述数据进行备份； 步骤S2.根据所述数据预设数据切片方案；步骤S3.根据所述数据切片方案选择切片方式； 步骤S4.根据所述切片方式进行切片，切片后连接数据库并通过服务器发布存储服务。2.根据权利要求1所述的一种基于数据切片技术的数据冗余存储方法，其特征在于，所述步骤S2中的数据切片方案包括： 步骤S2.1.确定数据切片方案的坐标系； 步骤S2.2.在数据库中创建三个数据库节点，分别为数据库节点1、数据库节点2和数据库节点3，并将数据库拆分成数据库D1、数据库D2和数据库D3； 步骤S2.3.将拆分的数据库依次安装在数据库节点上，并在拆分的数据库中配置符合格式规则的XML文件；步骤S2.4.对所述拆分的数据库重启，并对所述拆分的数据库中的数据进行测试，获取测试数据ID的长度；步骤S2.5.根据所述测试数据ID的长度将所述拆分的数据库中的数据根据分配规则分配至预先创建的数据库节点中，直至数据库D1、数据库D2和数据库D3中的数据都分配至预先创建的数据库节点中。3.根据权利要求2所述的一种基于数据切片技术的数据冗余存储方法，其特征在于，所述步骤S2.3中配置符合格式规则的XML文件包括： 在XML文件中指定坐标系，判断指定坐标系和步骤S2.1中的坐标系是否相同，如果是，进入步骤S2.4，如果否，重复配置XML文件，直至XML文件中的指定坐标系和步骤S2.1中的坐标系相同。4.根据权利要求2所述的一种基于数据切片技术的数据冗余存储方法，其特征在于，所述步骤S2.3还包括： 同时配置所有节点数据库的远程访问授权。5.根据权利要求1
‑
4任一项所述的一种基于数据切片技术的数据冗余存储方法，其特征在于，所述步骤S2.4包括： 对所述数据库D1重启并对数据库D1中的数据进行测试，获取测试ID的长度L1； 根据所述测试ID的长度L1将数据库D1中的数据分配至预先创建的数据库节点中； 将数据库D1安装到节点1上，并在数据库D1中配置...

【专利技术属性】
技术研发人员：宋洪彬，郝振斌，
申请(专利权)人：广州辰创科技发展有限公司，
类型：发明
国别省市：