一种对数据进行容错处理的方法及数据处理系统技术方案

本发明专利技术公开了一种对数据进行容错处理的方法及数据处理系统，方法包括获取数据；获取数据处理系统的处理资源，其中，所述处理资源为数据处理系统对数据进行处理时可用的资源；根据所述处理资源选择对所述数据进行容错处理的容错处理算法，并根据所述所选择的容错处理算法对所述数据进行容错处理。通过上述方式，本发明专利技术不仅能够提高对数据的容错处理速度，又能够平衡数据处理系统中的处理资源的使用率。

Method for data fault tolerant processing and data processing system

The invention discloses a method for fault tolerant processing of data and data processing system, method includes obtaining data; data processing resources, processing system in which the processing resources available processing resources on the data processing system; according to the processing resource selection fault tolerance algorithm for fault-tolerant processing the data, and according to the selected fault tolerance algorithm for fault-tolerant processing of the data. By the above method, the invention can not only improve the fault-tolerant processing speed of data, but also balance the utilization ratio of the processing resource in the data processing system.

【技术实现步骤摘要】
一种对数据进行容错处理的方法及数据处理系统
本专利技术涉及数据处理
，特别是涉及一种对数据进行容错处理的方法及数据处理系统。
技术介绍
随着计算机技术和网络技术的发展，数据正以爆炸式的速度增长，海量数据对存储系统提出了巨大的挑战。为了避免因硬件故障、软件故障或者人为操作失误，造成存储系统上的数据损坏或者丢失，而造成数据无法恢复，通常对存储系统上的数据进行容错处理，以提高数据抗风险的能力。现有技术中，对数据进行容错处理的方法包括如下几种方式：1.副本算法，即对原始数据的完全拷贝。通过为系统中的数据增加各种不同形式的副本，保存冗余的数据，可以有效地提高数据的可用性，避免由于网络断开或机器故障等因素而引起的数据丢失。一般情况下，副本数量越多，数据的可靠性就越高，但是相同的，会消耗大量的系统存储资源，并增加数据管理的复杂度。2.纠删码算法，作为一种前向错误纠正技术，主要应用在网络传输中避免包的丢失，存储系统利用它来提高存储可靠性。将要存储在系统中的数据分割成k块，然后对其编码得到的n个数据分片并进行分布存储，则只需存在k’个可用的数据分片，就可以重构出原始数据，纠删码算法的空间复杂度和数据冗余度较低，但是需要大量计算。综上所述，可知，纠删码算法和副本算法各有各的优点和缺点，根据纠删码算法进行容错处理后的数据的可靠性更高，但计算复杂，根据副本算法对数据进行容错处理，计算简单，但需要较多存储空间。现有技术的数据处理系统中通常固定使用一种数据容错处理算法，而固定地使用一种数据容错处理算法往往造成无法充份地、平衡地使用系统资源，系统资源使用率较低。
技术实现思路
本专利技术主要解决的技术问题是提供一种对数据进行容错处理的方法及装置，能够根据数据处理系统的资源使用情况，选择容错处理算法，平衡地使用系统资源，提高数据处理系统资源使用率。为解决上述技术问题，本专利技术采用的一个技术方案是：提供一种对数据进行容错处理的方法，包括获取数据；获取对所述数据进行容错处理所需要的处理资源；根据所述处理资源选择对所述数据进行容错处理的容错处理算法，并根据所述所选择的容错处理算法对所述数据进行容错处理；所述处理资源包括：空闲存储空间比临界值、当前空闲存储空间比、可用网络带宽比临界值和当前可用网络带宽比，其中，所述空闲存储空间比为数据处理系统中空闲的存储空间占总存储空间中的比例，所述当前可用网络带宽比为当前未占用的网络带宽占总网络带宽的比例；所述容错处理算法包括纠删码算法；所述根据所述处理资源选择对所述数据进行容错处理的容错处理算法，并根据所述容错处理算法对所述数据进行容错处理的步骤包括：判断所述当前空闲存储空间比是否小于所述空闲存储空间比临界值，以及，所述当前可用网络带宽比是否大于所述可用网络带宽比临界值；若所述当前空闲存储空间比是否小于所述空闲存储空间比临界值，以及，所述当前可用网络带宽比是否大于所述可用网络带宽比临界值，则根据所述纠删码算法对所述数据进行容错处理；所述纠删码算法包括里所码纠删码算法；所述处理资源还包括：节点空闲时间临界值、数据块访问频率临界值和数据切块数量临界值、当前节点空闲时间、当前数据块访问频率和当前数据切块数量，其中，所述节点空闲时间为数据处理系统中的节点处于空闲状态的时间，所述数据块访问频率为数据中的数据块被访问的频率，所述数据切块数量为数据划分数据块的数量；所述根据纠删码算法对所述数据进行容错处理步骤还包括：判断所述当前节点空闲时间是否大于节点空闲时间临界值，以及，所述当前数据块访问频率是否小于数据块访问频率临界值；若所述当前节点空闲时间大于所述节点空闲时间临界值，以及，所述当前数据块访问频率小于数据块访问频率临界值，则判断所述当前数据切块数量是否小于数据切块数量临界值；若所述当前数据切块数量小于数据切块数量临界值，则根据所述里所码纠删码算法对数据进行容错处理。其中，所述纠删码算法还包括低密度奇偶校验码纠删码算法；所述方法还包括：若所述当前数据切块数量大于或者等于数据切块数量临界值，则根据所述低密度奇偶校验码算法对数据进行容错处理。其中，所述容错处理算法包括副本算法；所述方法还包括：若所述当前空闲存储空间比大于或者等于所述空闲存储空间比临界值，以及，所述当前可用网络带宽比小于或等于所述可用网络带宽比临界值，则根据所述副本算法对数据进行容错处理。为解决上述技术问题，本专利技术采用的另一个技术方案是：提供一种数据处理系统，包括第一获取模块，用于获取数据；第二获取模块，用于获取对所述数据进行容错处理所需要的处理资源；选择处理模块，用于根据所述处理资源选择对所述数据进行容错处理的容错处理算法，并根据所述所选择的容错处理算法对所述数据进行容错处理；所述处理资源包括：空闲存储空间比临界值、当前空闲存储空间比、可用网络带宽比临界值和当前可用网络带宽比，其中，所述空闲存储空间比为数据处理系统中空闲的存储空间占总存储空间中的比例，所述当前可用网络带宽比为当前未占用的网络带宽占总网络带宽的比例；所述容错处理算法包括纠删码算法；所述选择处理模块包括：第一判断单元，用于判断所述当前空闲存储空间比是否小于所述空闲存储空间比临界值，以及，所述当前可用网络带宽比是否大于所述可用网络带宽比临界值；第一处理单元，用于在所述第一判断单元判断到当前空闲存储空间比小于空闲存储空间比临界值，以及，所述当前可用网络带宽比大于所述可用网络带宽比临界值时，根据所述纠删码算法对所述数据进行容错处理；所述处理资源还包括节点空闲时间临界值、数据块访问频率临界值、数据切块数量临界值、当前节点空闲时间、当前数据块访问频率和当前数据切块数量，其中，所述节点空闲时间为数据处理系统中的节点处于空闲状态的时间，所述数据块访问频率为数据中的数据块被访问的频率，所述数据切块数量为数据划分数据块的数量；所述纠删码算法包括里所码纠删码算法；所述第一处理单元包括：第二判断单元，用于判断所述当前节点空闲时间是否大于节点空闲时间临界值，以及，所述当前数据块访问频率是否小于数据块访问频率临界值；第三判断单元，用于在所述第二判断单元判断到所述当前节点空闲时间大于节点空闲时间临界值，以及，所述当前数据块访问频率小于数据块访问频率临界值时，判断所述当前数据切块数量是否小于数据切块数量临界值；第一容错处理单元，用于在所述第三判断单元判断到所述当前数据切块数量小于数据切块数量临界值时，根据所述里所码纠删码算法对数据进行容错处理。其中，所述纠删码算法还包括低密度奇偶校验码纠删码算法；所述第一处理单元，还包括：第二容错处理单元，用于在所述第三判断单元判断到所述当前数据切块数量大于或者等于数据切块数量临界值时，根据所述低密度奇偶校验码纠删码算法对数据进行容错处理。其中，所述容错处理算法包括副本算法；所述选择处理模块还包括第二处理单元；所述第二处理单元，用于在所述第一判断单元判断到所述当前空闲存储空间比大于或者等于所述空闲存储空间比临界值，以及，所述当前可用网络带宽比小于或等于所述可用网络带宽比临界值时，根据所述副本算法对数据进行容错处理。本专利技术的有益效果是：区别于现有技术的情况，本专利技术在对数据处理系统中的数据进行容错处理时，获取数据处理系统的处理资源，并根据处理资源选择对数据进行容错处理的容错处理算法，本文档来自技高网...

【技术保护点】
一种对数据进行容错处理的方法，其特征在于，方法包括：获取数据；获取对所述数据进行容错处理所需要的处理资源；根据所述处理资源选择对所述数据进行容错处理的容错处理算法，并根据所述所选择的容错处理算法对所述数据进行容错处理；所述处理资源包括：空闲存储空间比临界值、当前空闲存储空间比、可用网络带宽比临界值和当前可用网络带宽比，其中，所述空闲存储空间比为数据处理系统中空闲的存储空间占总存储空间中的比例，所述当前可用网络带宽比为当前未占用的网络带宽占总网络带宽的比例；所述容错处理算法包括纠删码算法；所述根据所述处理资源选择对所述数据进行容错处理的容错处理算法，并根据所述容错处理算法对所述数据进行容错处理的步骤包括：判断所述当前空闲存储空间比是否小于所述空闲存储空间比临界值，以及，所述当前可用网络带宽比是否大于所述可用网络带宽比临界值；若所述当前空闲存储空间比小于所述空闲存储空间比临界值，以及，所述当前可用网络带宽比大于所述可用网络带宽比临界值，则根据所述纠删码算法对所述数据进行容错处理；所述纠删码算法包括里所码纠删码算法；所述处理资源还包括：节点空闲时间临界值、数据块访问频率临界值和数据切块数量临界值、当前节点空闲时间、当前数据块访问频率和当前数据切块数量，其中，所述节点空闲时间为数据处理系统中的节点处于空闲状态的时间，所述数据块访问频率为数据中的数据块被访问的频率，所述数据切块数量为数据划分数据块的数量；所述根据纠删码算法对所述数据进行容错处理步骤还包括：判断所述当前节点空闲时间是否大于节点空闲时间临界值，以及，所述当前数据块访问频率是否小于数据块访问频率临界值；若所述当前节点空闲时间大于所述节点空闲时间临界值，以及，所述当前数据块访问频率小于数据块访问频率临界值，则判断所述当前数据切块数量是否小于数据切块数量临界值；若所述当前数据切块数量小于数据切块数量临界值，则根据所述里所码纠删码算法对数据进行容错处理。...

【技术特征摘要】
1.一种对数据进行容错处理的方法，其特征在于，方法包括：获取数据；获取对所述数据进行容错处理所需要的处理资源；根据所述处理资源选择对所述数据进行容错处理的容错处理算法，并根据所述所选择的容错处理算法对所述数据进行容错处理；所述处理资源包括：空闲存储空间比临界值、当前空闲存储空间比、可用网络带宽比临界值和当前可用网络带宽比，其中，所述空闲存储空间比为数据处理系统中空闲的存储空间占总存储空间中的比例，所述当前可用网络带宽比为当前未占用的网络带宽占总网络带宽的比例；所述容错处理算法包括纠删码算法；所述根据所述处理资源选择对所述数据进行容错处理的容错处理算法，并根据所述容错处理算法对所述数据进行容错处理的步骤包括：判断所述当前空闲存储空间比是否小于所述空闲存储空间比临界值，以及，所述当前可用网络带宽比是否大于所述可用网络带宽比临界值；若所述当前空闲存储空间比小于所述空闲存储空间比临界值，以及，所述当前可用网络带宽比大于所述可用网络带宽比临界值，则根据所述纠删码算法对所述数据进行容错处理；所述纠删码算法包括里所码纠删码算法；所述处理资源还包括：节点空闲时间临界值、数据块访问频率临界值和数据切块数量临界值、当前节点空闲时间、当前数据块访问频率和当前数据切块数量，其中，所述节点空闲时间为数据处理系统中的节点处于空闲状态的时间，所述数据块访问频率为数据中的数据块被访问的频率，所述数据切块数量为数据划分数据块的数量；所述根据纠删码算法对所述数据进行容错处理步骤还包括：判断所述当前节点空闲时间是否大于节点空闲时间临界值，以及，所述当前数据块访问频率是否小于数据块访问频率临界值；若所述当前节点空闲时间大于所述节点空闲时间临界值，以及，所述当前数据块访问频率小于数据块访问频率临界值，则判断所述当前数据切块数量是否小于数据切块数量临界值；若所述当前数据切块数量小于数据切块数量临界值，则根据所述里所码纠删码算法对数据进行容错处理。2.根据权利要求1所述的方法，其特征在于，所述纠删码算法还包括低密度奇偶校验码纠删码算法；所述方法还包括：若所述当前数据切块数量大于或者等于数据切块数量临界值，则根据所述低密度奇偶校验码算法对数据进行容错处理。3.根据权利要求1所述的方法，其特征在于，所述容错处理算法包括副本算法；所述方法还包括：若所述当前空闲存储空间比大于或者等于所述空闲存储空间比临界值，以及，所述当前可用网络带宽比小于或等于所述可用网络带宽比临界值，则根据所述副本算法对数据进行容错处理。4.一种数据处理系统，其特征在于，包括：第一获取模块，用于获取数据；第二获取模块，用于获取...

【专利技术属性】
技术研发人员：李璐，
申请(专利权)人：深圳市中博科创信息技术有限公司，
类型：发明
国别省市：广东,44