一种基于分布式储存的财务数据处理方法技术

本发明专利技术涉及分布式储存技术领域，尤其涉及一种基于分布式储存的财务数据处理方法，本发明专利技术通过检测各存储节点存储不同类型数据时的存储敏感度建立存储节点与数据类型的关联关系，基于用户端存储不同类型数据的历史记录确定各数据类型的存储趋势，基于各存储节点的数据存储量确定当前各类型数据关联的存储节点的存储状态，基于不同周期内各类型数据的存储趋势以及当前周期内各存储节点的存储状态，确定当前周期内对各类型数据进行存储时的存储方式，提高了分布式储存的数据存储效率与效果。果。果。

【技术实现步骤摘要】
一种基于分布式储存的财务数据处理方法


[0001]本专利技术涉及分布式储存
，尤其涉及一种基于分布式储存的财务数据处理方法。

技术介绍

[0002]分布式储存是指将数据分散地存储在多个节点上，以提高数据的可靠性和可用性，分布式存储将数据分割成若干块，每块存储在不同的节点上，节点之间通过网络进行通信和协调，从而实现数据的访问和管理，以提高数据的可靠性和可用性。
[0003]中国专利公开号：CN111104048A，公开了如下内容，一种数据处理方法及分布式存储系统。分布式存储系统的存储盘包括至少两个存储盘群，至少两个存储盘群配置有至少两个节能态。具体的，该方法包括：分布式存储系统的处理模块接收包括待处理数据的标识的读请求，并根据待处理数据的标识，读取待处理数据的元数据，以确定第一存储盘群和第二存储盘群，这里，第一存储盘群配置有第一节能态，第二存储盘群配置有第二节能态，第一节能态的唤醒时延小于第二节能态的唤醒时延；后续，从第一存储盘群中读取第一子数据，并在读取第一子数据后，从第二存储盘群中读取第二子数据。综合考虑存储盘的功耗和数据处理时延，提升了存储盘的工作效率。
[0004]但是，现有技术中，还存在以下问题：在现有技术中，由于用户端对财务数据进行存储往往存在较强的周期性，在短期内会存储大量数据，容易造成存储拥堵，未提前对存储方式进行适应性调整，并且，现有技术中未考虑分布式储存中的不同节点对不同类型数据进行存储时的敏感程度不同，导致不同节点对不同类型数据进行存储的效率不同，存储效率不高。
专利
技术实现思路

[0005]为解决存储数据存在周期性容易造成存储拥堵，未提前改变存储方式且存储效率不高的问题，本专利技术提供一种基于分布式储存的财务数据处理方法，其包括：步骤S1、检测各存储节点存储不同类型数据时的存储敏感度，并基于存储敏感度建立存储节点与数据类型的关联关系，检测存储敏感度时包括，将不同数据类型对应的测试数据包分别存储至存储节点，并记录各测试数据包在存储节点完成数据存储所用的时间，基于所用的时间计算存储敏感度；步骤S2、获取用户端存储不同类型数据的历史记录，基于所述历史记录确定不同周期内各数据类型的存储趋势，所述存储趋势包括第一存储趋势以及第二存储趋势；步骤S3、获取各存储节点的数据存储量，确定当前各类型数据关联的存储节点的存储状态，所述存储状态包括第一存储状态以及第二存储状态；步骤S4、基于不同周期内各类型数据的存储趋势以及当前周期内各存储节点的存储状态，确定当前周期内对各类型数据进行存储时的存储方式，其中，在预设条件下，将对应数据类型的数据存储至与所述数据类型关联的存储节点
中，并且，在预设存储条件下，基于各存储节点存储所述数据类型的数据时的存储敏感度排序选取存储节点存储数据；在非预设条件下，确定当前周期内各存储节点的数据存储量与存储容量的比值，基于各所述比值选取存储节点对数据进行存储；所述预设条件为，数据对应的数据类型在下一周期内的存储趋势为第一存储趋势且用以存储该数据类型的存储节点均为第一存储状态，所述预设存储条件为，与所述数据类型关联的存储节点中已没有存储容量。
[0006]进一步地，在所述步骤S1中，基于所用的时间计算存储节点存储数据时的存储敏感度，其中，按照公式（1）计算存储节点存储数据时的存储敏感度S，
[0007]公式（1）中，t表示测试数据包在所述存储节点完成数据存储所用的时间，t0表示预设的时间对比参量。
[0008]进一步地，在所述步骤S1中，基于存储敏感度建立存储节点与数据类型的关联关系，其中，获取存储单个数据类型的数据时各存储节点的存储敏感度降序排列，从存储敏感度降序排列首端开始提取预设数量的存储敏感度，建立所述数据类型与所提取存储敏感度对应的存储节点的关联关系。
[0009]进一步地，在所述步骤S2中，基于用户端存储不同类型数据的历史记录构建各类型数据对应的存储量变化曲线，其中，以时间为横轴以数据存储量为纵轴建立存储坐标系，逐个确定各类型数据在不同周期内的数据存储量，并在所述存储坐标系中逐个构建各类型数据的数据存储量随时间的存储量变化曲线，并建立各所述存储量变化曲线与对应的数据类型的关联关系。
[0010]进一步地，在所述步骤S2中，确定存储量变化曲线对应的平均变化速率表征值，其中，在所述存储坐标系中构建若干分段直线将存储量变化曲线划分为若干曲线段，确定各所述曲线段的中点对应的纵轴坐标值Y，按照公式（2）计算所述存储量变化曲线的平均变化速率表征值R，各所述分段直线为平行于所述纵轴方向且间距相等的直线，
[0011]公式（2）中，Y
i
表示第i个曲线段的中点对应的纵轴坐标值，Y
i
‑1表示第i
‑
1个曲线段的中点对应的纵轴坐标值，n表示所述存储量变化曲线中曲线段的数量，i表示大于1的整数。
[0012]进一步地，在所述步骤S2中，基于所述平均变化速率表征值判定不同周期内与所述存储量变化曲线相关联的数据类型的存储趋势，其中，将所述平均变化速率表征值与预设的变化速率对比阈值进行对比，若对比结果满足第一速率条件，判定不同周期内所述存储量变化曲线相关联的数据类型的存储趋势为第一存储趋势；
若对比结果满足第二速率条件，判定不同周期内所述存储量变化曲线相关联的数据类型的存储趋势为第二存储趋势；其中，所述第一速率条件为所述平均变化速率表征值大于等于所述预设的变化速率对比阈值，所述第二速率条件为所述平均变化速率表征值小于所述预设的变化速率对比阈值。
[0013]进一步地，在所述步骤S3中，确定当前周期内各类型数据关联的存储节点的存储状态，其中，将存储节点的数据存储量与预设的存储量对比阈值进行对比，在第一对比条件下，判定当前周期内所述存储节点的存储状态为第一存储状态；在第二对比条件下，判定当前周期内所述存储节点的存储状态为第二存储状态；其中，所述第一对比条件为所述存储节点的数据存储量大于等于所述预设的存储量对比阈值，所述第二对比条件为所述存储节点的数据存储量小于所述预设的存储量对比阈值，所述存储量对比阈值基于所述存储节点的最大存储上限所确定。
[0014]进一步地，在所述步骤S4中，基于各存储节点存储所述数据类型的数据时的存储敏感度排序选取存储节点存储数据，其中，确定与需存储数据无关联关系的若干存储节点，按照存储敏感度由高到低的顺序依次选取存储节点存储数据，直至需存储数据全部存储完成。
[0015]进一步地，在所述步骤S4中，基于当前周期内各存储节点的数据存储量与存储容量的比值选取存储节点对数据进行存储，其中，确定全部存储节点，按照各所述比值由低到高的顺序依次选取存储节点存储数据，直至需存储数据全部存储完成。
[0016]进一步地，还包括，每隔预设周期重复所述步骤S1，以更新各存储节点存储不同类型数据时的存储敏感度。
[0017]与现有技术相比，本专利技术通过检测各存储节点存储不同类型数据时的存储敏感度建立存储节点与数据类型的关联关系，基于用户端存储不同类型本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分布式储存的财务数据处理方法，其特征在于，包括：步骤S1、检测各存储节点存储不同类型数据时的存储敏感度，并基于存储敏感度建立存储节点与数据类型的关联关系，检测存储敏感度时包括，将不同数据类型对应的测试数据包分别存储至存储节点，并记录各测试数据包在存储节点完成数据存储所用的时间，基于所用的时间计算存储敏感度；步骤S2、获取用户端存储不同类型数据的历史记录，基于所述历史记录确定不同周期内各数据类型的存储趋势，所述存储趋势包括第一存储趋势以及第二存储趋势；步骤S3、获取各存储节点的数据存储量，确定当前各类型数据关联的存储节点的存储状态，所述存储状态包括第一存储状态以及第二存储状态；步骤S4、基于不同周期内各类型数据的存储趋势以及当前周期内各存储节点的存储状态，确定当前周期内对各类型数据进行存储时的存储方式，其中，在预设条件下，将对应数据类型的数据存储至与所述数据类型关联的存储节点中，并且，在预设存储条件下，基于各存储节点存储所述数据类型的数据时的存储敏感度排序选取存储节点存储数据；在非预设条件下，确定当前周期内各存储节点的数据存储量与存储容量的比值，基于各所述比值选取存储节点对数据进行存储；所述预设条件为，数据对应的数据类型在下一周期内的存储趋势为第一存储趋势且用以存储该数据类型的存储节点均为第一存储状态，所述预设存储条件为，与所述数据类型关联的存储节点中已没有存储容量。2.根据权利要求1所述的基于分布式储存的财务数据处理方法，其特征在于，在所述步骤S1中，基于所用的时间计算存储节点存储数据时的存储敏感度，其中，按照公式（1）计算存储节点存储数据时的存储敏感度S，，公式（1）中，t表示测试数据包在所述存储节点完成数据存储所用的时间，t0表示预设的时间对比参量。3.根据权利要求2所述的基于分布式储存的财务数据处理方法，其特征在于，在所述步骤S1中，基于存储敏感度建立存储节点与数据类型的关联关系，其中，获取存储单个数据类型的数据时各存储节点的存储敏感度降序排列，从存储敏感度降序排列首端开始提取预设数量的存储敏感度，建立所述数据类型与所提取存储敏感度对应的存储节点的关联关系。4.根据权利要求1所述的基于分布式储存的财务数据处理方法，其特征在于，在所述步骤S2中，基于用户端存储不同类型数据的历史记录构建各类型数据对应的存储量变化曲线，其中，以时间为横轴以数据存储量为纵轴建立存储坐标系，逐个确定各类型数据在不同周期内的数据存储量，并在所述存储坐标系中逐个构建各类型数据的数据存储量随时间的存储量变化曲线，并建立各所述存储量变化曲线与对应的数据类型的关联关系。5.根据权利要求4所述的基于分布式储存的财务数据处理方法，其特征在于，在所述步骤S2中，确定存储量变化曲线对应的平均变化速率表征值，其中，
在所述存储...

【专利技术属性】
技术研发人员：付胜龙，王钰，贺金生，宋军，袁彬，肖朝斌，刘强，
申请(专利权)人：大汉电子商务有限公司，
类型：发明
国别省市：