一种分布式数据读写处理方法技术

本发明专利技术公开了一种分布式数据读写处理方法，涉及数据读写处理技术领域，解决了现有技术中，数据读写处理过程中不能够进行主从延迟检测的技术问题；本发明专利技术是通过判断当前数据库的访问强度大小，以至于在数据库访问时能够及时进行数据调度，防止访问强度大导致数据库运转出现偏差，降低数据库的工作效率，同时在完成强度分析后将访问任务中读写任务量进行均衡性分析；还将数据库实时访问时数据执行过程进行分析，判断数据执行过程是否存在延迟，以确保数据执行的可靠性，防止数据库的使用质量降低，同时在根据是否存在延迟将对应数据库进行主从控制分析，合理进行主从执行，保证数据库的数据执行合格性，将数据库的数据访问执行风险降至最低。风险降至最低。风险降至最低。

【技术实现步骤摘要】
一种分布式数据读写处理方法


[0001]本专利技术涉及数据读写处理
，具体为一种分布式数据读写处理方法。

技术介绍

[0002]数据库架构是一写多读架构，主库也是写库、从库也为读库，而读写分离的意思是所有的写操作走主库、其他走从库，而读写分离的主要目的是降低主库的压力，以达到系统的整体稳定，另外读写架构非常适合实现事务，只有一个写节点；
[0003]但是在现有技术中，主从延迟将导致往主库写入的数据跟从库读出来的数据不一致，且数据读写处理过程中不能够进行主从延迟检测，同时不能够将数据库进行分区储存，将读写数据分区；
[0004]针对上述的技术缺陷，现提出一种解决方案。

技术实现思路

[0005]本专利技术的目的就在于为了解决上述提出的问题，而提出一种分布式数据读写处理方法，是根据读写不同类型进行数据分区存储，有利于提高数据库数据存储的效率，同时有利于提高数据库访问的稳定性，防止数据访问延迟导致数据访问出现偏差，导致数据库的存储效率降低；还将数据库内实时存储数据进行分区存储后，将可读区域和可写区域内存储的数据进行关联性分析，以至于在可读区域和可写区域内存储数据需同时使用时，能够保证存储数据的供应及时性，防止在读写过程中数据供应不及时，导致数据库的数据存储效率低，影响数据执行的效率。
[0006]本专利技术的目的可以通过以下技术方案实现：
[0007]一种分布式数据读写处理方法，处理方法步骤如下：
[0008]步骤一、存储数据分析，将数据库内实时存储数据进行分析，将实时存储数据进行类型划分，根据实时存储数据的本身特性进行读写类型划分，并根据读写不同类型进行数据分区存储；
[0009]步骤二、分区存储，将数据库内实时存储数据进行分区存储后，将可读区域和可写区域内存储的数据进行关联性分析；
[0010]步骤三、访问强度分析，将数据库的当前访问强度进行分析监测，同时在完成强度分析后将访问任务中读写任务量进行均衡性分析；
[0011]步骤四、主从控制分析，将数据库实时访问时数据执行过程进行分析，判断数据执行过程是否存在延迟，同时在根据是否存在延迟将对应数据库进行主从控制分析。
[0012]作为本专利技术的一种优选实施方式，步骤一中存储数据分析的具体过程如下：
[0013]将数据库内的实时存储数据设置标号i，i为大于1的自然数，采集到数据库内实时存储数据的最短更新间隔时长以及实时存储数据的数据更新频率；采集到数据库内实时存储数据的数据更新偏差概率；通过分析获取到数据库内实时存储数据的类型划分系数；
[0014]将数据库内实时存储数据的类型划分系数与类型划分系数阈值进行比较：若数据
库内实时存储数据的类型划分系数超过类型划分系数阈值，则判定对应实时存储数据的变动概率大，将对应实时存储数据标记为高频率可写数据；若数据库内实时存储数据的类型划分系数未超过类型划分系数阈值，则判定对应实时存储数据的变动概率小，将对应实时存储数据标记为高频率可读数据。
[0015]作为本专利技术的一种优选实施方式，步骤二中分区存储存储过程如下：
[0016]将数据库内高频率可写数据和高频率可读数据进行对应分区存储，并将数据库划分出可写区域和可读区域，且将高频率可写数据和高频率可读数据分别对应存储至可写区域和可读区域，在完成分区存储后，将可写区域和可读区域内存储数据进行分析；
[0017]将可写区域和可读区域内存储数据统一标记为分区存储数据，采集到各个分区存储数据同一时刻更新的频率以及分区存储数据相邻更新的最短间隔时长，并将各个分区存储数据同一时刻更新的频率以及分区存储数据相邻更新的最短间隔时长分别与更新频率阈值和最短间隔时长阈值进行比较：
[0018]若各个分区存储数据同一时刻更新的频率超过更新频率阈值，或者分区存储数据相邻更新的最短间隔时长未超过最短间隔时长阈值，则判定对应分区存储数据为高关联性数据；若各个分区存储数据同一时刻更新的频率未超过更新频率阈值，且分区存储数据相邻更新的最短间隔时长超过最短间隔时长阈值，则判定对应分区存储数据为低关联性数据。
[0019]作为本专利技术的一种优选实施方式，步骤三中访问强度分析过程如下：
[0020]将数据库的访问强度进行分析，采集到访问时间段内数据库对应实时访问终端数量增长速度以及数据库内同一存储数据的同时刻需求访问终端数量，并将其分别与数量增长速度阈值和访问终端数量阈值进行比较：
[0021]若访问时间段内数据库对应实时访问终端数量增长速度超过数量增长速度阈值，或者数据库内同一存储数据的同时刻需求访问终端数量超过访问终端数量阈值，则判定数据库的实时访问强度大，并将当前数据库访问标记为高强度执行；若访问时间段内数据库对应实时访问终端数量增长速度未超过数量增长速度阈值，且数据库内同一存储数据的同时刻需求访问终端数量未超过访问终端数量阈值，则判定数据库的实时访问强度小，并将当前数据库访问标记为低强度执行。
[0022]作为本专利技术的一种优选实施方式，将高强度执行过程进行分析，采集到高强度执行过程中数据读取任务量与数据写入任务量的比值以及数据读取任务执行频率与数据写入任务执行频率的比值，并将其分别与任务量比值阈值范围和执行频率比值阈值范围进行比较：
[0023]若高强度执行过程中数据读取任务量与数据写入任务量的比值处于任务量比值阈值范围，且数据读取任务执行频率与数据写入任务执行频率的比值处于执行频率比值阈值范围，则判定数据库的当前读写访问任务量均衡性合格，生成均衡访问信号并将均衡访问信号发送至管理人员的手机终端；
[0024]若高强度执行过程中数据读取任务量与数据写入任务量的比值未处于任务量比值阈值范围，或者数据读取任务执行频率与数据写入任务执行频率的比值未处于执行频率比值阈值范围，则判定数据库的当前读写访问任务量均衡性不合格，生成非均衡访问信号并将非均衡访问信号发送至管理人员的手机终端。
[0025]作为本专利技术的一种优选实施方式，步骤四中主从控制分析过程如下：
[0026]采集到数据库访问过程中数据访问出现延迟的频率以及数据访问延迟的平均时长，并将数据库访问过程中数据访问出现延迟的频率以及数据访问延迟的平均时长分别与延迟频率阈值和平均时长阈值进行比较：
[0027]若数据库访问过程中数据访问出现延迟的频率超过延迟频率阈值，或者数据访问延迟的平均时长超过平均时长阈值，则判定数据库访问存在延迟，生成访问延迟信号并将访问延迟信号发送至管理人员的手机终端；若数据库访问过程中数据访问出现延迟的频率未超过延迟频率阈值，且数据访问延迟的平均时长未超过平均时长阈值，则判定数据库访问不存在延迟，生成访问无延迟信号并将访问无延迟信号发送至管理人员的手机终端。
[0028]与现有技术相比，本专利技术的有益效果是：
[0029]1、本专利技术中，将实时存储数据进行类型划分，根据实时存储数据的本身特性进行读写类型划分，并根据读写不同类型进行数据分区存储，有利于提高数据库数据存储本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式数据读写处理方法，其特征在于，处理方法步骤如下：步骤一、存储数据分析，将数据库内实时存储数据进行分析，将实时存储数据进行类型划分，根据实时存储数据的本身特性进行读写类型划分，并根据读写不同类型进行数据分区存储；步骤二、分区存储，将数据库内实时存储数据进行分区存储后，将可读区域和可写区域内存储的数据进行关联性分析；步骤三、访问强度分析，将数据库的当前访问强度进行分析监测，同时在完成强度分析后将访问任务中读写任务量进行均衡性分析；步骤四、主从控制分析，将数据库实时访问时数据执行过程进行分析，判断数据执行过程是否存在延迟，同时在根据是否存在延迟将对应数据库进行主从控制分析。2.根据权利要求1所述的一种分布式数据读写处理方法，其特征在于，步骤一中存储数据分析的具体过程如下：将数据库内的实时存储数据设置标号i，i为大于1的自然数，采集到数据库内实时存储数据的最短更新间隔时长以及实时存储数据的数据更新频率；采集到数据库内实时存储数据的数据更新偏差概率；通过分析获取到数据库内实时存储数据的类型划分系数；将数据库内实时存储数据的类型划分系数与类型划分系数阈值进行比较：若数据库内实时存储数据的类型划分系数超过类型划分系数阈值，则判定对应实时存储数据的变动概率大，将对应实时存储数据标记为高频率可写数据；若数据库内实时存储数据的类型划分系数未超过类型划分系数阈值，则判定对应实时存储数据的变动概率小，将对应实时存储数据标记为高频率可读数据。3.根据权利要求1所述的一种分布式数据读写处理方法，其特征在于，步骤二中分区存储存储过程如下：将数据库内高频率可写数据和高频率可读数据进行对应分区存储，并将数据库划分出可写区域和可读区域，且将高频率可写数据和高频率可读数据分别对应存储至可写区域和可读区域，在完成分区存储后，将可写区域和可读区域内存储数据进行分析；将可写区域和可读区域内存储数据统一标记为分区存储数据，采集到各个分区存储数据同一时刻更新的频率以及分区存储数据相邻更新的最短间隔时长，并将各个分区存储数据同一时刻更新的频率以及分区存储数据相邻更新的最短间隔时长分别与更新频率阈值和最短间隔时长阈值进行比较：若各个分区存储数据同一时刻更新的频率超过更新频率阈值，或者分区存储数据相邻更新的最短间隔时长未超过最短间隔时长阈值，则判定对应分区存储数据为高关联性数据；若各个分区存储数据同一时刻更新的频率未超过更新频率阈值，且分区存储数据相邻更新的最短间隔时长超过最短间隔时长阈值，则判定对应分区存储数据为低关联性数据。4.根据权利要求1所...

【专利技术属性】
技术研发人员：唐君伟，
申请(专利权)人：上海绎维软件系统有限公司，
类型：发明
国别省市：