数据处理方法及装置、存储介质和电子设备制造方法及图纸

本发明专利技术的实施方式涉及数据库技术领域，更具体地，本发明专利技术的实施方式涉及数据处理方法及装置，存储介质和电子设备。所述方法包括：获取Paxos模块在预设监控周期内的历史运行参数；历史运行参数包括：任务发起端节点和/或任务执行端节点的历史运行参数；对任务发起端节点和/或任务执行端节点的历史运行参数进行统计，以获取任务发起端节点和/或任务执行端节点的提案重试统计结果，并与预设数值范围进行比对；在提案重试统计结果不满足预设数值范围时，按预设规则调整任务发起端节点和/或任务执行端节点的提案参数，并与当前网络质量相匹配。实现对提案重试参数进行优化，避免频繁、无谓的重试，提高提案成功率，提高网络资源利用率。

【技术实现步骤摘要】
数据处理方法及装置、存储介质和电子设备
本专利技术的实施方式涉及数据库
，更具体地，本专利技术的实施方式涉及数据处理方法及装置，存储介质和电子设备。
技术介绍
本部分旨在为权利要求中陈述的本专利技术的实施方式提供背景或上下文，此处的描述不因为包括在本部分中就承认是现有技术。MGR(MySQLGroupReplication，MySQL集群)具有较高的数据可靠性，被广泛应用。由于MGR支持多主模式，各节点均可进行事务提交；相比使用Raft(分布式一致性)协议的单主系统具备较大的技术优势。
技术实现思路
但是，在一些技术中，在批量处理数据时，在将多条记录batch(批处理)成一个事务进行批量插入时，若记录本身较大或batch个数较多或并发度较大时，会导致迁移过程中mysqld占用的内存不断增涨，若mysqld增涨的内存超过了系统可用内存，则会引发OOM(OutOfMemory，内存溢出)。对数据库服务的可用性造成严重影响。为此，非常需要一种改进的数据处理方法及装置、存储介质和电子设备，以解决批处理数据时对内本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n获取Paxos模块在预设监控周期内的历史运行参数；其中，所述历史运行参数包括：任务发起端节点和/或任务执行端节点的历史运行参数；/n对所述任务发起端节点的历史运行参数进行统计，以获取所述任务发起端节点的提案重试统计结果，并与预设数值范围进行比对；/n在所述任务发起端节点的提案重试统计结果不满足预设数值范围时，按预设规则调整所述任务发起端节点的提案参数，以匹配当前网络质量；/n和/或，对所述任务执行端节点的历史运行参数进行统计，以获取所述任务执行端节点的提案重试统计结果，并与预设数值范围进行比对；/n在所述任务执行端节点的提案重试统计结果不满足预设数值...

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
获取Paxos模块在预设监控周期内的历史运行参数；其中，所述历史运行参数包括：任务发起端节点和/或任务执行端节点的历史运行参数；
对所述任务发起端节点的历史运行参数进行统计，以获取所述任务发起端节点的提案重试统计结果，并与预设数值范围进行比对；
在所述任务发起端节点的提案重试统计结果不满足预设数值范围时，按预设规则调整所述任务发起端节点的提案参数，以匹配当前网络质量；
和/或，对所述任务执行端节点的历史运行参数进行统计，以获取所述任务执行端节点的提案重试统计结果，并与预设数值范围进行比对；
在所述任务执行端节点的提案重试统计结果不满足预设数值范围时，按预设规则调整所述任务执行端节点的提案参数，以匹配当前网络质量。


2.根据权利要求1所述的数据处理方法，其特征在于，所述任务发起端节点的历史运行参数包括：待处理事务的存储占用参数，批处理后包含一个或多个事务的提案的存储占用参数以及对应的提案编号参数，所述提案由提出至达成一致的提案耗时参数中的任意一项或任意多项；
所述任务执行端节点的历史运行参数包括：待执行读取重试的所述提案对应的提案编号参数、存储占用参数、重试次数参数，以及读取重试耗时参数中的任意一项或任意多项。


3.根据权利要求1或2所述的数据处理方法，其特征在于，所述任务执行端节点的历史运行参数包括：待执行读取重试的所述提案对应的重试次数参数和读取重试耗时参数；
所述在所述任务执行端节点的提案重试统计结果不满足预设数值范围时，按预设规则调整所述任务执行端节点的提案参数，以匹配当前网络质量，包括：
若在所述预设监控周期内所述任务执行端节点存在所述提案的读取重试次数大于第一阈值，则统计在所述预设监控周期内读取重试次数大于所述第一阈值的提案比例；
在所述提案比例大于第二提案重试阈值时，则将所述任务执行端节点的提案读取重试间隔参数设置为所述预设监控周期内所述读取重试耗时参数的中位数。


4.根据权利要求1或2所述的数据处理方法，其特征在于，所述任务执行端节点的提案重试统计结果包括：执行读取重试的所述提案对应的提案编号参数；
所述在所述任务执行端节点的提案重试统计结果不满足预设数值范围时，按预设规则调整所述任务执行端节点的提案参数，以匹配当前网络质量，包括：
基于提案编号参数获取所述预设监控周期内所述任务执行端节点相邻的两待执行读取重试提案的重试间隔参数；
在所述重试间隔参数小于所述任务执行端节点的重试提案读取数量时，则根据所述重试间隔参数配置所述重试提案读取数量。


5.根据权利要求1或2所述的数据处理方法，其特征在于，所述任务执行端节点的历史运行参数包括：执行读取重试的所述提案对应的存储占用参数；所述任务发起端节点的历史运行参数包括：待处理事务的存储占用参数；
所述在所述任务执行端节点的...

【专利技术属性】
技术研发人员：余利华，温正湖，蒋鸿翔，冯森，汪源，郭忆，马进，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：浙江;33