基于遗传算法的数据重构自动调参方法、系统及存储介质技术方案

本发明专利技术涉及一种基于遗传算法的数据重构自动调参方法、系统及存储介质，包括以下步骤：S 1：引入遗传算法，在数据恢复控制算法中，累加恢复对象的大小，以及记录恢复对象的总数和恢复的小对象的数目；S2：判断数据恢复场景的类型，根据步骤S 1中得到的恢复的不同方式下，恢复个数占总的恢复对象个数的比例，确定选择最佳参数处理方式；S3：针对步骤S2确定不同的恢复场景，选用算法权衡权重，匹配不同的参数，从而进行优化不同场景下的恢复参数；S4：在遗传算法训练器中最后清空步骤S 1中计数，以便进行下一周期对恢复场景优化恢复参数；S5：遗传算法下NVME硬盘的处理步骤；S6：根据集群规模调整重构速度步骤。

【技术实现步骤摘要】
基于遗传算法的数据重构自动调参方法、系统及存储介质
本专利技术属于数据恢复领域，具体涉及一种基于遗传算法的数据重构自动调参方法、系统及存储介质。
技术介绍
存储系统最为关键的是存储数据，分布式存储最主要的特点是大规模集群可能就是成千上万块磁盘组成的大容量存储池，存储池的数据量可达到PB甚至EB的级别，而对故障或者扩容，缩容后的重构数据恢复是一项很重要的流程。故障磁盘承载的数据重新被分配到新磁盘中，故障磁盘中的数据在其他正常磁盘中被恢复出来的过程被称为重构数据。现有技术中，采用gluster默认集群重构方案，缺少对特殊场景进行优化处理，如海量小文件场景、对普通硬盘和NVME硬盘不同硬件配置进行优化。此为现有技术中存在的技术问题。有鉴于此，本专利技术给出一种基于遗产算法的数据重构自动调参方法、系统及存储介质的技术方案；针对分布式gluster存储复杂场景快速重构恢复的改进，结合集群规模与硬件磁盘配置相结合，对小对象场景的数据恢复参数进行优化，大幅度提高对小对象的数据恢复性能，充分利用NVME硬盘的性能优势，提高NVME存储池的数据恢复性能。以解决现有技术中存在的缺陷和问题。
技术实现思路
针对现有技术中存在gluster默认集群重构方案，缺少对特殊场景进行优化处理，导致小场景恢复性能低的问题；本专利技术提供一种基于遗传算法的数据重构自动调参方法、系统及存储介质，以解决上述技术问题。为实现上述目的，本专利技术给出以下技术方案：第一方面，本专利技术提供一种基于遗传算法的数据重构自动调参方法，包括以下步骤：S1：引入遗传算法，在数据恢复控制算法中，累加恢复对象的大小，以及记录恢复对象的总数和恢复的小对象的数目；S2：判断数据恢复场景的类型，根据步骤S1中得到的恢复的不同方式下，恢复个数占总的恢复对象个数的比例，确定选择最佳参数处理方式；S3：针对步骤S2确定不同的恢复场景，选用算法权衡权重，匹配不同的参数，从而进行优化不同场景下的恢复参数，提高单次恢复的对象的个数，从而达到提高复杂场景数据恢复每秒的读写次数；S4：在遗传算法训练器中最后清空步骤S1中计数，以便进行下一周期对恢复场景优化恢复参数；S5：遗传算法下NVME硬盘的处理步骤；S6：根据集群规模调整重构速度步骤。作为优选，所述步骤S2中，数据恢复场景类型包括文件、块、对象；通过定时器定时计算下个恢复周期内，数据恢复总的数据恢复量，然后根据遗传算法规则进行数据训练，获得单次恢复的对象个数最佳参数。作为优选，所述步骤S5中，引入图形处理器多线程思想机制，获取图形处理器线程数，NVME硬盘的大小和gluster存储的总存储量的比例信息，根据获取信息设置多线程训练学习的模型比例，在重构结束恢复默认处理机制。作为优选，所述步骤S6中，包括以下步骤：S6.1：根据遗传算法，计算出的当前需要重构的数据量的计算方式；学习出当前周期需要重构的数据量的计算方式，集群重构的总由监控器根据重构的硬盘个数进行遗传算法的计算，不再是根据训练参数补全；S6.2：在不同重构优先级下，监控器根据重构的主硬盘的个数以及单个硬盘，计算出总的重构数据恢复量，并将总发送给硬盘；S6.3：在遗传算法训练识别参数的流程中，对每个对象处理，并对已恢复的对象计数，若该对象是小对象，则小对象的计数加一；若未能识别该对象的大小，则将该对象插入未知大小的地图结构中，并记录未知大小的对象个数；S6.4：若对象已在补偿地图中，还需要判断该对象是否在未知大小的地图中，再判断该对象是否是小对象，若是，则小对象计数加一。第二方面，本专利技术提供一种基于遗传算法的数据重构自动调参系统，包括：区分恢复场景模块，所述区分恢复场景模块将区分信号发送至计数模块，计数模块在不同的恢复场景下，记录恢复对象的总数和恢复的小对象的数目，以及恢复对象的大小，计数模块将计数信息发送至匹配参数模块，匹配参数模块确定选择最佳参数处理方式。作为优选，本系统还包括NVME硬盘的处理模块和调整重构速度模块，所述NVME硬盘的处理模块引入图形处理器多线程思想机制，获取图形处理器线程数，NVME硬盘的大小和gluster存储的总存储量的比例信息，根据获取信息设置多线程训练学习的模型比例，在重构结束恢复默认处理机制。作为优选，所述调整重构速度模块中，根据遗传算法，计算出的当前需要重构的数据量的计算方式；学习出当前周期需要重构的数据量的计算方式，集群重构的总由监控器根据重构的硬盘个数进行遗传算法的计算，不再是根据训练参数补全；在不同重构优先级下，监控器根据重构的主硬盘的个数以及单个硬盘，计算出总的重构数据恢复量，并将总发送给硬盘；作为优选，所述调整重构速度模块中，在遗传算法训练识别参数的流程中，对每个对象处理，并对已恢复的对象计数，若该对象是小对象，则小对象的计数加一；若未能识别该对象的大小，则将该对象插入未知大小的地图结构中，并记录未知大小的对象个数；若对象已在补偿地图中，还需要判断该对象是否在未知大小的地图中，再判断该对象是否是小对象，若是，则小对象计数加一。第三方面，本专利技术提供一种计算机存储介质，所述计算机存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述方法。第四方面，提供一种终端，包括：处理器、存储器，其中，该存储器用于存储计算机程序，该处理器用于从存储器中调用并运行该计算机程序，使得终端执行上述方法。本专利技术的有益效果在于，本专利技术对复杂场景进行快速重构恢复的优化，并结合集群规模与硬件磁盘配置相结合，对小对象场景的数据恢复参数进行优化，大幅度提高小对象的数据恢复性能，并充分利用NVME的性能优势，提高NVME存储池的数据恢复性能。此外，本专利技术设计原理可靠，结构简单，具有非常广泛的应用前景。由此可见，本专利技术与现有技术相比，具有突出的实质性特点和显著的进步，其实施的有益效果也是显而易见的。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例1提供的一种基于遗传算法的数据重构自动调参方法的流程图。图2是本专利技术实施例2提供的一种基于遗传算法的数据重构自动调参系统的原理框图。图3是本专利技术提供的监控器处理流程图。其中，1-一种基于遗传算法的数据重构自动调参系统，2-区分恢复场景模块，3-计数模块，4-匹配参数模块，5-NVME硬盘的处理模块，6-调整重构速度模块。具体实施方式为了使本
的人员更好地理解本专利技术中的技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的本文档来自技高网...

【技术保护点】
1.一种基于遗传算法的数据重构自动调参方法，其特征在于，包括以下步骤：/nS1：引入遗传算法，在数据恢复控制算法中，累加恢复对象的大小，以及记录恢复对象的总数和恢复的小对象的数目；/nS2：判断数据恢复场景的类型，根据步骤S1中得到的恢复的不同方式下，恢复个数占总的恢复对象个数的比例，确定选择最佳参数处理方式；/nS3：针对步骤S2确定不同的恢复场景，选用算法权衡权重，匹配不同的参数，从而进行优化不同场景下的恢复参数；/nS4：在遗传算法训练器中最后清空步骤S1中计数，以便进行下一周期对恢复场景优化恢复参数；/nS5：遗传算法下NVME硬盘的处理步骤；/nS6：根据集群规模调整重构速度步骤。/n

【技术特征摘要】
1.一种基于遗传算法的数据重构自动调参方法，其特征在于，包括以下步骤：
S1：引入遗传算法，在数据恢复控制算法中，累加恢复对象的大小，以及记录恢复对象的总数和恢复的小对象的数目；
S2：判断数据恢复场景的类型，根据步骤S1中得到的恢复的不同方式下，恢复个数占总的恢复对象个数的比例，确定选择最佳参数处理方式；
S3：针对步骤S2确定不同的恢复场景，选用算法权衡权重，匹配不同的参数，从而进行优化不同场景下的恢复参数；
S4：在遗传算法训练器中最后清空步骤S1中计数，以便进行下一周期对恢复场景优化恢复参数；
S5：遗传算法下NVME硬盘的处理步骤；
S6：根据集群规模调整重构速度步骤。


2.根据权利要求1所述的一种基于遗传算法的数据重构自动调参方法，其特征在于，所述步骤S2中，数据恢复场景类型包括文件、块、对象；通过定时器定时计算下个恢复周期内，数据恢复总的数据恢复量，然后根据遗传算法规则进行数据训练，获得单次恢复的对象个数最佳参数。


3.根据权利要求2所述的一种基于遗传算法的数据重构自动调参方法，其特征在于，所述步骤S5中，引入图形处理器多线程思想机制，获取图形处理器线程数，NVME硬盘的大小和gluster存储的总存储量的比例信息。


4.根据权利要求3所述的一种基于遗传算法的数据重构自动调参方法，其特征在于，所述步骤S6中，包括以下步骤：
S6.1：根据遗传算法，计算出的当前需要重构的数据量的计算方式；学习出当前周期需要重构的数据量的计算方式，集群重构的总由监控器根据重构的硬盘个数进行遗传算法的计算；
S6.2：在不同重构优先级下，监控器根据重构的主硬盘的个数以及单个硬盘，计算出总的重构数据恢复量，并将总发送给硬盘；
S6.3：在遗传算法训练识别参数的流程中，对每个对象处理，并对已恢复的对象计数，若该对象是小对象，则小对象的计数加一；若未能识别该对象的大小，则将该对象插入未知大小的地图结构中，并记录未知大小的对象个数；
S6.4：若对象已在补偿地图中，还需要判断该对象是否在未知大小的...

【专利技术属性】
技术研发人员：毛贝贝，
申请(专利权)人：济南浪潮数据技术有限公司，
类型：发明
国别省市：山东;37