【技术实现步骤摘要】
本专利技术涉及内存调整，尤其涉及一种内存调整方法、装置、设备及存储介质。
技术介绍
1、spark的数据计算主要在executor进程内完成，而executor对于rdd的持久化存储以及shuffle运行过程，均在spark内存管理机制下统一进行，其内运行的task任务也共享executor内存，数据处理过程中需要通过频繁的内存使用和操作最终完成业务处理，因此内存管理对spark高效业务处理至关重要。业界当前采用的技术，通常有两种，包括手动调整和自动调整，其中，手动调整又分为采用默认配置和具备丰富经验的专家手动配置。
2、手动调整方式，由于技能要求、复杂度、需反复验证等，导致spark内存参数调整实际生产中难以普遍实施，通常spark应用开发过程中采用足量内存来确保业务资源充足，造成资源浪费和成本居高不下。
3、自动调整方式，实施难度大，普遍需要大量的训练数据，同时黑盒优化算法比如贝叶斯优化算法、深度强化学习算法等需要与环境进行多轮交户来寻找最优解。因此，该方法对计算资源的消耗比较高。另外，针对分布式系统的多轮迭代寻优普遍运行时间长，调参效率低。
技术实现思路
1、本专利技术的主要目的在于提供一种内存调整方法、装置、设备及存储介质，旨在解决现有技术内存调整方式调参效率低、资源消耗高、成本高的技术问题。
2、为实现上述目的，本专利技术提供了一种内存调整方法，所述方法包括以下步骤：
3、获取任务的提交历史，并根据所述提交历史确定所述任务的
4、基于所述执行环境执行所述任务，得到历史执行数据；
5、获取用户自定义数据结构，基于所述用户自定义数据结构和所述历史执行数据确定用户内存推荐值；
6、根据所述用户内存推荐值调整内存资源分配量。
7、可选地，所述获取任务的提交历史，并根据所述提交历史确定所述任务的执行环境，包括：
8、分析应用程序的执行信息，得到任务的提交历史；
9、根据所述提交历史判断任务是否首次提交；
10、若所述任务首次提交，则确定所述任务的执行环境为测试环境；
11、若所述任务非首次提交，则确定所述任务的执行环境为生产环境。
12、可选地，所述基于所述执行环境执行所述任务，得到历史执行数据，包括：
13、基于所述执行环境确定内存配置参数；
14、基于所述内存配置参数执行所述任务，并获取任务标识信息；
15、根据所述任务标识信息获取任务执行时的总内存资源和用户内存实际使用信息，得到历史执行数据。
16、可选地，所述基于所述执行环境确定内存配置参数，包括：
17、在所述任务的执行环境为测试环境时，将所述任务提交至所述测试环境进行分析，得到第一分析数据，并基于所述第一分析数据确定第一内存配置参数，将所述第一内存配置参数作为内存配置参数；
18、在所述任务的执行环境为生产环境时，将所述任务提交至所述生产环境进行分析，得到第二分析数据，并基于所述第二分析数据确定第二内存配置参数，将所述第二内存配置参数作为内存配置参数。
19、可选地，所述获取用户自定义数据结构，基于所述用户自定义数据结构和所述历史执行数据确定用户内存推荐值，包括：
20、判断应用程序中是否存在用户自定义数据结构；
21、若不存在所述用户自定义数据结构，则根据所述历史执行数据确定用户内存推荐值；
22、若存在所述用户自定义数据结构，则根据回归模型和所述历史执行数据确定初始用户内存；
23、根据所述历史执行数据和所述用户自定义数据结构对所述初始用户内存进行调优，得到用户内存推荐值。
24、可选地，所述判断所述应用程序中是否存在用户自定义数据结构，包括：
25、获取所述历史执行数据中的输入数据量和用户内存实际使用信息；
26、根据所述输入数据量和预设内存指标数据建立回归模型；
27、通过所述回归模型对所述输入数据量和所述用户内存实际使用信息进行相关性分析；
28、在所述输入数据量和所述用户内存实际使用信息存在相关关系时，判定存在用户自定义数据结构；
29、在所述输入数据量和所述用户内存实际使用信息不存在相关关系时，判定不存在用户自定义数据结构。
30、可选地，所述根据所述用户内存推荐值调整内存资源分配量，包括：
31、根据所述用户内存推荐值确定内存资源参数信息；
32、根据所述内存资源参数信息调整用户内存的资源分配量，得到新的用户内存资源；
33、根据所述新的用户内存资源进行任务提交。
34、此外，为实现上述目的，本专利技术还提出一种内存调整装置，所述内存调整装置包括：
35、获取模块，用于获取任务的提交历史，并根据所述提交历史确定所述任务的执行环境；
36、执行模块，用于基于所述执行环境执行所述任务，得到历史执行数据；
37、确定模块，用于获取用户自定义数据结构，基于所述用户自定义数据结构和所述历史执行数据确定用户内存推荐值；
38、调整模块，用于根据所述用户内存推荐值调整内存资源分配量。
39、此外，为实现上述目的，本专利技术还提出一种内存调整设备，所述内存调整设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的内存调整程序，所述内存调整程序配置为实现如上文所述的内存调整方法的步骤。
40、此外，为实现上述目的，本专利技术还提出一种存储介质，所述存储介质上存储有内存调整程序，所述内存调整程序被处理器执行时实现如上文所述的内存调整方法的步骤。
41、本专利技术通过获取任务的提交历史，并根据提交历史确定任务的执行环境；基于执行环境执行任务，得到历史执行数据；获取用户自定义数据结构，基于用户自定义数据结构和历史执行数据确定用户内存推荐值；根据用户内存推荐值调整内存资源分配量。通过上述方式，通过根据任务提交历史确定执行环境并执行任务，根据用户自定义数据结构和历史执行数据确定用户内存推荐值，从而调整内存资源分配量，解决了内存调整方式调参效率低、资源消耗高、成本高的问题，提高内存资源利用率，资源消耗低，调优效率高。
本文档来自技高网...【技术保护点】
1.一种内存调整方法，其特征在于，所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述获取任务的提交历史，并根据所述提交历史确定所述任务的执行环境，包括：
3.如权利要求1所述的方法，其特征在于，所述基于所述执行环境执行所述任务，得到历史执行数据，包括：
4.如权利要求3所述的方法，其特征在于，所述基于所述执行环境确定内存配置参数，包括：
5.如权利要求1所述的方法，其特征在于，所述获取用户自定义数据结构，基于所述用户自定义数据结构和所述历史执行数据确定用户内存推荐值，包括：
6.如权利要求5所述的方法，其特征在于，所述判断所述应用程序中是否存在用户自定义数据结构，包括：
7.如权利要求1至6中任一项所述的方法，其特征在于，所述根据所述用户内存推荐值调整内存资源分配量，包括：
8.一种内存调整装置，其特征在于，所述内存调整装置包括：
9.一种内存调整设备，其特征在于，所述内存调整设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的内存调整程序，所述内存调整程序配
10.一种存储介质，其特征在于，所述存储介质上存储有内存调整程序，所述内存调整程序被处理器执行时实现如权利要求1至7中任一项所述的内存调整方法。
...【技术特征摘要】
1.一种内存调整方法，其特征在于，所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述获取任务的提交历史，并根据所述提交历史确定所述任务的执行环境，包括：
3.如权利要求1所述的方法，其特征在于，所述基于所述执行环境执行所述任务，得到历史执行数据，包括：
4.如权利要求3所述的方法，其特征在于，所述基于所述执行环境确定内存配置参数，包括：
5.如权利要求1所述的方法，其特征在于，所述获取用户自定义数据结构，基于所述用户自定义数据结构和所述历史执行数据确定用户内存推荐值，包括：
6.如权利要求5所述的方法，其特征在于，所述判断所述...
【专利技术属性】
技术研发人员：明道冬，王鑫，王学建，张帆，黎晓姝，王俊巧，陈莹莹，
申请(专利权)人：中移动信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。