一种内存消耗值预估方法、装置、终端设备及存储介质制造方法及图纸

本发明专利技术涉及内存预估技术领域，公开了一种内存消耗值预估方法、装置、终端设备及存储介质，方法包括获取应用场景中内存消耗的影响因素；以所述影响因素作为输入特征构建训练数据集，基于gbdt回归建立内存消耗模型；根据所述训练数据集对所述内存消耗模型进行训练，得到训练后的内存消耗模型；根据待测试的业务场景的数据特点构造测试数据集，将所述测试数据集输入至训练后的内存消耗模型，得到内存消耗预估值。本方法能同时基于多个因素，对内存消耗进行预估。进行预估。进行预估。

【技术实现步骤摘要】
一种内存消耗值预估方法、装置、终端设备及存储介质


[0001]本专利技术涉及内存预估
，尤其涉及一种内存消耗值预估方法、装置、终端设备及存储介质。

技术介绍

[0002]目前，在生产实践当中，应用容器引擎docker由于其具有的可以移植性、环境的统一性的特点，是各种生产应用的首选的部署方式。而通过docker部署flink cep应用时候，需要根据flink cep配置参数以及处理事件的规模，对其在处理各种事件时所消耗的内存进行一个预估，以制作docker镜像时为其合理地分配计算资源。
[0003]在现有技术中，基于本地部署的测试环境，通常以人工的方式定量地测试各个因素对内存消耗的影响。例如，当要测试其中一个因素的变化对内存消耗的影响的时候，需要把其余因素保持不变，改变待测试的变量的取值，记录前后的内存使用量。因此，此种人工测试方式存在诸多的局限：
[0004]1、特征的状态空间巨大，人工测试的方式无法针对所有可能的特征取值进行测试。如“单条数据的平均大小”等属于连续型的变量，其可以在一个范围内连续地取值；
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种内存消耗值预估方法，其特征在于，包括：获取应用场景中内存消耗的影响因素；以所述影响因素作为输入特征构建训练数据集，基于gbdt回归建立内存消耗模型；根据所述训练数据集对所述内存消耗模型进行训练，得到训练后的内存消耗模型;根据待测试的业务场景的数据特点构造测试数据集，将所述测试数据集输入至训练后的内存消耗模型，得到内存消耗预估值。2.根据权利要求1所述的内存消耗值预估方法，其特征在于，所述内存消耗模型表示为：H0(x)＝0H1(x)＝H0(x)+T1(x；Θ)H2(x)＝H1(x)+T2(x；Θ)H
m
(x)＝H
m
‑1(x)+T
m
(x；Θ)其中，x为输入特征，Hm为第m步的模型，Hm
‑
1是上一轮的已知的模型，Tm就是第m轮需要加进来的cart树模型；ceta为需要学习的树的结构，包括特征分割点及叶节点的输出；表示令整体损失最小的树结构。3.根据权利要求2所述的内存消耗值预估方法，其特征在于，所述内存消耗模型的第m轮的学习目标表示为：L(y
(i)
，H
m
‑1(x
(i)
)+T
m
(x
(i)
；Θ))＝(y
(i)
‑
H
m
‑1(x
(i)
)
‑
T
m
(x
(i)
)2＝(residual
‑

【专利技术属性】
技术研发人员：付承启，江伟，郭剑，陈泳蒸，卢益谦，
申请(专利权)人：广东宜通衡睿科技有限公司，
类型：发明
国别省市：