一种基于边缘计算环境的数据资源需求预测和调整方法技术

一种基于边缘计算环境的数据资源需求预测和调整方法，步骤为：步骤1，利用数据资源需求预测模块实现特定场景的资源预测，划分边缘计算场景要素，提前获取场景处理任务所需的历史资源信息；步骤2，利用数据预测算法，对场景运转所需的资源信息做出相应预测，输出场景进行时可用的若干个数据资源模板供后续使用；步骤3，利用损失参数，评估模板准确性，包括改变参数更新模板和废弃模板重新训练；步骤4，利用资源需求预测方法得到的若干个数据资源模板信息，使用相似度思想、专家经验系数、场景偏好系数等内容，对输出的模板资源数据做可信任度划分、场景偏好性调整和专家经验调整的修正；具有提高调整资源的数量和模板的准确度，可很大程度上解决任务处理的延时问题。

A method of data resource demand forecast and adjustment based on edge computing environment

【技术实现步骤摘要】
一种基于边缘计算环境的数据资源需求预测和调整方法
本专利技术涉及边缘计算虚拟资源配置
，具体涉及一种基于虚拟资源状态的边缘计算资源预测及调整方法。
技术介绍
随着信息技术的不断发展，各种物联网设备层出不群，终端设备的不断增加，也带来了数据量的不断增加和数据处理要求的不断提升，以云计算为核心的集中式大数据处理时代，其关键技术已经不能适应高效处理边缘设备产生数据的要求。边缘计算技术应运而生，通过建立边缘端，结合边云协同，构建云端—边缘端—终端三层体系，边缘计算将本应上传到云端计算的数据就近在边缘端分解，避免了数据传输的难题和网络传输的高时延，还有电力、隐私等问题。边缘计算应用场景极其广泛，在网络信息种类不断发展提升、终端设备数据日新月异、网络传输能力不断提升的当下，从生活的各个方面，凡存在数据生产者和数据消费者的场景，就可以利用边缘计算来简化数据计算流程，优化数据处理方法，提升用户使用体验。由于边缘计算场景存在的灵活性和多变化移动性等特点，如果存在一种能提前预测到场景任务计算所需资源状态的方法，就可以为提前调度作准备，为边缘端数据计算节省相当一部分时间，综合考虑来说是合适的解决思路，可以为用户带来更佳的用户体验。本专利技术提出的一种基于LSTM的数据预测及结合损失参数调节模型，利用相似度系数、专家经验参数、场景偏好系数等来调整的数据预测输出方法。
技术实现思路
为克服上述现有技术的不足，本专利技术的目的是提供一种基于边缘计算环境的数据资源需求预测和调整方法，具有提高调整资源的数量和模板的准确度，可解决任务处理的延时的特点。为实现上述目的，本专利技术采用的技术方案是：一种基于边缘计算环境的数据资源需求预测和调整方法，其特征在于，包括以下步骤：步骤1，利用数据资源需求预测模块实现特定场景的资源预测，划分边缘计算场景要素，提前获取场景处理任务所需的历史资源信息；步骤2，利用数据预测算法，对场景运转所需的资源信息做出相应预测，输出场景进行时可用的若干个数据资源模板供后续使用；步骤3，利用损失参数，评估模板的准确性，包括改变参数更新模板和废弃模板重新训练；步骤4，利用资源需求预测方法得到的若干个数据资源模板信息，使用相似度思想、专家经验系数、场景偏好系数等内容，对输出的模板资源数据做可信任度划分、场景偏好性调整和专家经验调整的修正。所述的数据资源需求预测模块，根据边缘计算所需虚拟资源构建边缘资源度量模型，所需虚拟资源指边缘端正常处理任务时所需的物理和虚拟资源，包括：计算处理器CPU资源RESCPU；图形处理器GPU资源RESGPU；边缘端存储资源RESDISK；边缘端网络带宽资源RESBW。所述的数据资源需求预测模块，针对边缘场景资源的前后延续性和强时间关联性，利用LSTM预测算法，依据待预测资源当前t时刻的资源状态以及该资源前n个时刻的资源状态x(t)，x(t-1)，……，x(t-n+1)，结合训练的LSTM模型，预测该资源未来t+1时刻的资源状况，得到相应场景所需的虚拟资源的下一刻状态m个预测结果，称为信息模板，C1，C2，……，Cm；构建传统的LSTM模型，包含输入层，LSTM神经网络层，全连接层，输出层，每一个隐藏神经单元包括遗忘门(forgetgate)、输入门(inputgate)、输出门(outputgate)，激活函数选择sigmod，对遗忘门进行如下操作Ft＝sigmod(Wf[ht-1,yt]+bf)其中，Wf为遗忘门权重，bf为遗忘门偏移量，将上一神经单元输出门的状态，ht-1和当前的节点值yt作为sigmoid函数的输入，Ft表示当前遗忘门的输出。所述的数据资源需求预测模块，利用损失函数模块，得到损失参数σ，评估预测算法的适用程度，通常情况下，采用下面的损失函数评估模型:其中，L代表损失函数，Ф(θ)代表惩罚项，针对边缘计算场景数据的连续性，使用平方损失函数来估计损失，可以采用均方差MSE来估计：当σ超过一定的值σcertain时，对模型进行更新，调整模型参数，包括：1)若σ>0.8,则废弃模型重新训练；2)若0.8>σ>0.2,调整参数，更新模型；3)若0.2>σ，继续使用，不改变模型原有状态利用相似性检验方法，对数据资源需求预测模块得到的数据模板资源做后续适应性调整；针对边缘场景涉及到的数值型的数据，调整皮尔逊相关系数公式，利用相似性系数来对数据模板的相似性进行度量，对于具有一定相似程度的同一场景不同时刻的资源数据，为了更好的衡量不同数据的相似程度，取数据的绝对值作度量，同时，采取专家经验系数θsim，对相似性问题作修正:其中，为标准差，cov是协方差，利用相似性算法，计算预测数据模板C1和实际需求信息Cnow的相似度系数ρ，设定相似度ρ大于某个特定值ρcertain时，数据有价值，可以采用；按顺序取ρi>ρcertain的N个ρ1，ρ2，……，ρN与其对应的N个模板信息(C1，C2，……，Cn)，这N个模板即为相似度合格的可信任模板。根据不同的场景，分析预测到的N个模板信息C1，C2，……，Cn，将场景划分为偏时间型，偏存储型，偏传输型三种类型，对每一种类型赋予不同的场景偏好系数I，来动态化的调节资源数量；对于其中要用到的资源数量，根据C1，C2，……，Cn不同模板中预测到的资源数量，设定某个模板中特定的资源如下：对于C1中的CPU资源记为CPUC1，CN中的CPU资源记为CPUCN，对于C1中的GPU资源记为GPUG1，CN中的GPU资源记为GPUGN对于C1中的存储资源记为DISKD1，CN中的存储资源记为DISKDN对于C1中的网络带宽资源记为BWBW1，CN中的网络带宽资源记为BWBWN对于确定的场景中，对预测出来N个不同的资源模板，利用上面求出的相似度系数来分配信任关系，综合资源的配给；1)对于计算处理器CPU资源，最终所需资源记为RESCPU2)对于图形处理器GPU资源，最终所需资源记为RESGPU3)对于存储资源，最终所需资源记为RESDISK4)对于网络带宽资源，最终所需资源记为RESBW对场景所需的必要资源做出判断后，利用场景偏好系数分门别类地优化资源信息，这里针对不同的资源数值关系，做出场景种类的判定，如下：第1，令令若PRESCPU+PRESGPU>0.7，则场景属于偏时间型场景第2，令若PRESDISK>0.4，则场景属于偏存储型场景第3，令若PRESBW>0.4，则场景属于偏传输型场景针对不同的场景，设定场景偏好系数I，偏好系数包括ICPU，IGPU，IDISK，IBW，设定专家经验系数θres，所得偏本文档来自技高网...

【技术保护点】
1.一种基于边缘计算环境的数据资源需求预测和调整方法，其特征在于，包括以下步骤：/n步骤1，利用数据资源需求预测模块实现特定场景的资源预测，划分边缘计算场景要素，提前获取场景处理任务所需的历史资源信息；/n步骤2，利用数据预测算法，对场景运转所需的资源信息做出相应预测，输出场景进行时可用的若干个数据资源模板供后续使用；/n步骤3，利用损失参数，评估模板的准确性，包括改变参数更新模板和废弃模板重新训练；/n步骤4，利用资源需求预测方法得到的若干个数据资源模板信息，使用相似度思想、专家经验系数、场景偏好系数等内容，对输出的模板资源数据做可信任度划分、场景偏好性调整和专家经验调整的修正。/n

【技术特征摘要】
1.一种基于边缘计算环境的数据资源需求预测和调整方法，其特征在于，包括以下步骤：
步骤1，利用数据资源需求预测模块实现特定场景的资源预测，划分边缘计算场景要素，提前获取场景处理任务所需的历史资源信息；
步骤2，利用数据预测算法，对场景运转所需的资源信息做出相应预测，输出场景进行时可用的若干个数据资源模板供后续使用；
步骤3，利用损失参数，评估模板的准确性，包括改变参数更新模板和废弃模板重新训练；
步骤4，利用资源需求预测方法得到的若干个数据资源模板信息，使用相似度思想、专家经验系数、场景偏好系数等内容，对输出的模板资源数据做可信任度划分、场景偏好性调整和专家经验调整的修正。


2.根据权利要求1所述的一种基于边缘计算环境的数据资源需求预测和调整方法，其特征在于，所述的数据资源需求预测模块，根据边缘计算所需虚拟资源构建边缘资源度量模型，所需虚拟资源指边缘端正常处理任务时所需的物理和虚拟资源，包括：
计算处理器CPU资源RESCPU；
图形处理器GPU资源RESGPU；
边缘端存储资源RESDISK；
边缘端网络带宽资源RESBW。


3.根据权利要求1所述的一种基于边缘计算环境的数据资源需求预测和调整方法，其特征在于，所述的数据资源需求预测模块，针对边缘场景资源的前后延续性和强时间关联性，利用LSTM预测算法，依据待预测资源当前t时刻的资源状态以及该资源前n个时刻的资源状态x(t)，x(t-1)，……，x(t-n+1)，结合训练的LSTM模型，预测该资源未来t+1时刻的资源状况，得到相应场景所需的虚拟资源的下一刻状态m个预测结果，称为信息模板，C1，C2，……，Cm；
构建传统的LSTM模型，包含输入层，LSTM神经网络层，全连接层，输出层，每一个隐藏神经单元包括遗忘门(forgetgate)、输入门(inputgate)、输出门(outputgate)，激活函数选择sigmod，对遗忘门进行如下操作
Ft＝sigmod(Wf[ht-1,yt]+bf)
其中，Wf为遗忘门权重，bf为遗忘门偏移量，将上一神经单元输出门的状态，ht-1和当前的节点值yt作为sigmoid函数的输入，Ft表示当前遗忘门的输出。


4.根据权利要求1所述的一种基于边缘计算环境的数据资源需求预测和调整方法，其特征在于，所述的数据资源需求预测模块，利用损失函数模块，得到损失参数σ，评估预测算法的适用程度，通常情况下，采用下面的损失函数评估模型:



其中，L代表损失函数，Ф(θ)代表惩罚项，
针对边缘计算场景数据的连续性，使用平方损失函数来估计损失，可以采用均方差MSE来估计：



当σ超过一定的值σcertain时，对模型进行更新，调整模型参数，包括：
1)若σ>0.8,则废弃模型重新训练；
2)若0.8>σ>0.2,调整参数，更新模型；
3)若0.2>σ，继续使用，不改变模型原有状态。


5.根据权利要求1所述的一种基于边缘计算环境的数据资源需求预测和调整方法，其特征在于，利用相似性检验...

【专利技术属性】
技术研发人员：高岭，王文涛，牛秀娟，吴旭东，高全力，
申请(专利权)人：西北大学，
类型：发明
国别省市：陕西;61