基于数据湖技术电厂机组存储资源实时评估方法及系统技术方案

本发明专利技术公开了一种基于数据湖技术电厂机组存储资源实时评估方法及系统，包括依次连接的资源数据湖存储系统、数据湖数据模型和数据资源量计算系统，数据湖数据模型内部具有关系型数据库和设备测点历史相关性模型，数据资源量计算系统用于计算日机组测点预测负荷、所有机组在计划时间的数据资源量及根据资源数据湖存储系统剩余容量信息并计算剩余使用时间。本发明专利技术根据数据湖数据模型得出设备测点的偏差系数并能实时计算出日机组测点预测负荷，能够自动实时评估存储资源情况、剩余耗用时长与按照计划时间评估出合理、准确的采购计划清单，也可分析与预测资源消耗态势及趋势。也可分析与预测资源消耗态势及趋势。也可分析与预测资源消耗态势及趋势。

【技术实现步骤摘要】
基于数据湖技术电厂机组存储资源实时评估方法及系统


[0001]本专利技术涉及能源数据资源领域，尤其涉及一种基于数据湖技术电厂机组存储资源实时评估方法及系统。

技术介绍

[0002]能源企业的电厂机组需要进行大数据实时采集，比如火电厂的机组需要实时进行大数据采集，相比传统的数据采集而言，测点类型繁杂，数据量大，产生速度快，采集消耗的存储资源大的惊人，往往短时间内就能达到PB级以上的规模。对于能源企业的存储资源的占用情况及评估大多采用专家法来评估的，靠专业技术人员的经验预估一定的资源量，用来指导软硬件资源的采购。但专家法严重依赖专家个人能力和经验，在实际采购工作中，容易出现任务上线运行半年，消耗的存储资源超过预算采购存储资源量的60％，乃至80％以上。能源企业电厂机组实时大数据采集存储资源存在评估不精确的技术困境，如何事前准确、合理的评估存储资源是能源企业制定采购计划及评估剩余耗用时间亟待解决的技术难题。

技术实现思路

[0003]为了解决
技术介绍
存在的技术问题，本专利技术的目的在于提供一种基于数据湖技术电厂机组存储资源实时评估方法及系统，能够通过电厂机组实时数据采集工作占用数据湖资源与数据现用资源量情况，动态分析并反馈数据湖资源的使用情况，能够快速自动实时评估数据采集占用数据湖存储资源情况，得出资源剩余耗用时长，并能按照计划时间得出存储资源采购计划。
[0004]本专利技术的目的通过下述技术方案实现：
[0005]一种基于数据湖技术电厂机组存储资源实时评估方法，包括资源数据湖存储系统，其方法如下：
[0006]S1、构建数据湖数据模型，数据湖数据模型中存储有关系型数据库，关系型数据库按照电厂、机组、设备、设备测点进行层级关系构建，设备测点包括测点采集频率；设备测点对应安装于设备上，设备测点按照采集频率对应采集设备的运行数据并进行数据是否变化判断，若在本次采集频率采集设备的运行数据与上次采集频率采集设备的运行数据有变化，则上传变化后的数据至资源数据湖存储系统；以设备测点按照采集频率满负荷采集设备运行数据的数据容量作为容量数据理论负荷；
[0007]S2、数据湖数据模型按照关系型数据库实时统计资源数据湖存储系统中设备测点所对应的测点容量，数据湖数据模型根据设备测点的历史测点容量数据构建设备测点历史相关性模型，设备测点历史相关性模型按照电厂、机组、设备、设备测点、测点容量、单位时间测点平均容量、采集频率、容量数据理论负荷、单位时间平均理论负荷关联构建，单位时间测点平均容量根据测点容量进行单位时间迭代平均计算并更新，单位时间平均理论负荷根据容量数据理论负荷进行单位迭代平均计算并更新；
[0008]S3、按照如下公式计算出设备测点的偏差系数：
[0009]偏差系数＝单位时间测点平均容量/单位时间平均理论负荷；
[0010]按照如下公式计算日机组测点预测负荷：
[0011]其中i代表机组下的设备测点，P
i
表示设备测点i单位时间理论负荷，Cs
i
表示设备测点i的偏差系数，K表示副本数；
[0012]S4、计算所有机组在计划时间的数据资源量，根据数据资源量制定资源数据湖存储系统的采购计划；汇总计算所有机组的日机组测点预测负荷，采集资源数据湖存储系统剩余容量信息并计算出剩余使用时间。
[0013]为了更好地实现本专利技术，本专利技术还包括如下方法：
[0014]S5、根据设备测点历史相关性模型按照电厂、机组、设备层级计算设备测点的测点容量、单位时间测点平均容量、单位时间平均理论负荷的变动趋势，并统计出设备测点的耗用序列。
[0015]作为本专利技术的优选技术方案，本专利技术在步骤S3中，构建回归训练模型，回归训练模型按照设备测点构建自变量与因变量基本模型并回归统计计算偏差系数，自变量包括机组、设备、设备测点、测点容量、容量数据理论负荷，因变量为设备测点的偏差系数。
[0016]作为本专利技术的优选技术方案，本专利技术步骤S3替换采用如下方法：构建回归训练模型，回归训练模型按照机组构建自变量与因变量基本模型并回归统计计算机组偏差系数，自变量包括机组、机组下测点容量、机组下容量数据理论负荷，因变量为机组的偏差系数；按照如下公式计算日机组测点预测负荷：
[0017]其中j代表机组，P
j
表示机组j单位时间理论负荷，Cs
j
表示机组j的偏差系数，K表示副本数。
[0018]作为本专利技术的优选技术方案，本专利技术根据日机组测点预测负荷分别得到包括周、月、年在内时间级别所对应的机组测点预测负荷。
[0019]作为本专利技术的优选技术方案，本专利技术在计算偏差系数时，对于设备测点不在设备测点历史相关性模型中采用相关性分析找出最相关的设备测点数据并以最相关的设备测点数据作为设备测点的预测偏差系数，相关性分析所采用的相关属性包括机组、机组权重、设备、设备权重。
[0020]一种基于数据湖技术电厂机组存储资源实时评估系统，包括若干个电厂、依次连接的资源数据湖存储系统、数据湖数据模型和数据资源量计算系统，每个电厂包括若干个机组，每个机组包括若干个设备，设备上对应安装有设备测点，设备测点按照采集频率对应采集设备的运行数据并进行数据是否变化判断，若在本次采集频率采集设备的运行数据与上次采集频率采集设备的运行数据有变化，则上传变化后的数据至资源数据湖存储系统；所述数据湖数据模型内部具有关系型数据库和设备测点历史相关性模型，关系型数据库按照电厂、机组、设备、设备测点进行层级关系构建，设备测点包括测点采集频率，设备测点历史相关性模型按照电厂、机组、设备、设备测点、测点容量、单位时间测点平均容量、采集频率、容量数据理论负荷、单位时间平均理论负荷关联构建，单位时间测点平均容量根据测点
容量进行单位时间迭代平均计算并更新，单位时间平均理论负荷根据容量数据理论负荷进行单位迭代平均计算并更新；所述数据资源量计算系统用于计算日机组测点预测负荷、所有机组在计划时间的数据资源量及根据资源数据湖存储系统剩余容量信息并计算剩余使用时间。
[0021]作为优选，所述数据资源量计算系统内部包括回归训练模型，回归训练模型按照设备测点构建自变量与因变量基本模型并回归统计计算偏差系数，自变量包括机组、设备、设备测点、测点容量、容量数据理论负荷，因变量为设备测点的偏差系数。
[0022]本专利技术较现有技术相比，具有以下优点及有益效果：
[0023](1)本专利技术能够通过电厂机组实时数据采集工作占用数据湖资源与数据现用资源量情况，动态分析并反馈数据湖资源的使用情况，能够快速自动实时评估数据采集占用数据湖存储资源情况，得出资源剩余耗用时长，并能按照计划时间得出存储资源采购计划。
[0024](2)本专利技术通过历史数据同步汇总，基于线性回归算法对已完成的火电厂机组实时数据采集态势及趋势进行分析及预测，计算出待采集的火电厂机组实时测点的测点实际负载率，形成实时测点采集负载率的数据库，也便于实现未建测点的相关性分析。
[002本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据湖技术电厂机组存储资源实时评估方法，包括资源数据湖存储系统，其特征在于：其方法如下：S1、构建数据湖数据模型，数据湖数据模型中存储有关系型数据库，关系型数据库按照电厂、机组、设备、设备测点进行层级关系构建，设备测点包括测点采集频率；设备测点对应安装于设备上，设备测点按照采集频率对应采集设备的运行数据并进行数据是否变化判断，若在本次采集频率采集设备的运行数据与上次采集频率采集设备的运行数据有变化，则上传变化后的数据至资源数据湖存储系统；以设备测点按照采集频率满负荷采集设备运行数据的数据容量作为容量数据理论负荷；S2、数据湖数据模型按照关系型数据库实时统计资源数据湖存储系统中设备测点所对应的测点容量，数据湖数据模型根据设备测点的历史测点容量数据构建设备测点历史相关性模型，设备测点历史相关性模型按照电厂、机组、设备、设备测点、测点容量、单位时间测点平均容量、采集频率、容量数据理论负荷、单位时间平均理论负荷关联构建，单位时间测点平均容量根据测点容量进行单位时间迭代平均计算并更新，单位时间平均理论负荷根据容量数据理论负荷进行单位迭代平均计算并更新；S3、按照如下公式计算出设备测点的偏差系数：偏差系数＝单位时间测点平均容量/单位时间平均理论负荷；按照如下公式计算日机组测点预测负荷：其中i代表机组下的设备测点，P
i
表示设备测点i单位时间理论负荷，Cs
i
表示设备测点i的偏差系数，K表示副本数；S4、计算所有机组在计划时间的数据资源量，根据数据资源量制定资源数据湖存储系统的采购计划；汇总计算所有机组的日机组测点预测负荷，采集资源数据湖存储系统剩余容量信息并计算出剩余使用时间。2.按照权利要求1所述的基于数据湖技术电厂机组存储资源实时评估方法，其特征在于：还包括如下方法：S5、根据设备测点历史相关性模型按照电厂、机组、设备层级计算设备测点的测点容量、单位时间测点平均容量、单位时间平均理论负荷的变动趋势，并统计出设备测点的耗用序列。3.按照权利要求1所述的基于数据湖技术电厂机组存储资源实时评估方法，其特征在于：在步骤S3中，构建回归训练模型，回归训练模型按照设备测点构建自变量与因变量基本模型并回归统计计算偏差系数，自变量包括机组、设备、设备测点、测点容量、容量数据理论负荷，因变量为设备测点的偏差系数。4.按照权利要求1所述的基于数据湖技术电厂机组存储资源实时评估方法，其特征在于：步骤S3替换采用如下方法：构建...

【专利技术属性】
技术研发人员：史文强，于瑞雪，张美然，吴宇杰，
申请(专利权)人：国能网信科技北京有限公司徐州天露中矿矿业科技有限公司，
类型：发明
国别省市：