一种针对输电巡检非结构化大数据稀疏存储方法及系统技术方案

本发明专利技术属于磁盘容量监控领域，提供了一种针对输电巡检非结构化大数据稀疏存储方法及系统，包括实时采集磁盘的占用容量和磁盘的固定容量；基于磁盘当前的占用容量，利用预先训练好的自回归滑动平均模型预测磁盘容量未来占用率；判断磁盘容量未来占用率是否大于占用率阈值；如果超过占用率阈值，则基于最优稀疏策略调整存储策略，并根据调整后的存储策略重新预测新的磁盘容量未来占用率。通过采用磁盘容量预测算法模型预测的预警结果触发稀疏存储策略，提前预警防止真实告警出现；基于预警事件触发稀疏存储策略修正，根据该应用服务器的真实数据反馈得到的最优策略，比人为计算更为简单且有效。为简单且有效。为简单且有效。

【技术实现步骤摘要】
一种针对输电巡检非结构化大数据稀疏存储方法及系统


[0001]本专利技术属于磁盘容量监控
，具体涉及一种针对输电巡检非结构化大数据稀疏存储方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]据查，目前海量数据的存储，以及增量稳定持续的相关软件系统，在对待数据存储的问题上多采用监控告警发现，人工处理或自动扩容方式，或者数据结构上优化降低存储空间占用，当出现硬件无法扩容，数据必须要做出取舍时，大多是结合业务按照固定时长的去备份转移数据，或者删除过期数据保证存储空间的可用性。
[0004]以上方案在针对服务器硬件资源的可持续性使用，硬件存储资源的预警、自动化维护磁盘空间方面没有做到有紧密的结合，从告警到处理各环节都需要人为介入调控。
[0005]虽然依据设置固定阈值方式做磁盘存储空间达到一定程度上的预警，但是不能保证磁盘的瞬时增加风险和无法提高磁盘存储的有效利用率。例如阈值为占用百分之80预警，系统告警到人为处理过程中，系统业务发生激增，或者系统运行情况变化导致各种数据的指数性增长，这样无法快速的处理保证磁盘空间可用进而保证系统稳定。

技术实现思路

[0006]为了解决上述问题，本专利技术提出了一种针对输电巡检非结构化大数据稀疏存储方法及系统，本专利技术提高服务器资源的有效利用率，降低运维人员的工作复杂度，更好的维护服务器运行的稳定性，一定程度上达到降本增效的目的。
[0007]根据一些实施例，本专利技术的第一方案提供了一种针对输电巡检非结构化大数据稀疏存储方法，采用如下技术方案：
[0008]一种针对输电巡检非结构化大数据稀疏存储方法，包括：
[0009]实时采集磁盘的占用容量和磁盘的固定容量；
[0010]基于磁盘当前的占用容量，利用预先训练好的自回归滑动平均模型预测磁盘容量未来占用率；
[0011]判断磁盘容量未来占用率是否大于占用率阈值；
[0012]如果超过占用率阈值，则基于最优稀疏策略调整存储策略，并根据调整后的存储策略重新预测新的磁盘容量未来占用率，如果新的磁盘容量未来占用率符合占用率阈值则根据调整后的存储策略进行存储，反之，则继续调整。
[0013]进一步地，所述自回归滑动平均模型的训练过程，具体为：
[0014]采集周期内的磁盘占用容量以及磁盘固定容量；
[0015]基于磁盘固定容量和周期内的磁盘占用容量构成数据集；
[0016]根据数据集训练自回归滑动平均模型，得到训练好的自回归滑动平均模型；
[0017]继续采集下一个周期内的磁盘占用容量以及磁盘固定容量；
[0018]根据周期内的磁盘占用容量以及磁盘固定容量以及下一个周期内的磁盘占用容量以及磁盘固定容量，构成新的数据集；
[0019]利用新的数据集优化训练好的自回归滑动平均模型；
[0020]以此类推，重复上述过程，得到训练好的自回归滑动平均模型。
[0021]进一步地，所述周期内磁盘占用容量包括固定目录容量和服务运行日志，其中，固定目录容量包括媒体资源数据容量和中间件容量。
[0022]进一步地，所述基于最优稀疏策略调整存储策略，包括：
[0023]根据磁盘固定容量、磁盘剩余容量、备用磁盘容量以及每日增量确定磁盘支持全量留存的数据时长；
[0024]结合业务意向时长，确定业务意向时长与磁盘支持全量留存的数据时长的差异；
[0025]如果业务意向时长小于磁盘支持全量留存的数据时长，则根据磁盘的剩余容量确定最优稀疏存储策略；
[0026]如果基于最优稀疏存储策略进行存储时，磁盘的占用率小于等于占用率阈值线时，则调整数据格式并压缩转移至备用磁盘。
[0027]进一步地，根据磁盘固定容量、磁盘剩余容量、备用磁盘容量以及每日增量确定磁盘支持全量留存的数据时长，具体为：
[0028]磁盘剩余容量
÷
(每日增量*(媒体文件实际占用磁盘空间大小
÷
原始数据大小))*磁盘IO系数；
[0029]其中，原始数据大小由业务应用程序运行过程中计算得到；磁盘IO系数为应用正常运行占用磁盘IO磁盘缓存的值。
[0030]进一步地，如果业务意向时长小于磁盘支持全量留存的数据时长，则根据磁盘的剩余容量确定最优稀疏存储策略，包括：
[0031]所述最优稀疏存储策略具体是最大程度的保证每个终端装置拍摄的媒体数据在以天为单位的时间连续性，在不影响存储业务的正常运行情况下延长留存时间；
[0032]所述最优稀疏存储策略的计算公式为：
[0033]磁盘剩余容量
÷
(输电应用终端数量*留存媒体数【x】*单文件实际占用磁盘空间大小*风险系数*磁盘IO系数)；
[0034]其中，所述风险系数为自回归滑动平均模型运行中遇到激增情况出现的估算值；磁盘IO系数为应用正常运行占用磁盘IO磁盘缓存的值，服务器磁盘采集脚本运行时得到的文件占用空间的实际大小。
[0035]进一步地，所述调整数据格式并压缩转移至备用磁盘，转移数据量，具体为：
[0036](依据算法预测x天后超出的磁盘容量值
‑
占用率阈值*磁盘固定容量)*10％＝转移的存储数据大小；
[0037]转移的存储数据大小
÷
(媒体文件实际占用磁盘空间大小*磁盘IO系数)＝转移的媒体文件数。
[0038]根据一些实施例，本专利技术的第二方案提供了一种针对输电巡检非结构化大数据稀疏存储系统，采用如下技术方案：
[0039]一种针对输电巡检非结构化大数据稀疏存储系统，包括：
[0040]数据采集模块，被配置为实时采集磁盘的占用容量和磁盘的固定容量；
[0041]磁盘容量未来占用率预测模块，被配置为基于磁盘当前的占用容量，利用预先训练好的自回归滑动平均模型预测磁盘容量未来占用率；
[0042]磁盘容量调整模块，被配置为判断磁盘容量未来占用率是否大于占用率阈值；
[0043]如果超过占用率阈值，则基于最优稀疏策略调整存储策略，并根据调整后的存储策略重新预测新的磁盘容量未来占用率，如果新的磁盘容量未来占用率符合占用率阈值则根据调整后的存储策略进行存储，反之，则继续调整。
[0044]根据一些实施例，本专利技术的第三方案提供了一种计算机可读存储介质。
[0045]一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一个方面所述的一种针对输电巡检非结构化大数据稀疏存储方法中的步骤。
[0046]根据一些实施例，本专利技术的第四方案提供了一种计算机设备。
[0047]一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一个方面所述的一种针对输电巡检非结构化大数据稀疏存储方法中的步骤。
[0048]与现有技本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对输电巡检非结构化大数据稀疏存储方法，其特征在于，包括：实时采集磁盘的占用容量和磁盘的固定容量；基于磁盘当前的占用容量，利用预先训练好的自回归滑动平均模型预测磁盘容量未来占用率；判断磁盘容量未来占用率是否大于占用率阈值；如果超过占用率阈值，则基于最优稀疏策略调整存储策略，并根据调整后的存储策略重新预测新的磁盘容量未来占用率，如果新的磁盘容量未来占用率符合占用率阈值则根据调整后的存储策略进行存储，反之，则继续调整。2.如权利要求1所述的一种针对输电巡检非结构化大数据稀疏存储方法，其特征在于，所述自回归滑动平均模型的训练过程，具体为：采集周期内的磁盘占用容量以及磁盘固定容量；基于磁盘固定容量和周期内的磁盘占用容量构成数据集；根据数据集训练自回归滑动平均模型，得到训练好的自回归滑动平均模型；继续采集下一个周期内的磁盘占用容量以及磁盘固定容量；根据周期内的磁盘占用容量以及磁盘固定容量以及下一个周期内的磁盘占用容量以及磁盘固定容量，构成新的数据集；利用新的数据集优化训练好的自回归滑动平均模型；以此类推，重复上述过程，得到训练好的自回归滑动平均模型。3.如权利要求2所述的一种针对输电巡检非结构化大数据稀疏存储方法，其特征在于，所述周期内磁盘占用容量包括固定目录容量和服务运行日志，其中，固定目录容量包括媒体资源数据容量和中间件容量。4.如权利要求1所述的一种针对输电巡检非结构化大数据稀疏存储方法，其特征在于，所述基于最优稀疏策略调整存储策略，包括：根据磁盘固定容量、磁盘剩余容量、备用磁盘容量以及每日增量确定磁盘支持全量留存的数据时长；结合业务意向时长，确定业务意向时长与磁盘支持全量留存的数据时长的差异；如果业务意向时长小于磁盘支持全量留存的数据时长，则根据磁盘的剩余容量确定最优稀疏存储策略；如果基于最优稀疏存储策略进行存储时，磁盘的占用率小于等于占用率阈值线时，则调整数据格式并压缩转移至备用磁盘。5.如权利要求4所述的一种针对输电巡检非结构化大数据稀疏存储方法，其特征在于，根据磁盘固定容量、磁盘剩余容量、备用磁盘容量以及每日增量确定磁盘支持全量留存的数据时长，具体为：磁盘剩余容量
÷
(每日增量*(媒体文件实际占用磁盘空间大小
÷
原始数据大小))*磁盘IO系数；其中，原始数据大小由业务应用程序运行过程中计算得到；磁盘IO系数为应用正常运行占用...

【专利技术属性】
技术研发人员：巩方波，纪洪伟，焦之明，陈杰，贺子玉，冯飞，傅晓，王宁，马云永，姜涛，冯鑫，王倩倩，张延响，杨勇，宋军，邹昊，
申请(专利权)人：山东鲁软数字科技有限公司智慧能源分公司，
类型：发明
国别省市：