一种基于大数据应用的监控数据分析存储管理系统技术方案

本发明专利技术涉及一种基于大数据应用的监控数据分析存储管理系统，包括，数据库、监控模块、分析模块、储存模块。本发明专利技术通过在监控模块中设置预设监控信息对数据库中的数据进行监控标记，通过在分析模块内设置来源信息对已标记的数据进行筛选，形成筛选数据组，实现了多级的信息筛选，通过分析模块根据筛选数据组种各数据的字符量对各数据进行排序，形成排序数据组，使数据顺序提取，储存模块根据预计占存空间并与标准储存空间范围对排序数据组顺序调整，储存模块通过数据缺失值确定各数据的保留或删除，通过各数据的删除量对排序数据组顺序调整，减少了数据储存时出现缺失的现象，实现数据的智能选取储存，提高了数据储存效率。提高了数据储存效率。提高了数据储存效率。

【技术实现步骤摘要】
一种基于大数据应用的监控数据分析存储管理系统


[0001]本专利技术涉及数据储存
，尤其涉及一种基于大数据应用的监控数据分析存储管理系统。

技术介绍

[0002]数据存储对象包括数据流在加工过程中产生的临时文件或加工过程中需要查找的信息，数据以某种格式记录在计算机内部或外部存储介质上，数据存储要命名，这种命名要反映信息特征的组成含义，数据流反映了系统中流动的数据，表现出动态数据的特征；数据存储反映系统中静止的数据，表现出静态数据的特征。
[0003]在现有的数据储存管理系统中，往往使用手动选取命名储存的方法，不能够做到自动的分析选取储存，而且在储存过程中，也存在由于对储存空间的控制不足，数据储存顺序不调整，导致重要数据缺失，储存设备超流通储存而使用寿命降低的现象。

技术实现思路

[0004]为此，本专利技术提供一种基于大数据应用的监控数据分析存储管理系统，用以克服现有技术中缺乏智能选取储存、储存数据出现缺失的问题。
[0005]为实现上述目的，本专利技术提供一种基于大数据应用的监控数据分析存储管理系统，包括，
[0006]数据库，其内部设有企业运行数据；
[0007]监控模块，其与所述数据库相连，所述监控模块内设有预设监控信息A，监控模块能够根据预设监控信息A在数据库中对相关数据进行标记；所述监控模块还能够对所述数据库中的数据进行提取；
[0008]分析模块，其与所述监控模块、所述数据库分别相连，所述分析模块能够根据各已标记的数据的来源信息B对已标记的数据进行筛选，并形成筛选数据组；所述分析模块能够根据筛选数据组中各数据的字符量对各数据进行排序，并将各数据进行编号，形成排序数据组；
[0009]储存模块，其与所述监控模块、所述分析模块分别相连，所述储存模块能够接收监控模块提取的各数据，并对各数据进行储存；所述储存模块内设有标准储存空间，储存模块能够计算各数据的预计占存空间，储存模块能够根据各数据的预计占存空间与标准储存空间对排序数据组进行调整；所述储存模块能根据排序数据组中各数据的字符量与各数据的实际占存空间计算各数据的数据缺失值，储存模块内设有标准数据缺失范围，储存模块能够根据各数据的数据缺失值与标准数据确实范围判定对各数据的保留或删除；所述储存模块还能够根据各数据的删除量对排序数据组进行调整，完成数据的监控储存。
[0010]进一步地，所述监控模块内设有预设监控信息A，监控模块将所述外部数据库中对带有预设监控信息A的数据标记为一级数据，所述分析模块内设有来源信息B，分析模块获取各所述一级数据的来源信息Ba，分析模块将设置的来源信息B与各所述一级数据的来源
信息Ba进行对比，并选择各所述一级数据中来源信息Ba为设定的来源信息B的数据做为筛选数据组。
[0011]进一步地，所述分析模块获取所述筛选数据组中各数据的字节量，分析模块将筛选数据组中各数据按照字节量从大到小的顺序对筛选数据组中各数据进行排序，并根据各数据的排序顺序对各数据进行编号；
[0012]在所述分析模块对各数据进行排序时，分析模块获取字节量相同的各数据与预设监控信息A的相关度，分析模块按照相关度的由高到低对字节量相同的各数据进行排序也编号，形成排序数据组。
[0013]进一步地，所述储存模块内设有标准储存空间Gb与标准储存空间差ΔGb，当所述储存模块准备接收所述监控模块提取的各数据时，储存模块计算所述排序数据组中各数据的总预计占存空间Gy，储存模块计算总预计占存空间差ΔGy，ΔGy＝|Gb
‑
Gy|，储存模块将总预计占存空间差ΔGy与标准储存空间差ΔGb进行对比，
[0014]当ΔGy≤ΔGb时，所述储存模块判定总预计占存空间在标准储存空间范围内，储存模块能够对所述排序数据组内的各数据进行储存；
[0015]当ΔGy＞ΔGb时，所述储存模块判定总预计占存空间不在标准储存空间范围内，储存模块将总预计占存空间Gy与标准储存空间Gb进行对比，以确定对所述排序数据组内的各数据的储存。
[0016]进一步地，当所述储存模块判定总预计占存空间不在标准储存空间范围内时，储存模块将总预计占存空间Gy与标准储存空间Gb进行对比，
[0017]当Gy＞Gb时，所述储存模块判定总预计占存空间高于标准储存空间，所述分析模块将对所述排序数据组进行重新排序，以对排序数据组的各数据进行储存；
[0018]当Gy＜Gb时，所述储存模块判定总预计占存空间低于标准储存空间，储存模块将按照所述排序数据组内各数据的排序对各数据进行接收储存。
[0019]进一步地，当所述储存模块判定总预计占存空间高于标准储存空间时，储存模块将标准储存空间Gb与总预计占存空间差ΔGy进行对比，
[0020]当ΔGy≤Gb时，所述储存模块判定总预计占存空间差未超过标准储存空间，储存模块将对所述排序数据组按照编号顺序拆分为两组，其中，整体编号小的数据组为第一数据组，整体编号大的数据组为第二数据组；所述储存模块将对所述第一数据组内的各数据进行接收储存；所述分析模块将计算所述第二数据组内的各数据的价值评价，分析模块将按照价值评价值的从大到小对第二数据组内的各数据进行排序；在所述储存模块完成对所述第一数据组的接收储存后，储存模块将按照按照所述第二数据组内各数据的排序对各数据进行接收储存，直至所述储存模块内的实际储存量达到最大值时，停止对各数据的储存；
[0021]当ΔGy＞Gb时，所述储存模块判定总预计占存空间差超过标准储存空间，储存模块将按照按照所述排序数据组内各数据的排序对各数据进行接收储存，直至所述储存模块内的实际储存量达到最大值时，停止对各数据的储存。
[0022]进一步地，当所述储存模块在对各数据进行接收储存时，储存模块检测各以接收储存的各数据的实际占存空间，储存模块根据以接收储存各数据的字节量计算各数据的预计占存空间，储存模块将任一数据的实际占存空间Gs与该数据的预计占存空间Gj进行对比，
[0023]当Gs＝Gj时，所述储存模块判定该数据的实际占存空间等于预计占存空间，完成该数据的储存；
[0024]当Gs＜Gj时，所述储存模块判定该数据的实际占存空间小于预计占存空间，储存模块将根据该数据的实际占存空间Gs与预计占存空间Gj的差值对该数据进行缺失判定，以确定该数据是否保留。
[0025]进一步地，所述储存模块内设有最大缺失值Gz，当储存模块判定该数据的实际占存空间小于预计占存空间时，储存模块将计算该数据的缺失值Gq，Gq＝Gj
‑
Gs，储存模块将该数据的缺失值Gq与最大缺失值Gz进行对比，
[0026]当Gq≥Gz时，所述储存模块判断该数据的缺失值达到最大缺失值标准，储存模块将删除该数据，储存模块将对剩余总预计占存空间的判断，以对剩余数据进行储存；
[0027]当Gq＜Gz时，所述储存模块判断该数据的缺失值未达到最大缺失值标准，储存模块将保留该数据，完成对该数据的储存。
[0028]进一步本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据应用的监控数据分析存储管理系统，其特征在于，包括，数据库，其内部设有企业运行数据；监控模块，其与所述数据库相连，所述监控模块内设有预设监控信息A，监控模块能够根据预设监控信息A在数据库中对相关数据进行标记；所述监控模块还能够对所述数据库中的数据进行提取；分析模块，其与所述监控模块、所述数据库分别相连，所述分析模块能够根据各已标记的数据的来源信息B对已标记的数据进行筛选，并形成筛选数据组；所述分析模块能够根据筛选数据组中各数据的字符量对各数据进行排序，并将各数据进行编号，形成排序数据组；储存模块，其与所述监控模块、所述分析模块分别相连，所述储存模块能够接收监控模块提取的各数据，并对各数据进行储存；所述储存模块内设有标准储存空间，储存模块能够计算各数据的预计占存空间，储存模块能够根据各数据的预计占存空间与标准储存空间对排序数据组进行调整；所述储存模块能根据排序数据组中各数据的字符量与各数据的实际占存空间计算各数据的数据缺失值，储存模块内设有标准数据缺失范围，储存模块能够根据各数据的数据缺失值与标准数据确实范围判定对各数据的保留或删除；所述储存模块还能够根据各数据的删除量对排序数据组进行调整，完成数据的监控储存。2.根据权利要求1所述的基于大数据应用的监控数据分析存储管理系统，其特征在于，所述监控模块内设有预设监控信息A，监控模块将所述外部数据库中对带有预设监控信息A的数据标记为一级数据，所述分析模块内设有来源信息B，分析模块获取各所述一级数据的来源信息Ba，分析模块将设置的来源信息B与各所述一级数据的来源信息Ba进行对比，并选择各所述一级数据中来源信息Ba为设定的来源信息B的数作为筛选数据组。3.根据权利要求2所述的基于大数据应用的监控数据分析存储管理系统，其特征在于，所述分析模块获取所述筛选数据组中各数据的字节量，分析模块将筛选数据组中各数据按照字节量从大到小的顺序对筛选数据组中各数据进行排序，并根据各数据的排序顺序对各数据进行编号；在所述分析模块对各数据进行排序时，分析模块获取字节量相同的各数据与预设监控信息A的相关度，分析模块按照相关度的由高到低对字节量相同的各数据进行排序也编号，形成排序数据组。4.根据权利要求3所述的基于大数据应用的监控数据分析存储管理系统，其特征在于，所述储存模块内设有标准储存空间Gb与标准储存空间差ΔGb，当所述储存模块准备接收所述监控模块提取的各数据时，储存模块计算所述排序数据组中各数据的总预计占存空间Gy，储存模块计算总预计占存空间差ΔGy，ΔGy＝|Gb
‑
Gy|，储存模块将总预计占存空间差ΔGy与标准储存空间差ΔGb进行对比，当ΔGy≤ΔGb时，所述储存模块判定总预计占存空间在标准储存空间范围内，储存模块能够对所述排序数据组内的各数据进行储存；当ΔGy＞ΔGb时，所述储存模块判定总预计占存空间不在标准储存空间范围内，储存模块将总预计占存空间Gy与标准储存空间Gb进行对比，以确定对所述排序数据组内的各数据的储存。5.根据权利要求4所述的基于大数据应用的监控数据分析存储管理系统，其特征在于，当所述储存模块判定总预计占存空间不在标准储存空间范围内时，储存模块将总预计占存
空间Gy与标准储存空间Gb进行对比，当Gy＞Gb时，所述储存模块判定总预计占存空间高于标准储存空间，所述分析模块将对所述排序数据组进行重新排序，以对排序数据组的各数据进行储存；当Gy＜Gb...

【专利技术属性】
技术研发人员：熊建勋，张冬久，
申请(专利权)人：江苏重行信息科技有限公司，
类型：发明
国别省市：