一种基于大数据的设备数据存储管理方法及系统技术方案

本发明专利技术公开了一种基于大数据的设备数据存储管理方法及系统，涉及设备数据存储管理技术领域，包括：S1：对于接入设备数据存储管理系统中的设备，分配设备编号，并通过读取配置文件的方式解析各设备上传数据；S2：对设备数据的存储管理操作进行监测，将各设备对应数据在设备数据存储系统中的存储管理操作进行获取，并对获取的存储管理操作进行整合；S3：对各存储位置的实际存储容量进行更新，对各存储位置的数据访问操作进行获取，对各存储位置内设备数据的数据存储时间进行提取，并对各存储位置内的已存储数据进行关于是否迁移的判别；S4：根据对各存储位置内的已存储数据的是否迁移的判别结果对存储位置之间的数据传输通道进行管理。行管理。行管理。

【技术实现步骤摘要】
一种基于大数据的设备数据存储管理方法及系统


[0001]本专利技术涉及设备数据存储管理
，具体为一种基于大数据的设备数据存储管理方法及系统。

技术介绍

[0002]随着大数据技术的发展，设备数据的规模和复杂度也不断增加。由于设备数据具有大量性、连续性、多样性和异构性等特点，需要对数据进行实时采集和处理，对数据流进行实时的过滤和筛选，以提取关键信息，并提供高效、可靠的存储和管理。
[0003]存储管理系统的高效性对于数据存储管理是至关重要的，当前，对于数据存储管理主要考虑了存储系统的性能，用以应对不断增长的数据量和访问请求。但是，对于数据存储管理中对数据使用情况的生命周期管理还不够完善，当前对于自动化数据存储主要考虑了历史存储数据中各设备数据的数据类型或历史存储位置选择对设备数据存储位置的判断，但是这种存储位置判断方式过于片面，不能够满足数据存储管理系统的实际需求。当设备数据的存储位置不够合理时，可能会造成数据管理困难或系统性能下降，导致设备频繁读写数据，增加设备的负载和损耗，甚至会影响系统的数据访问效率。
[0004]因此，为了解决上述问题或部分问题，本专利技术提供了一种基于大数据的设备数据存储管理方法及系统。

技术实现思路

[0005]本专利技术的目的在于提供一种基于大数据的设备数据存储管理方法及系统，以解决上述
技术介绍
中提出的问题。
[0006]为了解决上述技术问题，本专利技术提供如下技术方案：一种基于大数据的设备数据存储管理方法，包括以下步骤：
[0007]S1：对于接入设备数据存储管理系统中的设备，分配设备编号，并通过读取配置文件的方式解析各设备上传数据；
[0008]S2：对设备数据的存储管理操作进行监测，将各设备对应数据在设备数据存储系统中的存储管理操作进行获取，并对获取的存储管理操作进行整合；
[0009]S3：对各存储位置的实际存储容量进行更新，对各存储位置的数据访问操作进行获取，对各存储位置内设备数据的数据存储时间进行提取，并对各存储位置内的已存储数据进行关于是否迁移的判别；
[0010]S4：根据对各存储位置内的已存储数据的是否迁移的判别结果对存储位置之间的数据传输通道进行管理，以保证数据的顺利传输和存储。
[0011]进一步的，所述S1包括：
[0012]步骤S1
‑
1：分别对连接系统的每一个设备，基于对应的工作内容，分配不同的设备编号；
[0013]步骤S1
‑
2：将各设备数据传输到处理平台，根据预先定义的配置文件对设备数据
进行解析。
[0014]进一步的，所述S2包括：
[0015]步骤S2
‑
1：对各设备上传的数据集合进行监测，获取各编号设备所上传数据在设备存储管理系统内的所有存储管理操作，分别得到各编号设备所上传数据对应的每一次数据存储的存储操作集合；
[0016]步骤S2
‑
2：对每一个设备数据集合中各设备的存储操作集合进行整合得到{C1,C2，...，C
n
}，将各编号设备中重复出现次数最高的存储操作集合认为是各设备数据集合分布对应的第一存储操作集合，并将第一存储操作集合内的每一个存储操作设为各设备数据集合对应的一个存储操作节点；
[0017]步骤S2
‑
3：将各设备数据集合的第一存储操作集合对应的存储位置进行整合，得到在任一存储操作节点C
i
上关于其设备数据集合的存储信息Z
Ci
；其中，C
i
表示第i个操作节点的存储操作，Z
Ci
表示第i个操作节点的存储操作对应的存储位置信息；
[0018]步骤S2
‑
4：对各设备数据集合对应的存储位置的所有操作节点进行获取，将获取的各设备数据集合对应的存储位置数据进行整合，得到设备数据存储管理系统中关于各设备数据集合对于各存储位置的存储操作信息；所述存储操作信息包括各设备数据在各存储位置的存储操作路径R，R＝Z
C1
→
...
→
Z
Cj
→
...
→
Z
Cm
，其中，Z
C1
、...、Z
Cj
、...、Z
Cm
分别表示第1、...、j、...m个操作节点的存储操作对应的存储位置信息。整合后的存储位置信息可以用于后续的数据管理操作。
[0019]进一步的，所述S3包括：
[0020]步骤S3
‑
1：分别对各设备数据的数据存储操作结束时，各存储位置中的存储容量变化进行实时更新；
[0021]通过对存储位置的存储容量进行分析，以便于确定是否需要进行数据清理、归档或迁移。这样可以有效管理存储位置的使用，避免数据溢出或资源浪费。
[0022]步骤S3
‑
2：设任一设备数据S在数据存储位置P对应的数据存储时间大于D，对设备数据S在每一次数据存储过程中产生的访问操作进行采集，根据各设备数据在各存储位置的存储操作路径进行排序，获取到设备数据S在设备数据存储管理系统中关于各存储位置的被访问操作集合；
[0023]步骤S3
‑
3：将设备数据存储管理系统中的存储位置设为P＝{P1,P2，...，P
h
}，将被访问操作次数小于预设阈值的y1的设备数据存储位置记为第一存储位置集合，被访问操作次数超出预设阈值的y2的设备数据存储位置记为第二存储位置集合；
[0024]步骤S3
‑
4：对被访问操作次数不属于预设阈值范围内的设备数据进行判别，分析是否进行数据迁移包括：
[0025]步骤S3
‑4‑
1：对设备数据在当前存储位置的存储时间进行分析，若当前设备数据的数据存储时间超过预设的阈值T，则执行下一步分析，否则，暂不进行数据迁移；
[0026]步骤S3
‑4‑
2：对设备数据的当前存储位置进行分析，判断当前数据存储位置是否能够满足当前设备数据的访问频率；
[0027]若当前设备数据的存储位置属于第一存储位置集合，当设备数据的存储位置为高速存储介质时，执行下一步分析；否则，不进行数据迁移；
[0028]若当前设备数据的存储位置属于第二存储位置集合，当设备数据的存储位置为低
速存储介质时，执行下一步分析；否则，不进行数据迁移；
[0029]步骤S3
‑4‑
3：根据以下公式对设备数据在当前存储位置的任一时间段内的被访问次数的变化规律进行分析：
[0030]A(t)＝∑[η(i)*A(t
‑
i)]+∑[μ(j)*λ(t
‑
v)]+c；
[0031]其中，A(t)表示在时间t内的设备数据在当前存储位置的被访问次数，η(i)表示前i个时间点的权重，μ(本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据的设备数据存储管理方法，其特征在于：包括以下步骤：S1：对于接入设备数据存储管理系统中的设备，分配设备编号，并通过读取配置文件的方式解析各设备上传数据；S2：对设备数据的存储管理操作进行监测，将各设备对应数据在设备数据存储系统中的存储管理操作进行获取，并对获取的存储管理操作进行整合；S3：对各存储位置的实际存储容量进行更新，对各存储位置的数据访问操作进行获取，对各存储位置内设备数据的数据存储时间进行提取，并对各存储位置内的已存储数据进行关于是否迁移的判别；S4：根据对各存储位置内的已存储数据的是否迁移的判别结果对存储位置之间的数据传输通道进行管理。2.根据权利要求1所述的一种基于大数据的设备数据存储管理方法，其特征在于：所述S1包括：步骤S1
‑
1：分别对连接系统的每一个设备，基于对应的工作内容，分配不同的设备编号；步骤S1
‑
2：将各设备数据传输到处理平台，根据预先定义的配置文件对设备数据进行解析。3.根据权利要求1所述的一种基于大数据的设备数据存储管理方法，其特征在于：所述S2包括：步骤S2
‑
1：对各设备上传的数据集合进行监测，获取各编号设备所上传数据在设备存储管理系统内的所有存储管理操作，分别得到各编号设备所上传数据对应的每一次数据存储的存储操作集合；步骤S2
‑
2：对每一个设备数据集合中各设备的存储操作集合进行整合得到{C1,C2，...，C
n
}，将各编号设备中重复出现次数最高的存储操作集合认为是各设备数据集合分布对应的第一存储操作集合，并将第一存储操作集合内的每一个存储操作设为各设备数据集合对应的一个存储操作节点；步骤S2
‑
3：将各设备数据集合的第一存储操作集合对应的存储位置进行整合，得到在任一存储操作节点C
i
上关于其设备数据集合的存储信息Z
Ci
；其中，C
i
表示第i个操作节点的存储操作，Z
Ci
表示第i个操作节点的存储操作对应的存储位置信息；步骤S2
‑
4：对各设备数据集合对应的存储位置的所有操作节点进行获取，将获取的各设备数据集合对应的存储位置数据进行整合，得到设备数据存储管理系统中关于各设备数据集合对于各存储位置的存储操作信息；所述存储操作信息包括各设备数据在各存储位置的存储操作路径R，R＝Z
C1
→
...
→
Z
Cj
→
...
→
Z
Cm
，其中，Z
C1
、...、Z
Cj
、...、Z
Cm
分别表示第1、...、j、...m个操作节点的存储操作对应的存储位置信息。4.根据权利要求1所述的一种基于大数据的设备数据存储管理方法，其特征在于：所述S3包括：步骤S3
‑
1：分别对各设备数据的数据存储操作结束时，各存储位置中的存储容量变化进行实时更新；步骤S3
‑
2：设任一设备数据S在数据存储位置P对应的数据存储时间大于D，对设备数据S在每一次数据存储过程中产生的访问操作进行采集，根据各设备数据在各存储位置的存
储操作路径进行排序，获取到设备数据S在设备数据存储管理系统中关于各存储位置的被访问操作集合；步骤S3
‑
3：将设备数据存储管理系统中的存储位置设为P＝{P1,P2，...，P
h
}，将被访问操作次数小于预设阈值的y1的设备数据存储位置记为第一存储位置集合，被访问操作次数超出预设阈值的y2的设备数据存储位置记为第二存储位置集合；步骤S3
‑
4：对被访问操作次数不属于预设阈值范围内的设备数据进行判别，分析是否进行数据迁移包括：步骤S3
‑4‑
1：对设备数据在当前存储位置的存储时间进行分析，若当前设备数据的数据存储时间超过预设的阈值T，则执行下一步分析，否则，暂不进行数据迁移；步骤S3
‑4‑
2：对设备数据的当前存储位置进行分析，判断当前数据存储位置是否能够满足当前设备数据的访问频率；若当前设备数据的存储位置属于第一存储位置集合，...

【专利技术属性】
技术研发人员：林海棠，刘楠，唐燕芬，
申请(专利权)人：广东华原网络工程有限公司，
类型：发明
国别省市：