基于存储地址遍历的存储优化方法及装置制造方法及图纸

本发明专利技术提供了一种基于储存地址遍历的存储优化方法及装置。首先，在用于表征综合运行指标的评价因子低于设定阈值时获取第一存储区内的待转移数据。其次，按照每个第二存储区的存储地址的序列依次判断待转移数据与每个第二存储区内的原始存储数据是否存在存储干扰。最后，在判断出待转移数据与第二存储区内的原始存储数据不存在存储干扰时将待转移数据从第一存储区内转移至该第二存储区内。如此，能够在第一存储区存储有待转移数据而导致大数据处理端的综合运行指标下降时，通过将待转移数据从第一存储区转移至第二存储区，从而释放第一存储区的存储空间，避免第一存储区出现数据饱和情况而导致大数据处理端的综合运行指标的降低。

【技术实现步骤摘要】
基于存储地址遍历的存储优化方法及装置
本专利技术涉及大数据存储性能优化
，具体而言，涉及一种基于储存地址遍历的存储优化方法及装置。
技术介绍
随着大数据的发展以及推广，大数据处理端所面临的挑战和需求日益增多。大数据处理端集成有大数据采集、存储、挖掘和分析等功能，大数据处理端可以通过以上功能的相辅相成实现对大数据的有效处理。然而，随着大数据的数据量的增加，大数据处理端的存储功能的不合理规划可能会对大数据的正常处理产生影响。
技术实现思路
为了改善上述问题，本专利技术提供了一种基于储存地址遍历的存储优化方法及装置。本专利技术实施例的第一方面，提供了一种基于储存地址遍历的存储优化方法，应用于大数据处理端，所述方法包括：获取用于表征大数据处理端的运行状态的性能参数，所述运行状态包括所述大数据处理端的延时状态、运行稳定度、运行温度曲线轨迹以及数据处理掉包率，所述性能参数包括多个参数向量，每个参数向量用于表征所述运行状态的其中一个类别，每个参数向量中的向量值是实时更新的；根据所述性能参数中的每个参数向量确定所述性能参数的评价因子，所述评价因子用于表征所述大数据处理端的综合运行指标；在所述评价因子低于设定阈值时，获取所述大数据处理端中的第一存储区内的待转移数据，所述第一存储区存储有所述大数据处理端的系统数据，所述待转移数据是所述大数据处理端采集到的并存储于所述第一存储区的业务数据；按照所述大数据处理端的多个第二存储区中每个第二存储区的存储地址的序列，依次判断所述待转移数据与每个第二存储区内的原始存储数据之间是否存在存储干扰；在判断出所述待转移数据与第二存储区内的原始存储数据之间不存在所述存储干扰时，将所述待转移数据从所述第一存储区内转移至该第二存储区内进行存储。在一种可替换的实施方式中，所述方法还包括：在判断出所有第二存储区均存在存储干扰时，确定所述待转移数据的第一优先级以及每个第二存储区内的原始存储数据的第二优先级；获取小于所述第一优先级的每个第二优先级对应的原始存储数据的数据恢复等级，所述数据恢复等级用于表征将原始存储数据删除之后进行恢复的耗时；将所述待转移数据转移至最大的数据恢复等级对应的第二存储区内进行存储并将最大的数据恢复等级对应的第二存储区内的原始存储数据进行删除。在一种可替换的实施方式中，依次判断所述待转移数据与每个第二存储区内的原始存储数据之间是否存在存储干扰的步骤，包括：从所述待转移数据的第一数据字段中提取第一数据结构信息，获取所述第一数据结构信息中数据结构的特征分布并生成第一特征分布图，所述第一特征分布图中包含所述第一数据字段的整个数据结构；对所述第一特征分布图进行边界值划分得到所述第一特征分布图对应的多个图像块，确定每相邻两个图像块之间的相关性系数，根据确定出的所有相关性系数生成用于表征所述待转移数据的数据结构的第一结构化描述数组；确定所述第二存储区内的原始存储数据的第二结构化描述数组；分别将所述第一结构化描述数组以及所述第二结构化描述数组映射至预设坐标平面得到第一坐标值和第二坐标值，所述预设坐标平面用于对所述大数据处理端内的数据的数据结构进行坐标形式的描述；判断所述第一坐标值和所述第二坐标值之间的距离是否小于预设距离；若所述第一坐标值和所述第二坐标值之间的距离大于等于所述预设距离，则判定所述待转移数据与所述第二存储区内的原始存储数据之间存在存储干扰；若所述第一坐标值和所述第二坐标值之间的距离小于所述预设距离，根据所述待转移数据与所述第二存储区内的原始存储数据之间的数据相似度确定所述待转移数据与所述第二存储区内的原始存储数据之间是否存在存储干扰。在一种可替换的实施方式中，根据所述待转移数据与所述第二存储区内的原始存储数据之间的数据相似度确定所述待转移数据与所述第二存储区内的原始存储数据之间是否存在存储干扰的步骤，包括：判断所述待转移数据与所述第二存储区内的原始存储数据之间的数据相似度是否超过设定相似度；若所述待转移数据与所述第二存储区内的原始存储数据之间的数据相似度超过所述设定相似度，则判定所述待转移数据与所述第二存储区内的原始存储数据之间存在存储干扰；若所述待转移数据与所述第二存储区内的原始存储数据之间的数据相似度未超过所述设定相似度，则判定所述待转移数据与所述第二存储区内的原始存储数据之间不存在存储干扰。在一种可替换的实施方式中，所述待转移数据与所述第二存储区内的原始存储数据之间的数据相似度通过以下步骤得到：提取用于表征所述待转移数据的数据内容的第一数据特征向量；按照所述第一数据特征向量的向量维度提取用于表征所述第二存储区内的原始存储数据的数据内容的第二数据特征向量，所述第二数据特征向量的向量维度与所述第一数据特征向量的向量维度相同；确定所述第一数据特征向量与所述第二数据特征向量之间的余弦距离，根据所述余弦距离确定所述待转移数据与所述第二存储区内的原始存储数据之间的数据相似度。在一种可替换的实施方式中，根据所述性能参数中的每个参数向量确定所述性能参数的评价因子，包括：根据所述大数据处理端的运行日志确定每个参数向量的向量值更新速率分布以及每个参数向量的各更新列表；在根据所述向量值更新速率分布确定出每个参数向量中包含有动态向量值的情况下，根据每个参数向量在所述动态向量值对应的列表类别下的更新列表及所述更新列表的列表信息确定每个参数向量在非动态向量值对应的列表类别下的各更新列表与每个参数向量在所述动态向量值对应的列表类别下的各更新列表之间的重叠系数，并将每个参数向量在所述非动态向量值对应的列表类别下的与在所述动态向量值对应的列表类别下的更新列表之间的重叠系数大于设定系数的更新列表调整到每个参数向量的动态向量值对应的列表类别下；在每个参数向量的非动态向量值对应的列表类别下包含有多个更新列表的情况下，根据每个参数向量在所述动态向量值对应的列表类别下的更新列表及所述更新列表的列表信息确定每个参数向量在所述非动态向量值对应的列表类别下的各更新列表之间的影响权重，并根据所述各更新列表之间的影响权重对所述非动态向量值对应的列表类别下的各更新列表进行筛选；根据每个参数向量在所述动态向量值对应的列表类别下的更新列表及所述更新列表的列表信息为上述筛选之后保留的每个更新列表设置调整指向信息，并将筛选之后保留的每个更新列表调整到所述调整指向信息指向的所述动态向量值对应的列表类别下；根据每个参数向量在其动态向量值对应的列表类别下的更新列表确定每个参数向量的评价权重并根据所述评价权重确定所述性能参数的评价因子。在一种可替换的实施方式中，根据所述评价权重确定所述性能参数的评价因子，包括：对每个参数向量的评价权重进行加权得到所述性能参数的评价因子。本专利技术实施例的第二方面，提供了一种基于储存地址遍历的存储优化装置，应用于大数据处理端，所述装置包括：参数获取模块，用于获取用于表征本文档来自技高网...

【技术保护点】
1.一种基于储存地址遍历的存储优化方法，其特征在于，应用于大数据处理端，所述方法包括：/n获取用于表征大数据处理端的运行状态的性能参数，所述运行状态包括所述大数据处理端的延时状态、运行稳定度、运行温度曲线轨迹以及数据处理掉包率，所述性能参数包括多个参数向量，每个参数向量用于表征所述运行状态的其中一个类别，每个参数向量中的向量值是实时更新的；/n根据所述性能参数中的每个参数向量确定所述性能参数的评价因子，所述评价因子用于表征所述大数据处理端的综合运行指标；/n在所述评价因子低于设定阈值时，获取所述大数据处理端中的第一存储区内的待转移数据，所述第一存储区存储有所述大数据处理端的系统数据，所述待转移数据是所述大数据处理端采集到的并存储于所述第一存储区的业务数据；/n按照所述大数据处理端的多个第二存储区中每个第二存储区的存储地址的序列，依次判断所述待转移数据与每个第二存储区内的原始存储数据之间是否存在存储干扰；/n在判断出所述待转移数据与第二存储区内的原始存储数据之间不存在所述存储干扰时，将所述待转移数据从所述第一存储区内转移至该第二存储区内进行存储。/n

【技术特征摘要】
1.一种基于储存地址遍历的存储优化方法，其特征在于，应用于大数据处理端，所述方法包括：
获取用于表征大数据处理端的运行状态的性能参数，所述运行状态包括所述大数据处理端的延时状态、运行稳定度、运行温度曲线轨迹以及数据处理掉包率，所述性能参数包括多个参数向量，每个参数向量用于表征所述运行状态的其中一个类别，每个参数向量中的向量值是实时更新的；
根据所述性能参数中的每个参数向量确定所述性能参数的评价因子，所述评价因子用于表征所述大数据处理端的综合运行指标；
在所述评价因子低于设定阈值时，获取所述大数据处理端中的第一存储区内的待转移数据，所述第一存储区存储有所述大数据处理端的系统数据，所述待转移数据是所述大数据处理端采集到的并存储于所述第一存储区的业务数据；
按照所述大数据处理端的多个第二存储区中每个第二存储区的存储地址的序列，依次判断所述待转移数据与每个第二存储区内的原始存储数据之间是否存在存储干扰；
在判断出所述待转移数据与第二存储区内的原始存储数据之间不存在所述存储干扰时，将所述待转移数据从所述第一存储区内转移至该第二存储区内进行存储。


2.根据权利要求1所述的存储优化方法，其特征在于，所述方法还包括：
在判断出所有第二存储区均存在存储干扰时，确定所述待转移数据的第一优先级以及每个第二存储区内的原始存储数据的第二优先级；
获取小于所述第一优先级的每个第二优先级对应的原始存储数据的数据恢复等级，所述数据恢复等级用于表征将原始存储数据删除之后进行恢复的耗时；
将所述待转移数据转移至最大的数据恢复等级对应的第二存储区内进行存储并将最大的数据恢复等级对应的第二存储区内的原始存储数据进行删除。


3.根据权利要求1所述的存储优化方法，其特征在于，依次判断所述待转移数据与每个第二存储区内的原始存储数据之间是否存在存储干扰的步骤，包括：
从所述待转移数据的第一数据字段中提取第一数据结构信息，获取所述第一数据结构信息中数据结构的特征分布并生成第一特征分布图，所述第一特征分布图中包含所述第一数据字段的整个数据结构；
对所述第一特征分布图进行边界值划分得到所述第一特征分布图对应的多个图像块，确定每相邻两个图像块之间的相关性系数，根据确定出的所有相关性系数生成用于表征所述待转移数据的数据结构的第一结构化描述数组；
确定所述第二存储区内的原始存储数据的第二结构化描述数组；
分别将所述第一结构化描述数组以及所述第二结构化描述数组映射至预设坐标平面得到第一坐标值和第二坐标值，所述预设坐标平面用于对所述大数据处理端内的数据的数据结构进行坐标形式的描述；
判断所述第一坐标值和所述第二坐标值之间的距离是否小于预设距离；
若所述第一坐标值和所述第二坐标值之间的距离大于等于所述预设距离，则判定所述待转移数据与所述第二存储区内的原始存储数据之间存在存储干扰；
若所述第一坐标值和所述第二坐标值之间的距离小于所述预设距离，根据所述待转移数据与所述第二存储区内的原始存储数据之间的数据相似度确定所述待转移数据与所述第二存储区内的原始存储数据之间是否存在存储干扰。


4.根据权利要求3所述的存储优化方法，其特征在于，根据所述待转移数据与所述第二存储区内的原始存储数据之间的数据相似度确定所述待转移数据与所述第二存储区内的原始存储数据之间是否存在存储干扰的步骤，包括：
判断所述待转移数据与所述第二存储区内的原始存储数据之间的数据相似度是否超过设定相似度；
若所述待转移数据与所述第二存储区内的原始存储数据之间的数据相似度超过所述设定相似度，则判定所述待转移数据与所述第二存储区内的原始存储数据之间存在存储干扰；
若所述待转移数据与所述第二存储区内的原始存储数据之间的数据相似度未超过所述设定相似度，则判定所述待转移数据与所述第二存储区内的原始存储数据之间不存在存储干扰。


5.根据权利要求4所述的存储优化方法，其特征在于，所述待转移数据与所述第二存储区内的原始存储数据之间的数据相似度通过以下步骤得到：
提取用于表征所述待转移数据的数据内容的第一数据特征向量；
按照所述第一数据特征向量的向量维度提取用于表征所述第二存储区内的原始存储数据的数据内容的第二数据特征向量，所述第二数据特征向量的向量维度与所述第一数据特征向量的向量维度相同；
确定所述第一数据特征向量与所述第二数据特征向量之间的余弦距离，根据所述余弦距离确定所述待转移数据与所述第二存储区内的原始存储数据之间的数据相似度。


6.根据权利要求1所述的存储优化方法，其特征在于，根据所述性能参数中的每个参数向量确定所述性能参数的评价因子，包括：
根据所述大数据处理端的运行日志确定每个参数向量的向量值更新速率分布以及每个参数向量...

【专利技术属性】
技术研发人员：杨贻宏，
申请(专利权)人：上海飞旗网络技术股份有限公司，
类型：发明
国别省市：上海;31