基于调用比例及响应时长的数据迁移存储方法及装置制造方法及图纸

本发明专利技术提供了一种基于调用比例及响应时长的数据迁移存储方法及装置，能够根据预存的调用请求集确定数据处理终端对应的每个第一调用请求在调用请求集中的比例，并按照比例由大到小的顺序得到第一调用请求的第一排序序列。然后，根据确定出的每个请求类别对应的数据集所在的存储空间的存储模式信息和磁盘阵列特征确定每个存储空间的响应时长，按照响应时长由小到大的顺序得到存储空间的第二排序序列。最后，基于第一排序序列和第二排序序列将每个存储空间中的数据集进行迁移。如此，能够确保数据处理终端频繁调用的数据集存储在响应时长较短的存储空间中，减少迁移存储设备基于数据处理终端发送的调用请求在存储空间中进行数据集遍历的耗时。

Data migration storage method and device based on call proportion and response time

【技术实现步骤摘要】
基于调用比例及响应时长的数据迁移存储方法及装置
本专利技术涉及大数据存储
，具体而言，涉及一种基于调用比例及响应时长的数据迁移存储方法及装置。
技术介绍
数据存储是指数据以某种格式记录在计算机内部或外部存储介质上。数据存储在大数据领域起着至关重要的作用，能够为大数据分析和挖掘提供可观的数据基础，还能够对重要数据进行安全有效的保留，避免重要数据的丢失。在数据处理过程中，数据处理终端通常会从服务器调取已存储的数据。然而，从服务器频繁调取相同已存储的大量数据往往需要很长的时间消耗。
技术实现思路
为了改善上述问题，本专利技术提供了一种基于调用比例及响应时长的数据迁移存储方法及装置。本专利技术实施例的第一方面，提供了一种基于调用比例及响应时长的数据迁移存储方法，应用于与数据处理终端通信的迁移存储设备，所述方法包括：根据预存的所述数据处理终端的调用请求集，确定所述数据处理终端对应的多个请求类别以及每个请求类别对应的第一调用请求在所述调用请求集中的比例；按照比例由大到小的顺序将所述第一调用请求进行排序得到第一排序序列；确定每个请求类别对应的数据集所在的存储空间，根据每个存储空间的存储模式信息以及磁盘阵列特征确定每个存储空间的响应时长；其中，所述响应时长用于表征迁移存储设备根据调用请求遍历查询到存储空间内的数据集的耗时，每个数据集与该数据集所在的存储空间一一对应；按照响应时长由小到大的顺序将所述存储空间进行排序得到第二排序序列；根据所述第一排序序列和所述第二排序序列将每个存储空间中的数据集在每个存储空间之间进行迁移；所述第一排序序列对应的第一调用请求的数量与所述第二排序序列对应的存储空间的数量相同。在一种可替换的实施方式中，根据所述第一排序序列和所述第二排序序列将每个存储空间中的数据集在每个存储空间之间进行迁移，包括：按照所述第一排序序列将每个第一调用请求的请求类别对应的数据集进行排序，得到用于表征数据集的调用频率的第三排序序列；根据所述第三排序序列将所述第二排序序列中的每个存储空间中的数据集进行迁移。在一种可替换的实施方式中，根据所述第三排序序列将所述第二排序序列中的每个存储空间中的数据集进行迁移，包括：提取每个存储空间中的数据集，将提取得到数据集导入缓存中；将所述缓存中与所述第三排序序列中的第一个数据集对应的第一目标数据集迁移至所述第二排序序列中的第一个存储空间中，并按所述第三排序序列重复执行上述步骤直至将所述缓存中与所述第三排序序列中的最后一个数据集对应的第二目标数据集迁移至所述第二排序序列中的最后一个存储空间中。在一种可替换的实施方式中，根据每个存储空间的存储模式信息以及磁盘阵列特征确定每个存储空间的响应时长，包括：对每个存储空间的存储模式信息进行解析得到解析结果，根据所述解析结果确定每个存储空间的第一耗时权重；从每个存储空间的磁盘阵列特征中确定出每个存储空间的空间分布图，根据所述空间分布图确定每个存储空间的第二耗时权重；根据所述第一耗时权重和所述第二耗时权重确定每个存储空间的响应时长。在一种可替换的实施方式中，对每个存储空间的存储模式信息进行解析得到解析结果，根据所述解析结果确定每个存储空间的第一耗时权重，包括：对每个存储空间的存储模式信息进行解析得到所述存储模式信息中包括的数据格式转换列表，所述数据格式转换列表用于指示所述迁移存储设备将数据集的第一数据格式转换为第二数据格式，所述第一数据格式为所述迁移存储设备接收到的外部数据的数据格式，所述第二数据格式为所述迁移存储设备将所述外部数据存储至存储空间时所采用的数据格式；确定所述数据格式转换列表的列表特征，根据所述列表特征确定每个存储空间的第一耗时权重，所述第一耗时权重用于表征所述迁移存储设备在基于所述数据格式转换列表对存储空间进行数据存储准确性的优化时对存储空间的时间片资源产生的影响，所述时间片资源用于表征迁移存储设备访问存储空间的所需时长。在一种可替换的实施方式中，所述空间分布图为存储空间的物理存储区的分布情况，所述空间分布图中包括多个分布节点，每个分布节点对应存储空间的一个物理存储区，每两个分布节点之间存在有向连线，所述有向连线用于指示分布节点的优先级；根据所述空间分布图确定每个存储空间的第二耗时权重，包括：根据所述空间分布图中的有向连线的指示方向确定每个分布节点的优先级并基于确定出的每个分布节点对应的物理存储区的存储容量确定每个存储空间的第二耗时权重，所述第二耗时权重用于表征磁盘阵列特征对存储空间的数据响应速率的影响。在一种可替换的实施方式中，所述方法还包括：获取所述数据处理终端发送的第二调用请求；其中，所述第二调用请求是所述数据处理终端根据用户输入的操作指令生成的；根据所述第二调用请求遍历迁移存储设备的多个存储空间，查询出第三目标数据集并将所述第三目标数据集反馈给所述数据处理终端；将所述第二调用请求添加至所述调用请求集中。本专利技术实施例的第二方面，提供了一种数据迁移存储装置，应用于与数据处理终端通信的迁移存储设备，所述装置包括：比例确定模块，用于根据预存的所述数据处理终端的调用请求集，确定所述数据处理终端对应的多个请求类别以及每个请求类别对应的第一调用请求在所述调用请求集中的比例；比例排序模块，用于按照比例由大到小的顺序将所述第一调用请求进行排序得到第一排序序列；响应时长确定模块，用于确定每个请求类别对应的数据集所在的存储空间，根据每个存储空间的存储模式信息以及磁盘阵列特征确定每个存储空间的响应时长；其中，所述响应时长用于表征迁移存储设备根据调用请求遍历查询到存储空间内的数据集的耗时，每个数据集与该数据集所在的存储空间一一对应；响应时长排序模块，用于按照响应时长由小到大的顺序将所述存储空间进行排序得到第二排序序列；迁移存储模块，用于根据所述第一排序序列和所述第二排序序列将每个存储空间中的数据集在每个存储空间之间进行迁移；所述第一排序序列对应的第一调用请求的数量与所述第二排序序列对应的存储空间的数量相同。在一种可替换的实施方式中，所述迁移存储模块，具体用于：按照所述第一排序序列将每个第一调用请求的请求类别对应的数据集进行排序，得到用于表征数据集的调用频率的第三排序序列；根据所述第三排序序列将所述第二排序序列中的每个存储空间中的数据集进行迁移。在一种可替换的实施方式中，所述迁移存储模块，具体用于：提取每个存储空间中的数据集，将提取得到数据集导入缓存中；将所述缓存中与所述第三排序序列中的第一个数据集对应的第一目标数据集迁移至所述第二排序序列中的第一个存储空间中，并按所述第三排序序列重复执行上述步骤直至将所述缓存中与所述第三排序序列中的最后一个数据集对应的第二目标数据集迁移至所述第二排序序列中的最后一个存储空间中本专利技术实施例的第三方面，提供了一种迁移存储设备，包括：处理器以及与所述处理器连接的存储器和总线；所本文档来自技高网...

【技术保护点】
1.一种基于调用比例及响应时长的数据迁移存储方法，其特征在于，应用于与数据处理终端通信的迁移存储设备，所述方法包括：/n根据预存的所述数据处理终端的调用请求集，确定所述数据处理终端对应的多个请求类别以及每个请求类别对应的第一调用请求在所述调用请求集中的比例；/n按照比例由大到小的顺序将所述第一调用请求进行排序得到第一排序序列；/n确定每个请求类别对应的数据集所在的存储空间，根据每个存储空间的存储模式信息以及磁盘阵列特征确定每个存储空间的响应时长；其中，所述响应时长用于表征迁移存储设备根据调用请求遍历查询到存储空间内的数据集的耗时，每个数据集与该数据集所在的存储空间一一对应；/n按照响应时长由小到大的顺序将所述存储空间进行排序得到第二排序序列；/n根据所述第一排序序列和所述第二排序序列将每个存储空间中的数据集在每个存储空间之间进行迁移；所述第一排序序列对应的第一调用请求的数量与所述第二排序序列对应的存储空间的数量相同。/n

【技术特征摘要】
1.一种基于调用比例及响应时长的数据迁移存储方法，其特征在于，应用于与数据处理终端通信的迁移存储设备，所述方法包括：
根据预存的所述数据处理终端的调用请求集，确定所述数据处理终端对应的多个请求类别以及每个请求类别对应的第一调用请求在所述调用请求集中的比例；
按照比例由大到小的顺序将所述第一调用请求进行排序得到第一排序序列；
确定每个请求类别对应的数据集所在的存储空间，根据每个存储空间的存储模式信息以及磁盘阵列特征确定每个存储空间的响应时长；其中，所述响应时长用于表征迁移存储设备根据调用请求遍历查询到存储空间内的数据集的耗时，每个数据集与该数据集所在的存储空间一一对应；
按照响应时长由小到大的顺序将所述存储空间进行排序得到第二排序序列；
根据所述第一排序序列和所述第二排序序列将每个存储空间中的数据集在每个存储空间之间进行迁移；所述第一排序序列对应的第一调用请求的数量与所述第二排序序列对应的存储空间的数量相同。


2.根据权利要求1所述的基于调用比例及响应时长的数据迁移存储方法，其特征在于，根据所述第一排序序列和所述第二排序序列将每个存储空间中的数据集在每个存储空间之间进行迁移，包括：
按照所述第一排序序列将每个第一调用请求的请求类别对应的数据集进行排序，得到用于表征数据集的调用频率的第三排序序列；
根据所述第三排序序列将所述第二排序序列中的每个存储空间中的数据集进行迁移。


3.根据权利要求2所述的基于调用比例及响应时长的数据迁移存储方法，其特征在于，根据所述第三排序序列将所述第二排序序列中的每个存储空间中的数据集进行迁移，包括：
提取每个存储空间中的数据集，将提取得到数据集导入缓存中；
将所述缓存中与所述第三排序序列中的第一个数据集对应的第一目标数据集迁移至所述第二排序序列中的第一个存储空间中，并按所述第三排序序列重复执行上述步骤直至将所述缓存中与所述第三排序序列中的最后一个数据集对应的第二目标数据集迁移至所述第二排序序列中的最后一个存储空间中。


4.根据权利要求1-3任一项所述的基于调用比例及响应时长的数据迁移存储方法，其特征在于，根据每个存储空间的存储模式信息以及磁盘阵列特征确定每个存储空间的响应时长，包括：
对每个存储空间的存储模式信息进行解析得到解析结果，根据所述解析结果确定每个存储空间的第一耗时权重；
从每个存储空间的磁盘阵列特征中确定出每个存储空间的空间分布图，根据所述空间分布图确定每个存储空间的第二耗时权重；
根据所述第一耗时权重和所述第二耗时权重确定每个存储空间的响应时长。


5.根据权利要求4所述的基于调用比例及响应时长的数据迁移存储方法，其特征在于，对每个存储空间的存储模式信息进行解析得到解析结果，根据所述解析结果确定每个存储空间的第一耗时权重，包括：
对每个存储空间的存储模式信息进行解析得到所述存储模式信息中包括的数据格式转换列表，所述数据格式转换列表用于指示所述迁移存储设备将数据集的第一数据格式转换为第二数据格式，所述第一数据格式为所述迁移存储设备接收到的外部数据的数据格式，所述第二数据格式为所述迁移存储设备将所述外部数据存储至存储空间时所采用的数据格式；
确定所述数据格式转换列表的列表特征，根据所述列表特征确定每个存储空间的第一耗时权重...

【专利技术属性】
技术研发人员：杨贻宏，
申请(专利权)人：上海飞旗网络技术股份有限公司，
类型：发明
国别省市：上海;31