一种针对异构存储系统的自适应数据动态调度方法和系统技术方案

本发明专利技术公开了一种针对异构存储系统的自适应数据动态调度方法和系统，该系统包括异构存储系统、存储管理器、数据调度器、参数调节器和性能采集器；异构存储系统包括高带宽存储器和传统内存；存储管理器分别与数据调度器、参数调节器和性能采集器连接，存储管理器用于启动数据调度器、参数调节器和性能采集器，并向其发送控制指令和数据，控制其工作。本发明专利技术能够结合高带宽存储器的硬件特性，合理调度数据，周期性地启动参数调节器，根据性能指标对异构存储系统中的数据放置进行优化，从而同时发挥高带宽存储器高带宽和传统内存低延迟的优势，提高应用带宽，缩短大数据应用程序的运行时间。

【技术实现步骤摘要】
一种针对异构存储系统的自适应数据动态调度方法和系统
本专利技术涉及数据异构存储
，特别是涉及一种针对异构存储系统的自适应数据动态调度方法和系统。
技术介绍
大数据产业的快速发展使得大数据应用程序的数据量和计算复杂度都有了明显提升，如何让大数据程序充分地利用高性能集群多核高并发的特性是当前的研究热点。系统带宽是提升性能最重要的因素，因此，需要让由高带宽存储器和传统内存构成的异构存储系统为上层应用提供更高的带宽。目前已有的方法主要集中在利用经典缓存淘汰策略及其改进策略从上层存储中淘汰冷数据。现有的异构存储系统的数据调度主要采用以下几种策略：最近最少使用策略这种策略强调数据访问的时间局部性，认为最近访问过的数据再次被访问的概率比较大。这种策略有很大的弊端，在时间局部性不强的数据访问模式下高带宽存储器存储的击中率很低，在数据总量大于高带宽存储器存储的循环访问模式下，击中率下降至零，即不能为上层应用提供带宽增益；自适应替换策略相比传统的缓存淘汰策略，这种策略能够自适应地调整最近访问存储区和高频次访问存储区的大小，使其适应数据访问模式的变化。但这种策略有一个弊端，其对数据访问模式的适应是渐本文档来自技高网...

【技术保护点】
1.一种针对异构存储系统的自适应数据动态调度系统，其特征在于，所述系统包括异构存储系统、存储管理器、数据调度器、参数调节器和性能采集器；所述异构存储系统包括高带宽存储器和传统内存，所述异构存储器用于管理访问数据，并根据所述访问数据确定数据块访问信息，将所述数据块访问信息发送至所述存储管理器；所述数据块访问信息包括被访问的数据块编号、数据块字节数、时间戳信息和访问时间；所述存储管理器分别与所述数据调度器、所述参数调节器和所述性能采集器连接，所述存储管理器用于检索所述存储管理器中的信息表单，若所述信息表单中无所述被访问的数据块编号，则增加所述信息表单的信息栏用于写入所述数据块编号和所述数据块字节数...

【技术特征摘要】
1.一种针对异构存储系统的自适应数据动态调度系统，其特征在于，所述系统包括异构存储系统、存储管理器、数据调度器、参数调节器和性能采集器；所述异构存储系统包括高带宽存储器和传统内存，所述异构存储器用于管理访问数据，并根据所述访问数据确定数据块访问信息，将所述数据块访问信息发送至所述存储管理器；所述数据块访问信息包括被访问的数据块编号、数据块字节数、时间戳信息和访问时间；所述存储管理器分别与所述数据调度器、所述参数调节器和所述性能采集器连接，所述存储管理器用于检索所述存储管理器中的信息表单，若所述信息表单中无所述被访问的数据块编号，则增加所述信息表单的信息栏用于写入所述数据块编号和所述数据块字节数；还用于循环启动所述数据调度器、所述参数调节器和所述性能采集器，并向所述数据调度器、所述参数调节器和所述性能采集器发送控制指令和数据，控制所述数据调度器、所述参数调节器和所述性能采集器的工作；所述数据调度器用于根据数据块价值和所述高带宽存储器的存储状态生成数据调度信息；所述参数调节器与所述性能采集器连接，所述性能采集器用于采集所述存储管理器中的各个阶段的性能指标，并将所述性能指标发送至所述参数调节器，所述参数调节器用于根据所述性能指标确定最优性能得分和最优参数，并将所述最优参数传送至所述存储管理器，所述存储管理器根据所述最优参数控制所述数据调度器实现数据动态调度。2.根据权利要求1所述的系统，其特征在于，所述性能指标包括SP因子击中比率、SP因子移入比率、字节击中比率和字节移入比率；其中，SP因子表征数据块存放在所述高带宽存储器的权重；所述SP因子击中比率表示一个阶段从所述高带宽存储器中访问的数据块的SP因子之和占该阶段总访问SP因子之和的比率；所述SP因子移入比率表示一个阶段从所述传统内存中移入所述高带宽存储器的数据块SP因子之和占该阶段总访问SP因子之和的比率；所述字节击中比率表示一个阶段从所述高带宽存储器中访问的字节数占该阶段总访问字节数的比率；所述字节移入比率表示一个阶段从所述传统内存移入所述高带宽存储器的字节数占该阶段总访问字节数的比率。3.一种针对异构存储系统的自适应数据动态调度方法，其特征在于，利用如权利要求1-2任一项所述的针对异构存储系统的自适应数据动态调度系统进行数据动态调度，所述方法包括数据调度方法和参数调节方法；所述数据调度方法包括：步骤1：获取异构存储系统中的数据块访问信息；所述数据块访问信息包括被访问的数据块编号、数据块字节数、时间戳信息和访问时间；步骤2：检索存储管理器中的信息表单，若所述信息表单中无所述被访问的数据块编号，则增加所述信息表单的信息栏用于写入所述数据块编号和所述数据块字节数；步骤3：将所述时间戳信息加入所述存储管理器中的数据访问时间戳列表的尾部，确定设定时长内的访问记录为当前访问并发度，结合前次访问并发度计算所述预测并发度；并将所述预测并发度存入所述信息表单；步骤4：根据所述信息表单中的与所述数据块编号对应的最后更新时间、所述访问时间和调节参数计算出所述数据块的再访问概率，并利用所述访问时间替换所述最后更新时间；步骤5：根据所述预测并发度和所述数据块字节数计算SP因子，根据所述SP因子、所述再访问概率和平衡参数计算数据块价值，并将所述数据块价值存入所述信息表单；所述SP因子表征所述数据块存放在高带宽存储器的权重；步骤6：根据所述数据块价值和高带宽存储器的存储状态生成数据调度信息；所述调节参数和所述平衡参数通过所述参数调节方法确定，所述参数调节方法包括：步骤1：周期性启动参数调节器，所述参数调节器将待定参数依次发送至存储管理器，每组所述待定参数对应一个阶段，并初始化最优参数和最优性能得分；所述待定参数包括所述调节参数和所述平衡参数；步骤2：启动性能采集器，性能采集器从所述存储管理器中采集各个阶段的性能指标，所述性能指标包括SP因子击中比率、SP因子移入比率、字节击中比率和字节移入比率，并发送给所述参数调节器；步骤3：依次遍历参数空间进行寻优，确定最优参数；步骤4：将所述最优参数发送至所述存储管理器；步骤5：关闭所述参数调节器和所述性能采集器。4.根据权利要求3所述的方法，其特征在于，所述根据所述数据块价值和高带宽存储器的存储状态生成数据调度信息的具体包括：步骤6-1：所述数据调度器中维护着所述高带宽存储器的存储列表和剩余字节量，确定被访问的数据块编号为待移入数据块编号，并更新待移入数据块价值和待移入数据块字节数；步骤6-2：判断所述待移入数据块是否在所述高带宽存储器的存储列表中；如果是，跳到步骤6-9，否则，跳到步骤6-3；步骤6-3：判断所述待移入数据块字节数是否大于剩余字节量加上待移出数据块字节量之和；如果是，跳到步骤6-4，否则，跳到步骤6-7；步...

【专利技术属性】
技术研发人员：杨海龙，孙嘉昭，李云春，李巍，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11