一种I/O特征识别方法以及装置制造方法及图纸

一种I/O特征识别方法以及装置，本发明专利技术实施例公开了一种数据预取的方法以及装置，其中，所述方法包括：查找当前I/O请求所访问的数据所处的目标存储块；在特征位图中查找出所述目标存储块的I/O访问特征，所述特征位图用于标识所述目标存储块的I/O访问特征；当查找出所述目标存储块的I/O访问特征为顺序访问特征时，根据所述当前I/O请求进行顺序预取；当查找出所述目标存储块的I/O访问特征为随机访问特征时，根据所述当前I/O请求进行随机预取。采用本发明专利技术，可提高系统的预取效率。

I/O feature recognition method and device

A I/O feature recognition method and apparatus, the embodiment of the invention discloses a method for data prefetching and device, wherein the method comprises: a target memory block where to find the current I/O request to access data; to find out that the target memory block access to the I/O feature in the feature in the bitmap, the the characteristics of bitmap for identifying the target memory block I/O access characteristics; to find out when the I/O access characteristics of the target memory block for sequential access features, according to the current I/O request for sequential prefetching; find out when the I/O access characteristics of the target memory block for random access features, according to the the current I/O request random prefetching. By adopting the invention, the prefetch efficiency of the system can be improved.

【技术实现步骤摘要】
一种I/O特征识别方法以及装置
本专利技术涉及计算机
，尤其涉及一种I/O特征识别方法以及装置。
技术介绍
随着信息技术的迅速发展，网络规模随着用户数呈指数级增长，也越来越庞大，为了支持断接操作，数据要预先存储到缓存中，由于在断接过程中只能使用本地的数据，所以要提高用户的访问速度，主要采用缓存预取技术来减少网络延迟，因此这个数据预先提取的过程是必需的。在现有技术中，可以利用全量I/O访问历史来挖掘数据间的关联关系，并通过该关联关系生成规则用于规则关联预取，由于现有技术中的规则关联预取无法区分顺序访问的I/O请求和随机访问的I/O请求，所以无论是顺序访问的I/O请求还是随机访问的I/O请求，都将使用规则关联预取，但是规则关联预取并不适用于顺序访问的I/O请求，从而降低了系统的预取效率。
技术实现思路
本专利技术实施例所要解决的技术问题在于，提供一种数据预取的方法以及装置，可提高系统的预取效率。本专利技术第一方面提供了一种数据预取的方法，包括：查找当前I/O请求所访问的数据所处的目标存储块；在特征位图中查找出所述目标存储块的I/O访问特征，所述特征位图用于标识所述目标存储块的I/O访问特征；当查找出所述目标存储块的I/O访问特征为顺序访问特征时，根据所述当前I/O请求进行顺序预取；当查找出所述目标存储块的I/O访问特征为随机访问特征时，根据所述当前I/O请求进行随机预取。在第一种可能的实现方式中，在所述查找当前I/O请求所访问的数据所处的目标存储块的步骤之前，还包括：识别存储块的I/O访问特征；将识别出的所述存储块的I/O访问特征添加或更新至特征位图中。结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述识别存储块的I/O访问特征，包括：当达到统计时间窗阈值，且判断出所述存储块中的历史I/O请求个数大于或等于预设的第一数量阈值，且各个所述历史I/O请求之间的间距小于预设的扇区数量阈值时，识别出所述存储块的I/O访问特征为顺序访问特征；当达到统计时间窗阈值，且判断出所述存储块中的所述历史I/O请求个数小于预设的第二数量阈值，且各个所述历史I/O请求之间的间距大于预设的扇区数量阈值时，识别出所述存储块的I/O访问特征为随机访问特征；当达到统计时间窗阈值，且判断出所述存储块中的所述历史I/O请求个数大于或等于预设的第二数量阈值，且小于预设的第一数量阈值时，标示所述存储块的I/O访问特征为暂未识别；其中，所述第一数量阈值大于所述第二数量阈值。结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，还包括：当达到统计时间窗阈值，且判断出所述历史I/O请求在所述存储块中的覆盖率大于或等于预设的第一覆盖率阈值时，识别出所述存储块的I/O访问特征为顺序访问特征；当达到统计时间窗阈值，且判断出所述历史I/O请求在所述存储块中的覆盖率小于或等于预设的第二覆盖率阈值时，识别出所述存储块的I/O访问特征为随机访问特征；当达到统计时间窗阈值，且判断出所述历史I/O请求在所述存储块中的覆盖率大于预设的第二覆盖率阈值，且小于预设的第一覆盖率阈值时，标示所述存储块的I/O访问特征为暂未识别；其中，所述第一覆盖率阈值大于所述第二覆盖率阈值。结合第一方面的第一种可能的实现方式，或第一方面的第二种可能的实现方式，或第一方面的第三种可能的实现方式，在第四种可能的实现方式中，在所述识别存储块的I/O访问特征的步骤之前，还包括：判断所述历史I/O请求所访问的数据所处的存储块的用于识别I/O访问特征的元数据是否在本地内存中，所述元数据至少包括所述存储块中所述历史I/O请求个数和所述历史I/O请求的覆盖率；若判断为在所述本地内存中，则更新所述历史I/O请求所访问的数据所处的存储块的用于识别I/O访问特征的元数据；当更新后的元数据所对应的所述存储块满足启动识别条件时，执行所述识别存储块的I/O访问特征。结合第一方面的第四种可能的实现方式，在第五种可能的实现方式中，还包括：当判断所述历史I/O请求所访问的数据所处的存储块的用于识别I/O访问特征的元数据不在本地内存中时，则进一步判断所述本地内存中的所述元数据的个数是否达到预设的元数据阈值；若判断为未达到预设的元数据阈值，则生成所述历史I/O请求所访问的数据所处的存储块的用于识别I/O访问特征的元数据，并将所生成的元数据存储于所述本地内存中，以便于更新所述历史I/O请求所访问的数据所处的存储块的用于识别I/O访问特征的元数据；若判断为达到预设的元数据阈值时，则从所述本地内存中删除启动识别时间戳最靠前的元数据，以便于在所述本地内存中生成所述历史I/O请求所访问的数据所处的存储块的用于识别I/O访问特征的元数据；计算被删除的元数据所对应的存储块的I/O访问特征，以将计算出的所述I/O访问特征添加或更新至特征位图中。结合第一方面的第二种可能的实现方式，或第一方面的第三种可能的实现方式，或第一方面的第四种可能的实现方式，或第一方面的第五种可能的实现方式，在第六种可能的实现方式中，所述当查找出所述目标存储块的I/O访问特征为随机访问特征时，根据所述当前I/O请求进行随机预取，包括：当查找出所述目标存储块的I/O访问特征为随机访问特征时，在预设的二维表中查找是否存在所述目标存储块对应的关联规则；若查找到存在所述目标存储块对应的关联规则，则下发所述当前I/O请求，并根据所述当前I/O请求以及查找到的所述关联规则生成预取请求，以根据所述预取请求进行预取；若未查找到存在所述目标存储块对应的关联规则，则直接下发所述当前I/O请求。结合第一方面的第六种可能的实现方式，在第七种可能的实现方式中，所述关联规则是通过对识别为随机访问特征和暂未识别的I/O访问特征的存储块进行历史访问信息挖掘所得到的；所述二维表包括与识别为随机访问特征或暂未识别的I/O访问特征的存储块对应的关联规则。本专利技术第二方面提供了一种数据预取装置，包括：第一查找模块，用于查找当前I/O请求所访问的数据所处的目标存储块；第二查找模块，用于在特征位图中查找出所述目标存储块的I/O访问特征，所述特征位图用于标识所述目标存储块的I/O访问特征；顺序预取模块，用于当查找出所述目标存储块的I/O访问特征为顺序访问特征时，根据所述当前I/O请求进行顺序预取；随机预取模块，用于当查找出所述目标存储块的I/O访问特征为随机访问特征时，根据所述当前I/O请求进行随机预取。在第一种可能的实现方式中，还包括：特征识别模块，用于识别存储块的I/O访问特征；添加更新模块，用于将所述特征识别模块识别出的所述存储块的I/O访问特征添加或更新至特征位图中。结合第二方面的第一种可能的实现方式，在第二种可能的实现方式中，所述特征识别模块包括：识别单元，用于当达到统计时间窗阈值，且判断出所述存储块中的历史I/O请求个数大于或等于预设的第一数量阈值，且各个所述历史I/O请求之间的间距小于预设的扇区数量阈值时，识别出所述存储块的I/O访问特征为顺序访问特征；所述识别单元，还用于当达到统计时间窗阈值，且判断出所述存储块中的所述历史I/O请求个数小于预设的第二数量阈值，且各个所述历史I/O请求之间的间距大于预设的扇区数量阈值时，识别出所述存储块的I/O访问特征为随机访问特征；标示单元，用于本文档来自技高网...

【技术保护点】
一种I/O特征识别的方法，其特征在于，包括：当达到统计时间窗阈值，且判断出存储块中的历史I/O请求个数大于或等于预设的第一数量阈值，且各个所述历史I/O请求之间的间距小于预设的扇区数量阈值时，识别出所述存储块的I/O访问特征为顺序访问特征；当达到统计时间窗阈值，且判断出所述存储块中的所述历史I/O请求个数小于预设的第二数量阈值，且各个所述历史I/O请求之间的间距大于预设的扇区数量阈值时，识别出所述存储块的I/O访问特征为随机访问特征；其中，所述第一数量阈值大于所述第二数量阈值。

【技术特征摘要】
1.一种I/O特征识别的方法，其特征在于，包括：当达到统计时间窗阈值，且判断出存储块中的历史I/O请求个数大于或等于预设的第一数量阈值，且各个所述历史I/O请求之间的间距小于预设的扇区数量阈值时，识别出所述存储块的I/O访问特征为顺序访问特征；当达到统计时间窗阈值，且判断出所述存储块中的所述历史I/O请求个数小于预设的第二数量阈值，且各个所述历史I/O请求之间的间距大于预设的扇区数量阈值时，识别出所述存储块的I/O访问特征为随机访问特征；其中，所述第一数量阈值大于所述第二数量阈值。2.如权利要求1所述的方法，其特征在于，所述方法还包括：当达到统计时间窗阈值，且判断出所述存储块中的所述历史I/O请求个数大于或等于预设的第二数量阈值，且小于预设的第一数量阈值时，标示所述存储块的I/O访问特征为暂未识别。3.如权利要求1或2所述的方法，其特征在于，所述方法还包括：将识别出的所述存储块的I/O访问特征添加或更新至特征位图中。4.一种I/O特征识别的方法，其特征在于，包括：当达到统计时间窗阈值，且判断出历史I/O请求在存储块中的覆盖率大于或等于预设的第一覆盖率阈值时，识别出所述存储块的I/O访问特征为顺序访问特征；当达到统计时间窗阈值，且判断出所述历史I/O请求在所述存储块中的覆盖率小于或等于预设的第二覆盖率阈值时，识别出所述存储块的I/O访问特征为随机访问特征；其中，所述第一覆盖率阈值大于所述第二覆盖率阈值。5.如权利要求4所述的方法，其特征在于，还包括：当达到统计时间窗阈值，且判断出所述历史I/O请求在所述存储块中的覆盖率大于预设的第二覆盖率阈值，且小于预设的第一覆盖率阈值时，标示所述存储块的I/O访问特征为暂未识别。6.如权利要求5所述的方法，其特征在于，还包括：判断所述历史I/O请求所访问的数据所处的存储块的用于识别I/O访问特征的元数据是否在本地内存中，所述元数据至少包括所述存储块中所述历史I/O请求个数和所述历史I/O请求的覆盖率；若判断为在所述本地内存中，则更新所述历史I/O请求所访问的数据所处的存储块的用于识别I/O访问特征的元数据；当更新后的元数据所对应的所述存储块满足启动识别条件时，执行所述识别存储块的I/O访问特征。7.如权利要求6所述的方法，其特征在于，还包括：当判断所述历史I/O请求所访问的数据所处的存储块的用于识别I/O访问特征的元数据不在本地内存中时，则进一步判断所述本地内存中的所述元数据的个数是否达到预设的元数据阈值；若判断为未达到预设的元数据阈值，则生成所述历史I/O请求所访问的数据所处的存储块的用于识别I/O访问特征的元数据，并将所生成的元数据存储于所述本地内存中，以便于更新所述历史I/O请求所访问的数据所处的存储块的用于识别I/O访问特征的元数据；若判断为达到预设的元数据阈值时，则从所述本地内存中删除启动识别时间戳最靠前的元数据，以便于在所述本地内存中生成所述历史I/O请求所访问的数据所处的存储块的用于识别I/O访问特征的元数据；计算被删除的元数据所对应的存储块的I/O访问特征，以将计算出的所述I/O访问特征添加或更新至特征位图中。8.一种I/O特征识别装置，其特征在于，所述装置包含接口和处理器，所述接口和所述处理...

【专利技术属性】
技术研发人员：王明迪，覃伟峰，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44