匹配顺序大I/O负载特征的粗粒度条带化方法及系统技术方案

本发明专利技术公开了一种匹配顺序大I/O负载特征的粗粒度条带化方法及系统，其中，该方法包括：图数据的分区；条带深度的确定；边块文件的条带化。本发明专利技术提出的匹配顺序大I/O负载特征的粗粒度条带化方法，将经过图分区处理后的所有边块文件，以匹配图数据访问特征的粗粒度条带深度，按照更新顺序条带化到一对一存储在多个外存设备的多个条带化文件中，在应用层实现图数据的多盘粗粒度条带化分布。本发明专利技术能保证每盘的顺序访问和减少设备I/O次数进而有效提高每个盘的I/O吞吐量，并为实现应用层高效I/O管理和发挥多盘并行I/O能力提供基础。

【技术实现步骤摘要】
匹配顺序大I/O负载特征的粗粒度条带化方法及系统
本专利技术属于外存模式图处理系统的I/O性能优化领域，更具体地，涉及一种匹配顺序大I/O负载特征的粗粒度条带化方法及系统。
技术介绍
外存模式的图处理系统的性能瓶颈是外存I/O，有效地提升外存I/O性能，系统的整体性能也会随之提升。使用外存处理的图处理系统因处理大规模图数据集而需要高的外存I/O吞吐量时，多外存设备成为自然而常用的解决方案，如Graphene、X-Stream、FlashGraph、G-Store、GridGraph、NXgraph等。使用多外存设备的理想结果是图处理系统能够完全并行地、均衡地使用每个外存设备，充分利用每个外存设备单独的最大顺序带宽和多外存设备并行能力。现有使用外存处理的图处理系统在多外存设备环境下管理I/O的方法主要有两类：基于条带化卷的操作系统管理I/O方法和基于按需I/O的应用管理I/O方法。基于条带化卷的操作系统管理I/O方法，存在多外存设备并行I/O能力受限、不高效的操作系统内I/O服务开销、锁争用开销等问题，从而导致多外存设备并行I/O能力发挥不足和每个外存设备的吞吐量无法达到最优；基于按需本文档来自技高网...

【技术保护点】
1.一种匹配顺序大I/O负载特征的粗粒度条带化方法，其特征在于，包括：(1)将原始图数据中所有顶点等分成P个顶点分区，根据边的目的顶点所在的顶点分区将所有的边分成P个条块，每个边对应的条块进一步根据该边的源顶点所在的顶点分区分成P个边块，最终形成一个P*P的二维分区；(2)选取平均I/O请求大小至最大I/O请求大小作为条带深度，并避免I/O请求跨越三盘以上的情况以减少数据块定位开销；(3)基于所述条带深度，将所述原始图数据分区后的所有边块文件按照更新顺序划分成大小相等的粗粒度条带单元，并将各所述粗粒度条带单元以递增的顺序循环地均匀分布在连续的N个条带化文件中，其中，条带化文件从0～N‑1连续编...

【技术特征摘要】
1.一种匹配顺序大I/O负载特征的粗粒度条带化方法，其特征在于，包括：(1)将原始图数据中所有顶点等分成P个顶点分区，根据边的目的顶点所在的顶点分区将所有的边分成P个条块，每个边对应的条块进一步根据该边的源顶点所在的顶点分区分成P个边块，最终形成一个P*P的二维分区；(2)选取平均I/O请求大小至最大I/O请求大小作为条带深度，并避免I/O请求跨越三盘以上的情况以减少数据块定位开销；(3)基于所述条带深度，将所述原始图数据分区后的所有边块文件按照更新顺序划分成大小相等的粗粒度条带单元，并将各所述粗粒度条带单元以递增的顺序循环地均匀分布在连续的N个条带化文件中，其中，条带化文件从0～N-1连续编号，一对一地存储在N个外存设备上。2.根据权利要求1所述的方法，其特征在于，步骤(3)包括：(3.1)若Dl≤S-O％S，即原始I/O请求的数据长度Dl不超过其地址映射后所在的第一个条带化文件内的条带单元的剩余长度，则不需要分解，该原始I/O请求对应的新I/O请求的条带化文件编号为SI0，条带化文件内起始偏移地址为SO0，该原始I/O请求的数据长度为Dl，其中，S为条带深度，O为该原始I/O请求在原始大线性地址空间中的起始偏移地址；(3.2)若Dl＞S-O％S，即原始I/O请求的数据长度Dl超过了其地址映射后所在的第一个条带化文件内的条带单元的剩余长度，跨越了多个外存设备，则需要分解成多个新I/O请求，并为各新I/O请求分配条带化文件。3.根据权利要求2所述的方法，其特征在于，步骤(3.2)包括：第一个新I/O请求的条带化文件编号为SI0，条带化文件内起始偏移地址为SO0，第一个新I/O请求的条带化文件长度为S-O％S，第一个新I/O请求的条带化文件剩余长度rest_length_IO＝Dl-...

【专利技术属性】
技术研发人员：施展，冯丹，刘上，戴凯航，于瑞丽，曹孟媛，杨蕾，杨文鑫，陈硕，陈静，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北,42