System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及计算机,尤其涉及一种i/o管理方法、装置、电子设备及介质。
技术介绍
1、使用图结构来分析复杂数据已经被越来越广泛的应用到各个领域。随着大数据时代的到来,在图分区加载阶段需要进行大量的外存i/o,严重影响了系统的性能,故如何对i/o进行有效管理是当前亟需解决的问题。
2、然而,现有的i/o管理方法主要采用均等的粒度进行分区,存在加载大量无用数据的情况,降低了i/o利用率。
技术实现思路
1、本专利技术提供了一种i/o管理方法、装置、电子设备及介质,以减少无用数据的加载,提高当前的i/o利用率。
2、根据本专利技术的一方面,提供了一种i/o管理方法,所述方法包括:
3、采用预设分区策略对原始图数据中的各数据进行分区,得到至少一个目标分区,其中,所述预设分区策略包括使用粗粒度对活跃数据进行分区,使用细粒度对不活跃数据进行分区;
4、对所述至少一个目标分区进行i/o调度,以完成原始图数据的随机游走。
5、根据本专利技术的另一方面,提供了一种i/o管理装置,所述装置包括:
6、分区模块,用于采用预设分区策略对原始图数据中的各数据进行分区,得到至少一个目标分区,其中,所述预设分区策略包括使用粗粒度对活跃数据进行分区,使用细粒度对不活跃数据进行分区;
7、调度模块,用于对所述至少一个目标分区进行i/o调度,以完成原始图数据的随机游走。
8、根据本专利技术的另一方面,提供了一种电子设备,
9、至少一个处理器;以及
10、与所述至少一个处理器通信连接的存储器;其中,
11、所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行本专利技术任一实施例所述的i/o管理方法。
12、根据本专利技术的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现本专利技术任一实施例所述的i/o管理方法。
13、本专利技术实施例提供了一种i/o管理方法、装置、电子设备及介质,所述方法包括:采用预设分区策略对原始图数据中的各数据进行分区,得到至少一个目标分区,其中,所述预设分区策略包括使用粗粒度对活跃数据进行分区,使用细粒度对不活跃数据进行分区;对所述至少一个目标分区进行i/o调度,以完成原始图数据的随机游走。利用上述技术方案,通过采用预设分区策略对原始图数据中的各数据进行分区,能够同时满足不同活跃度数据对不同分区大小的需求,为后续减少加载无用数据提供了基础,进而提高了当前的i/o利用率。
14、应当理解,本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征,也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
本文档来自技高网...【技术保护点】
1.一种I/O管理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述采用预设分区策略对原始图数据中的各数据进行分区,得到至少一个目标分区,包括:
3.根据权利要求2所述的方法,其特征在于,所述根据预设分区策略以及各顶点的入度,对原始图数据中的各数据进行分区,得到至少一个目标分区,包括:
4.根据权利要求1所述的方法,其特征在于,在所述采用预设分区策略对原始图数据中的各数据进行分区,得到至少一个目标分区之后,还包括:
5.根据权利要求1所述的方法,其特征在于,所述对所述至少一个目标分区进行I/O调度,以完成原始图数据的随机游走,包括:
6.根据权利要求5所述的方法,其特征在于,所述基于分区关联关系对所述至少一个目标分区进行I/O调度,以完成原始图数据的随机游走,包括:
7.一种I/O管理装置,其特征在于,所述装置包括:
8.根据权利要求7所述的装置,其特征在于,所述调度模块包括:
9.一种电子设备,其特征在于,所述电子设备包括:
10.一种计算机
...【技术特征摘要】
1.一种i/o管理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述采用预设分区策略对原始图数据中的各数据进行分区,得到至少一个目标分区,包括:
3.根据权利要求2所述的方法,其特征在于,所述根据预设分区策略以及各顶点的入度,对原始图数据中的各数据进行分区,得到至少一个目标分区,包括:
4.根据权利要求1所述的方法,其特征在于,在所述采用预设分区策略对原始图数据中的各数据进行分区,得到至少一个目标分区之后,还包括:
5.根据权利要求1所述的方法,其特征在于,所述对所述至少一个目标分区进行...
【专利技术属性】
技术研发人员:陈硕,谢南翔,朱伟志,
申请(专利权)人:中国农业银行股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。