用于存储管理的系统和方法技术方案

技术编号:35160807 阅读:44 留言:0更新日期:2022-10-12 17:20
本公开的实施例提供了用于存储管理的方法和系统。该方法包括:接收将目标节点数据分配给存储空间的请求,其中,存储空间包括缓冲器和外部存储器,目标节点数据包括属性数据和结构数据,并表示具有多个节点和边的图的目标节点;确定与目标节点数据相关联的节点度;基于所确定的节点度将目标节点数据分配给存储空间。空间。空间。

【技术实现步骤摘要】
【国外来华专利技术】用于存储管理的系统和方法
[0001]相关申请的交叉引用
[0002]本公开要求于2020年2月12日提交的申请号为16/789,271的美国专利申请的优先权和优先权权益,其通过引用并入本文。

技术介绍

[0003]图处理对作为图且包括多个数据实体的数据集进行处理。在图中,每个数据实体都可以以节点和边的形式存储。节点表示对象,例如人、动作、车辆等。多个节点之间的关系用节点的边来表示。因此,可以通过对节点和节点的边执行图处理来分析数据集。
[0004]为了处理图,图通常以实际大小被加载到处理器(例如CPU)的高速缓存中。但是,随着图的不断扩大,图的大小可能会超过高速缓存的存储容量。
[0005]此外,作为一种基于指针的数据结构,图的多个节点之间的关系由指针描述,但对指针追踪的依赖对高速缓存的延迟和带宽提出严格要求。

技术实现思路

[0006]本公开的实施例提供了一种存储管理方法。该方法包括:接收将目标节点数据分配给存储空间的请求,其中,存储空间包括缓冲器和外部存储器,目标节点数据包括属性数据和结构数据,并表示具有多个节点和边的图的目标节点;确定与目标节点数据相关联的节点度;基于所确定的节点度在存储空间中分配目标节点数据。
[0007]本公开的实施例还提供了一种计算系统。该系统可以包括:外部存储器,用于存储一组指令;以及处理器,包括缓冲器和被配置为执行该组指令以使计算系统执行以下操作的电路:接收将目标节点数据分配给存储空间的请求,其中,存储空间包括缓冲器和外部存储器,目标节点数据包括属性数据和结构数据,并表示具有多个节点和边的图的目标节点;确定与目标节点数据相关联的节点度;基于所确定的节点度在存储空间中分配目标节点数据。
[0008]应当理解,如上所述,前面的一般描述和下面的详细描述都只是示例性的和解释性的,并不对本公开的实施例进行限制。
附图说明
[0009]以下详细描述和附图说明了本公开的实施例和各个方面。图中所示的各种特征未按比例绘制。
[0010]图1示出了根据本公开的一些实施例的示例性的图的示意图。
[0011]图2A示出了根据本公开的一些实施例的示例性的矩阵形式的图表示。
[0012]图2B示出了根据本公开的一些实施例的示例性的图的结构图。
[0013]图3示出了根据本公开的一些实施例的示例性的计算系统的示意图。
[0014]图4示出了根据本公开的一些实施例的示例性的神经网络加速器架构的示意图。
[0015]图5A示出了根据本公开的一些实施例的示例性的管理单元的示意图。
[0016]图5B示出了根据本公开的一些实施例的示例性的节点分配的示意图。
[0017]图6示出了根据本公开的一些实施例的用于在图处理中进行存储管理的方法的流程图。
具体实施方式
[0018]下文更详细地描述了本公开的特定方面。如果与通过引用合并的术语或定义相冲突,则以本文提供的术语和定义为准。
[0019]本公开的实施例提供了用于在图处理中进行存储管理的系统和方法。在一些实施例中,根据图的节点的节点度将该节点分配给缓冲器或外部存储器。例如,将节点度大于给定阈值的节点分配给缓冲器。由于具有更高节点度的节点被更频繁地访问,因此根据本公开的实施例的系统和方法将缓冲器的宝贵空间分配给具有较高节点度的节点,可以提高缓冲器的效率。在本公开的一些实施例中,节点的属性数据被分配给缓冲器,而节点的结构数据被单独分配给外部存储器。因此,可以避免在缓冲器中进行指针追踪(pointer

chasing),并且还可以更好地利用存储空间。
[0020]图1示出了根据公开的一些实施例的示例性的图100。图是一种包括多个节点和节点之间的多条边的数据结构。节点是与属性数据相关联的对象。属性数据包括属于对象(个人或事物)的特性或特征,尤其是对象(个人或事物)特有的特性或特征。例如,在社交网络中节点是人,并且人与属性数据相关联,例如,人的属性数据包括用户ID、名称、性别、年龄等。作为另一个示例,节点是公交车站,并且公交车站与属性数据相关联,例如,公交车站的属性数据包括在公交车站停车的公交车、公交车到达时间等。节点还可以与结构数据相关联,结构数据描述节点之间的边。例如,结构数据包括边的方向和边的权重。如图1所示,节点0

4可以是社交网络中的人,并且两个节点之间的边可以指示两个人之间的链接。例如,边102 指示节点0和节点1互加好友。图1示出了示例性的边102

112。
[0021]尽管图1的图100被表示为无向图,但图也可以是有向图。在公交车站的示例中,从第一公交车站到第二公交车站的边可以是有向边,由公交车站和边组成的图是有向图。此外,可以对边进行加权。例如,对从第一公交车站到第二公交车站的边进行加权,以在边上指示乘客数量。
[0022]图100可以被表示为数据结构,例如矩阵(例如,压缩稀疏行(compressed sparserow,CSR)矩阵)、表、链接列表等。图2A示出了根据本公开的一些实施例的示例性的矩阵200形式的图表示。
[0023]在一些实施例中,如图2A所示,矩阵200可用于表示图1的图100,其中矩阵元素的数值指示两个节点之间的边。例如,节点0有一条与节点1相连的边,因此矩阵元素(1,0)和(0,1)的数值为1。矩阵200可以进一步被压缩为CSR矩阵。
[0024]可以理解的是,也可以使用表格、链接列表和其他形式来表示图。为了提供更多的通用性,图2B示出了根据本公开的一些实施例的图210的结构图。图210可以以任何适当的形式呈现,图2B仅仅是图210的图示。
[0025]图210中的每个节点可以包括属性数据202和结构数据204。在一些实施例中,属性数据202包括节点的节点ID、节点的一个或多个属性以及指向节点的结构数据 204的指针。例如,节点ID指示节点(例如,节点0、1、2、3或4)的标识。一个或多个属性可以与节点的特性
相关联。如上所述,在社交网络的示例中,一个或多个属性包括节点的名称、性别、年龄等,并且以数值表示。属性数据202中的指针用于定位节点的结构数据204。例如,指针包括结构数据204的地址,如上所述,结构数据204描述节点之间的边。如图2B所示,节点0有链接到节点1的一条边,节点1有链接到节点2和4的两条边,节点2有链接到节点1、3和4的三条边,节点3有链接到节点2和4的两条边,节点4有链接到节点1、2和3的树状边。连接到节点的边的数量也称为节点度。例如,节点0的节点度为1,节点2的节点度为3。
[0026]图3示出了根据本公开的一些实施例的计算系统300的示意图。计算系统300 包括处理设备302和动态随机存取存储器(dynamic random access memory,DRAM) 304。DRAM 304作为片外存储器(也称为外部存储器304),可用作主存储器来存储数据并由处理设备302访问。处理设备3本文档来自技高网
...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种存储管理方法,包括:接收将目标节点数据分配给存储空间的请求,其中,所述存储空间包括缓冲器和外部存储器,所述目标节点数据包括属性数据和结构数据,并表示具有多个节点和边的图的目标节点;确定与所述目标节点数据相关联的节点度;基于所确定的节点度将所述目标节点数据分配给所述存储空间。2.根据权利要求1所述存储管理方法,其中,所述基于所确定的节点度将所述目标节点数据分配给所述存储空间包括:确定所述节点度是否满足给定条件;以及响应于确定所述节点度满足所述给定条件,将所述目标节点数据部分地分配给所述缓冲器。3.根据权利要求2所述存储管理方法,其中,将所述目标节点数据部分地分配给所述缓冲器包括:将所述属性数据分配给所述缓冲器;以及将所述结构数据分配给所述外部存储器。4.根据权利要求3所述存储管理方法,其中,所述目标节点的属性数据包括所述目标节点的标识、所述目标节点的属性和指针中的至少一项;以及所述目标节点的结构数据包括所述目标节点的边。5.根据权利要求4所述存储管理方法,其中,被分配在所述缓冲器中的所述目标节点的指针与所述外部存储器中的结构数据的地址相关联。6.根据权利要求2所述存储管理方法,其中,还包括:响应于确定所述节点度不满足所述给定条件,将所述目标节点数据分配给所述外部存储器。7.根据权利要求2所述存储管理方法,其中,还包括:确定所述缓冲器的可用容量;以及基于所述可用容量调整所述给定条件。8.根据权利要求7所述存储管理方法,其中,所述给定条件包括所述节点度大于给定阈值。9.根据权利要求1所述存储管理方法,其中,所述确定与所述目标节点数据相关联的节点度包括:遍历所述目标节点数据的结构数据,以确定通过相应边连接到所述目标节点的一个或多个节点的数量;以及将连接到所述目标节点的一个或多个节点的数量确定为所述节点度。10.根据权利要求1所述存储管理方法,其中,所述目标节点数据采用压缩稀疏行的格式,所述确定与所述目标节点数据相关联的节点度包括:基于与所述目标节点数据相关联的第一偏移量和第二偏移量,确定所述目标节点的节点度。11.一种计算系统,包括:外部存储器,用于存储一组指令;
处理器,包括缓冲器和被配置为执行所述一组指令以使得计算系统执行以下操作的电路:接收将目标节点数据分配给存储空间的请求,其中,所述存储空间包括所述缓冲器和所述外部存储器,所述...

【专利技术属性】
技术研发人员:林霁澜李双辰牛迪民郑宏忠
申请(专利权)人:阿里巴巴集团控股有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1