一种面向大数据应用的目录缓存管理方法技术

本发明专利技术公开了一种面向大数据应用的目录缓存管理方法，属于目录缓存管理方法，在末级共享缓存中增加共享标志位与数据块指针，共享标志位用来区分数据是私有数据或是共享数据，数据块指针用来追踪私有数据在私有缓存中的位置，目录缓存用来维护共享数据的一致性；基于末级共享缓存以及目录缓存将数据分成私有数据与共享数据；私有数据不占用目录缓存的空间，通过私有缓存中目录维护数据一致性；共享数据占用目录缓存空间，通过目录缓存维护数据一致性。本发明专利技术可以降低目录缓存的冲突以及替换次数，降低私有数据的访存延迟，提高多核处理器系统的性能。

【技术实现步骤摘要】

本专利技术涉及一种目录缓存管理方法，具体地说是一种面向大数据应用的目录缓存管理方法。
技术介绍
随着网络购物、搜索、物联网与数据挖掘等领域的迅速发展，数据中心所需要处理的数据量急剧快速地增长。数据中心采用Scale-Out方式扩容，操作简单、成本低，逐渐成为了未来数据中心发展的主流方向。然而，与传统应用相比，Scale-Out类型的应用有其特殊之处，第一数据集大，Scale-Out类型的应用需要处理的数据集往往在千兆（M）以上，远远超出目前处理器片上缓存容量；第二有限共享，Scale-Out类型的应用存在数据共享，主要集中在指令共享以及任务通信协作的共享，数据集约为几兆；第三局部性，Scale-Out类型的应用存在局部性，对于小范围的数据存在较高的数据重用。传统的缓存一致性协议是针对传统应用程序而设计的，针对Scale-Out类型的应用效率不高，存在两点主要原因：第一目录抖动；第二延迟高。目录抖动产生的原因是，目录的替换策略缺少私有缓存中的数据访问信息，大量的数据竞争有限的目录容量，造成替换了在私有缓存中被经常使用的数据。高的访问延迟产生的原因是，对本文档来自技高网...

【技术保护点】
一种面向大数据应用的目录缓存管理方法，其特征在于在末级共享缓存中增加共享标志位与数据块指针，共享标志位用来区分数据是私有数据或是共享数据，数据块指针用来追踪私有数据在私有缓存中的位置，目录缓存用来维护共享数据的一致性；基于末级共享缓存以及目录缓存将数据分成私有数据与共享数据；私有数据不占用目录缓存的空间，通过私有缓存中目录维护数据一致性；共享数据占用目录缓存空间，通过目录缓存维护数据一致性。

【技术特征摘要】
1.一种面向大数据应用的目录缓存管理方法，其特征在于在末级共享缓存中增加共享标志位与数据块指针，共享标志位用来区分数据是私有数据或是共享数据，数据块指针用来追踪私有数据在私有缓存中的位置，目录缓存用来维护共享数据的一致性；基于末级共享缓存以及目录缓存将数据分成私有数据与共享数据；私有数据不占用目录缓存的空间，通过私有缓存中目录维护数据一致性；共享数据占用目录缓存空间，通过目录缓存维护数据一致性。
2.根据权利要求1所述的一种面向大数据应用的目录缓存管理方法，其特征在于共享标志位与数据块指针的控制过程如下：共享标志位用来标志该数据在片上是否处于共享状态，当缓存块处于无效状态时标志位不起作用，当缓存块处于有效状态时，首次建立的缓存块默认是私有的，此时，数据块指针用来索引该缓存块在私有缓存中的数据备份，如果私有缓存中没有备份，数据块指针指向空索引。
3.根据权利要求1所述的一种面向大数据应用的目录缓存管理方法，其特征在于目录缓存用来维护共享数据的一致性，具体是指：目录缓存是一个采用组相联结构的缓存，每个缓存块包括标签与共享向量；共享向量用来记录共享数据在私有缓存中的位置。
4.根据权利要求1所述的一种面向大数据应用的目录缓存管理方法，其特征在于基于末级共享缓存以及目录缓存将数据分成私有数据与共享数据，具体是指：
一次数据访问根据末级共享缓存以及目录缓存的命中与缺失情况将数据块分为如下四类：
（1）、LLC-Hit及DC-Hit的数据块，其中DC-Hit说明该数据块是共享数据、处于共享状态，此时LLC中该数据的共享标志位处于共享状态；
（2）LLC-Hit及DC-Miss的数据块，其中DC-Miss说明该数据块是私有数据、处于私有状态，此时LLC中该数据块的共享标志位处于私有状态；
（3）、LLC-Miss及DC-Hit的数据块，其中DC-Hit说明该数据块是共享数据、处于共享状态，此时LLC-Miss说明LLC的组织方式是无包含关系或者互斥关系的；
（4）、LLC-Miss及DC-Miss的数据块，说明该数据块在片上没有备份，要重新建立缓存，对于新建立的缓存数据默认是私有数据；
...

【专利技术属性】
技术研发人员：唐士斌，
申请(专利权)人：浪潮电子信息产业股份有限公司，
类型：发明
国别省市：山东;37