多级高速缓存系统及电子设备技术方案

本发明专利技术实施例公开了一种多级高速缓存系统及电子设备。该系统将图形处理系统GPU的3级缓存划分为多个模块化单元，多个模块化单元至少包括数据缓冲区、标记库单元、数据库单元、状态库单元、数据错过队列单元和逐出缓冲单元，将GPU系统3级缓存分解为独立的单元，使得流水管线概念不再重要，每个单元处理自己的功能，不受其他单元的干扰。通过本发明专利技术，解决了相关技术中的图形处理系统3级缓存通常采用将请求命令联锁到所有流水线阶段的方式，存在设计复杂且缺乏配置灵活性的问题，达到了实现请求指令在不同的功能单元中并行执行和按顺序执行，提高了系统性能以及执行延迟时间的灵活性的技术效果。技术效果。技术效果。

【技术实现步骤摘要】
多级高速缓存系统及电子设备


[0001]本专利技术涉及计算机缓存
，尤其涉及一种多级高速缓存系统及电子设备。

技术介绍

[0002]微处理器性能以每年约60%的速度提高。但是，内存访问时间每年提高不到10%。这意味着微处理器速度的改进速度超过了动态随机存取存储器（Dynamic Random Access Memory，DRAM）速度的改进速度。因此，尽管处理器和内存速度之间的差异已经是个问题，但内存到硬盘的数据存取速度差距会更大。因此，计算机设计人员面临着越来越多的处理器
‑
存取性能差距，这是目前提高计算机系统性能的主要障碍。
[0003]数据依赖性惩罚是微处理器设计人员要解决的障碍。缓存成为微处理器的一个重要功能。缓存内存演变为多个级别，缓存层次结构是减少数据提取时间最有效的方法。当前用于PC、笔记本电脑、智能手机和平板电脑的微处理器具有内置的缓存层次结构。PC和笔记本电脑通常使用2级（L2）缓存大小进行广告宣传。3级（L3）缓存是CPU使用的专用缓存，通常构建在主板上，在某些特殊处理器中，在CPU模块本身中。它与1级（L1）和L2缓存协同工作，通过防止因提取和执行周期过长而导致的瓶颈来提高计算机性能。
[0004]在图形处理器（Graphics Processing Unit，GPU）系统中，L3缓存的要求与CPU是类似的。特别是在现在，GPU的市场是多样化的，应用范围广泛，要求不同。物联网、互联汽车、可穿戴设备、医疗设备、游戏、虚拟设备、智能城市、建筑和工厂都在推动着一系列新的、多样化的GPU处理器要求。配置和扩展GPU以满足应用程序要求的能力是GPU的一种很有前途的新技术模型。它提供了高度的灵活性，使GPU的开发人员能够包括他们自己的专有自定义指令。GPU设计还可以根据应用要求定制处理器IP，在性能、功耗和面积方面实现最佳的权衡。此外，GPU技术的定制提供了满足不断发展的标准的能力。如今，从消费者到汽车，各种应用和要求繁多，在单个固定GPU IP上实现标准化的不同类型的应用程序太多。遵循相同的趋势，L3缓存必须为不同的GPU设计提供配置的灵活性。配置包括缓存大小、方式关联数、内存库数量、具有单个读/写配置的输入端口数、灵活的内存延迟、断电选项、纠错代码（ECC）和奇偶校验以及缓存分区。为了适应L3缓存设计的所有要求，有必要采用新的设计方法。
[0005]在相关技术中，例如，大多数片上缓存层次结构由两个级别组成（L1和L2），但在缓存层次结构中合并三个级别变得越来越普遍（L1、L2和L3）。共享缓存实现L3有更好的机会优化错过率、延迟和复杂性。又例如，GPU的应用非常广泛，GPU L3缓存设计必须提供灵活性，以便用于各种不同的应用。与微处理器设计一样，L3缓存也有流水线，如图 1所示，L3缓存的流水线包括流水管线S1
‑
S20，其中，L3缓存的请求命令输入和命令信号路由对应流水管线S1
‑
S4，标记数组访问和比较对应流水管线S5
‑
S8，标记数组信号路由对应流水管线S9
‑
S10，数据阵列访问和信号路由对应流水管线S11
‑
S16，输出寄存和信号路由对应流水管线S17
‑
S20。标记数组和数据数组的读取和写入数据。传统设计将请求命令联锁到所有流水线阶段。在考虑缓存错过、缓存替换、数据逐出、数据的预取以及它们之间的所有可能冲突时，
设计变得很复杂。传统设计缺乏GPU系统所需的所有可能配置所需的灵活性。
[0006]针对相关技术中的图形处理系统3级缓存通常采用将请求命令联锁到所有流水线阶段的方式，存在设计复杂且缺乏配置灵活性的问题，尚未提出有效地解决方案。

技术实现思路

[0007]本专利技术实施例提供了一种多级高速缓存系统及电子设备，以至少解决相关技术中的图形处理系统3级缓存通常采用将请求命令联锁到所有流水线阶段的方式，存在设计复杂且缺乏配置灵活性的技术问题。
[0008]根据本专利技术实施例的一个方面，提供了一种多级高速缓存系统，将图形处理系统GPU的3级缓存划分为多个模块化单元，多个所述模块化单元至少包括：数据缓冲区，用于接收GPU核心集群和/或GPU固定功能模块的请求指令，并为所述请求指令分配对应的条目，其中，所述条目至少包括所述请求指令的数据地址、请求数据和控制信息；标记库单元，用于接收所述GPU核心集群和/或所述GPU固定功能模块的所述请求指令，根据所述请求指令的数据地址将所述请求指令发送至标记库队列，并按照所述标记库队列的顺序判断标记数组是否命中所述请求指令；数据库单元，分别与所述标记库单元、所述数据缓冲区连接，用于在所述标记数组命中所述请求指令的情况下，则根据命中的所述请求指令的请求地址将命中的所述请求指令发送至数据库队列，并按照所述数据库队列的顺序执行所述请求指令，从所述数据库单元读取数据并写入所述数据缓冲区或者从所述数据缓冲区读取数据并写入所述数据库单元；状态库单元，与所述标记库单元连接，用于接收所述标记数组中命中的所述请求指令，将命中的所述请求指令发送至状态库队列，并按照所述状态库队列的顺序访问所述状态库单元的状态数组，调整命中的所述请求指令的控制信息；数据错过队列单元，分别与所述标记库单元、所述状态库单元连接，用于在所述标记数组中未命中所述请求指令的情况下，则根据未命中的所述请求指令的请求地址将未命中的所述请求发送至数据错过队列，并按照所述数据错过队列的顺序执行所述请求指令访问所述状态库单元以获取替换策略；逐出缓冲单元，与所述数据库单元连接，用于接收从所述数据库单元中的逐出数据，将所述逐出数据发送至逐出缓冲队列，并按照所述逐出缓冲队列的顺序将所述逐出数据发送至内存。
[0009]可选地，所述数据缓冲区包括自由列表，所述自由列表用于显示所述数据缓冲区的可用条目总数，其中，在接收到所述请求指令时，从所述自由列表中分配一个所述条目给所述请求指令，在完成所述请求指令后，则将所述条目回收到所述自由列表中。
[0010]可选地，所述数据缓冲区通过输入通道单元接收GPU核心集群和/或GPU固定功能模块的请求指令，所述输入通道单元包括：读取单元，用于将所述数据缓冲区中预定条目的数据发送至所述GPU核心集群和/或所述GPU固定功能模块；或者，写入单元，用于从所述输入通道单元读取数据并写入所述数据缓冲区中的所述预定条目或者写入所述内存。
[0011]可选地，将所述数据缓冲区中预定条目的数据发送至所述GPU核心集群和/或所述GPU固定功能模块，包括：判断所述预定条目中目标数据包的控制信息对应的有效标志位；若所述有效标志位为高电平，则数据有效，将数据发送至所述GPU核心集群/或所述GPU固定功能模块，并继续判断下一个所述目标数据包。
[0012]可选地，所述数据缓冲区的标识采用所述请求指令的数据地址译码后产生的标
签，其中，每一个所述标签唯一标识一个所述数据缓冲区。
[0013]可选地，根据所述请求指令的数据地址将所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多级高速缓存系统，其特征在于，将图形处理系统GPU的3级缓存划分为多个模块化单元，多个所述模块化单元至少包括：数据缓冲区，用于接收GPU核心集群和/或GPU固定功能模块的请求指令，并为所述请求指令分配对应的条目，其中，所述条目至少包括所述请求指令的数据地址、请求数据和控制信息；标记库单元，用于接收所述GPU核心集群和/或所述GPU固定功能模块的所述请求指令，根据所述请求指令的数据地址将所述请求指令发送至标记库队列，并按照所述标记库队列的顺序判断标记数组是否命中所述请求指令；数据库单元，分别与所述标记库单元、所述数据缓冲区连接，用于在所述标记数组命中所述请求指令的情况下，则根据命中的所述请求指令的请求地址将命中的所述请求指令发送至数据库队列，并按照所述数据库队列的顺序执行所述请求指令，从所述数据库单元读取数据并写入所述数据缓冲区或者从所述数据缓冲区读取数据并写入所述数据库单元；状态库单元，与所述标记库单元连接，用于接收所述标记数组中命中的所述请求指令，将命中的所述请求指令发送至状态库队列，并按照所述状态库队列的顺序访问所述状态库单元的状态数组，调整命中的所述请求指令的控制信息；数据错过队列单元，分别与所述标记库单元、所述状态库单元连接，用于在所述标记数组中未命中所述请求指令的情况下，则根据未命中的所述请求指令的请求地址将未命中的所述请求发送至数据错过队列，并按照所述数据错过队列的顺序执行所述请求指令访问所述状态库单元以获取替换策略；逐出缓冲单元，与所述数据库单元连接，用于接收从所述数据库单元中的逐出数据，将所述逐出数据发送至逐出缓冲队列，并按照所述逐出缓冲队列的顺序将所述逐出数据发送至内存。2.根据权利要求1所述的多级高速缓存系统，其特征在于，所述数据缓冲区包括自由列表，所述自由列表用于显示所述数据缓冲区的可用条目总数，其中，在接收到所述请求指令时，从所述自由列表中分配一个所述条目给所述请求指令，在完成所述请求指令后，则将所述条目回收到所述自由列表中。3.根据权利要求1所述的多级高速缓存系统，其特征在于，所述数据缓冲区通过输入通道单元接收GPU核心集群和/或GPU固定功能模块的请求指令，所述输入通道单元包括：读取单元，用于将所述数据缓冲区中预定条目的数据发送至所述GPU核心集群...

【专利技术属性】
技术研发人员：江靖华，张坚，
申请(专利权)人：深流微智能科技深圳有限公司，
类型：发明
国别省市：