一种缓存方法、缓存架构、异构架构及电子设备技术

本申请提供一种缓存方法、缓存架构、异构架构及电子设备，应用于计算机及芯片技术领域，其中缓存架构包括缓存读处理模块、缓存写处理模块、冷项检测模块、内存读处理模块、内存写处理模块，其中所述缓存读处理模块、缓存写处理模块、冷项检测模块在协处理器侧实现，所述内存读处理模块、内存写处理模块在通用处理器侧实现。通过在异构架构中设置新型缓存架构，使得协处理器的部分功能上提给通用处理器，不仅数据缓存整体流程通畅，效率高，也降低了协处理器受到面积、功耗、漏电等瓶颈的影响，降低了异构架构成本，提高了异构架构数据缓存效率和部署应用的灵活性。效率和部署应用的灵活性。效率和部署应用的灵活性。

【技术实现步骤摘要】
一种缓存方法、缓存架构、异构架构及电子设备


[0001]本申请涉及计算机及芯片
，具体涉及一种缓存方法、缓存架构、异构架构及电子设备。

技术介绍

[0002]随着5G、AI、云计算等新技术的兴起，以CPU（Central Processing Unit，中央处理器）为代表的通用计算处理器，已满足不了日益增长的计算需求，而以往的按照摩尔定律、通过提升CPU时钟频率、内核数量等进行性能提升的传统方式，则遭遇了散热、功耗、漏电等瓶颈。
[0003]为了解决这些问题，GPU（Graphic Processing Unit，图形处理器）、NPU（Neural
‑
Network Processing Unit，神经网络处理器）、FPGA（FieldProgrammable Gate Array，现场可编程逻辑阵列）、DPU（Data Processing Unit ，数据处理器）等新兴芯片技术应运而生。因此，由这些异构计算芯片与CPU配合共同构成一种异构架构，实现专“人”专职、分工协作，更好地对数据进行运算加速。
[0004]但是，异构架构在系统设计时通常是基于专用芯片内部功能进行拼图式组合而成，即各个数据处理的协处理器之间尽量保持独立的功能，同样尽量简化协处理器自身与外部其他处理器之间数据交互，因而在数据加速计算的整体处理上还有大多需要改进之处，比如整体过程优化、效率提升、成本降低等。

技术实现思路

[0005]有鉴于此，本说明书实施例提供一种缓存方法、缓存架构、异构架构及电子设备，有利于减小面积、功耗、漏电等瓶颈对异构架构中协处理器的制约，提高了异构架构部署应用于各种场景时的灵活性。
[0006]本说明书实施例提供以下技术方案：本说明书实施例提供一种基于异构架构的缓存架构，包括：缓存读处理模块、缓存写处理模块、冷项检测模块、内存读处理模块、内存写处理模块，其中所述缓存读处理模块、缓存写处理模块、冷项检测模块在协处理器侧实现，所述内存读处理模块、内存写处理模块在通用处理器侧实现；缓存读处理模块，用于接收请求方发来的读请求，获取所述读请求在所述协处理器的缓存中匹配的结果，如果匹配结果为命中，则根据命中位置读取所述缓存中的数据并返回给所述请求方，以及，将所述读请求转发给所述冷项检测模块；如果匹配结果为未命中，则将所述读请求转发给所述内存读处理模块；缓存写处理模块，用于接收请求方发来的写请求，并将所述写请求转发给所述内存写处理模块；冷项检测模块，用于对所述缓存内的数据进行冷度计数统计以确定所述缓存中的待踢出数据；
内存读处理模块，用于根据所述缓存读处理模块发来的读请求在内存中获取目标数据并返回给所述缓存以响应所述请求方的读请求；内存写处理模块，用于接收所述缓存写处理模块发来的写请求，以及，根据所述写请求回写所述内存中的数据。
[0007]优选地，所述缓存读处理模块在用于获取所述读请求在所述协处理器的缓存中匹配的结果时，具体用于：遍历所述缓存中的地址表以寻找与所述读请求的访问地址相匹配的匹配项；如果未找到匹配项则判定为未命中；如果找到匹配项则判定为命中，并记录匹配项在所述缓存中的位置作为所述命中位置。
[0008]优选地，所述缓存架构还包括回写暂存空间，所述回写暂存空间在协处理器侧实现，用于暂存待写入内存的数据；所述缓存写处理模块还用于：将接收到的写请求存入所述回写暂存空间；当所述写请求在所述缓存中的匹配结果为命中时，在更新所述缓存中的数据之后释放所述回写暂存空间；当所述写请求在所述缓存中的匹配结果为未命中时，根据所述内存写处理模块返回的回写处理完成信号释放所述回写暂存空间；所述内存写处理模块还用于：在根据所述写请求更新所述内存中的数据之后，向所述缓存写处理模块返所述回写处理完成信号。
[0009]优选地，所述缓存写处理模块还用于：接收所述请求方发来的读请求，获取所述读请求在所述回写暂存空间中匹配的结果，如果匹配结果为命中，则根据命中位置读取所述回写暂存空间中的数据并返回给所述请求方。
[0010]优选地，所述内存读处理模块还用于根据接收到的读请求对所述内存中的数据进行热度计数统计，以确定所述缓存对应的待添加数据，并判断所述待添加数据是否应添加进所述缓存，如果应添加进所述缓存，则为所述待添加数据标记添加标记，并将被标记添加标记的所述待添加数据返回给所述缓存；所述冷项检测模块或者所述缓存写处理模块还用于当所述内存读处理模块返回的待添加数据带有添加标记时，则在所述待踢出数据的位置上进行所述待添加数据的替换或添加。
[0011]优选地，本说明书任意一项所述的缓存架构，所述缓存架构还包括第一接口管理模块，所述第一接口管理模块在协处理器侧实现，所述第一接口管理模块用于对协处理器侧的缓存读处理模块、缓存写处理模块、冷项检测模块与通用处理器侧的内存读处理模块、内存写处理模块之间数据通信的接口管理；和/或，所述缓存架构还包括第二接口管理模块，所述第二接口管理模块在协处理器侧实现，所述第二接口管理模块用于对所述请求方的读请求和/或写请求进行流量管理。
[0012]本说明书实施例还提供一种基于异构架构的缓存方法，所述缓存方法用于以下缓存架构：缓存读处理模块、缓存写处理模块、冷项检测模块、内存读处理模块、内存写处理模
块，其中所述缓存读处理模块、缓存写处理模块、冷项检测模块在协处理器侧实现，所述内存读处理模块、内存写处理模块在通用处理器侧实现；所述缓存方法包括：由所述缓存读处理模块接收请求方发来的读请求，获取所述读请求在所述协处理器的缓存中匹配的结果，如果匹配结果为命中，则根据命中位置读取所述缓存中的数据并返回给所述请求方，以及，将所述读请求转发给所述冷项检测模块；如果匹配结果为未命中，则将所述读请求转发给所述内存读处理模块；由所述缓存写处理模块接收请求方发来的写请求，并将所述写请求转发给所述内存写处理模块；由所述冷项检测模块对所述缓存内的数据进行冷度计数统计以确定所述缓存中的待踢出数据；由所述内存读处理模块根据所述缓存读处理模块发来的未命中的读请求在所述内存中获取对应的目标数据并返回给所述缓存以响应所述请求方的读请求；由所述内存写处理模块接收所述缓存写处理模块发来的写请求，以及，根据所述写请求回写所述内存中的数据。优选地，获取所述读请求在所述协处理器的缓存中匹配的结果，具体包括：遍历所述缓存中的地址表以寻找与所述读请求的访问地址相匹配的匹配项；如果未找到匹配项则判定为未命中；如果找到匹配项则判定为命中，并记录匹配项在所述缓存中的位置作为所述命中位置。
[0013]优选地，若所述缓存架构还包括回写暂存空间，其中所述回写暂存空间用于暂存待写入内存的数据，所述缓存方法还包括：由所述缓存写处理模块将接收到的写请求存入所述回写暂存空间；当所述写请求在所述缓存中的匹配结果为命中时，在更新所述缓存中的数据之后释放所述回写暂存空间；当所述写请求在所述缓存中的匹配结果为未命中时，根据所述内存写处理模块返回的回写处理完成信号释放所述回写暂存空间；由所述内存写处理模块在根据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于异构架构的缓存架构，其特征在于，所述缓存架构包括：缓存读处理模块、缓存写处理模块、冷项检测模块、内存读处理模块、内存写处理模块，其中所述缓存读处理模块、缓存写处理模块、冷项检测模块在协处理器侧实现，所述内存读处理模块、内存写处理模块在通用处理器侧实现；缓存读处理模块，用于接收请求方发来的读请求，获取所述读请求在所述协处理器的缓存中匹配的结果，如果匹配结果为命中，则根据命中位置读取所述缓存中的数据并返回给所述请求方，以及，将所述读请求转发给所述冷项检测模块；如果匹配结果为未命中，则将所述读请求转发给所述内存读处理模块；缓存写处理模块，用于接收请求方发来的写请求，并将所述写请求转发给所述内存写处理模块；冷项检测模块，用于对所述缓存内的数据进行冷度计数统计以确定所述缓存中的待踢出数据；内存读处理模块，用于根据所述缓存读处理模块发来的读请求在内存中获取目标数据并返回给所述缓存以响应所述请求方的读请求；内存写处理模块，用于接收所述缓存写处理模块发来的写请求，以及，根据所述写请求回写所述内存中的数据。2.根据权利要求1所述的缓存架构，其特征在于，所述缓存读处理模块在用于获取所述读请求在所述协处理器的缓存中匹配的结果时，具体用于：遍历所述缓存中的地址表以寻找与所述读请求的访问地址相匹配的匹配项；如果未找到匹配项则判定为未命中；如果找到匹配项则判定为命中，并记录匹配项在所述缓存中的位置作为所述命中位置。3.根据权利要求1所述的缓存架构，其特征在于，所述缓存架构还包括回写暂存空间，所述回写暂存空间在协处理器侧实现，用于暂存待写入内存的数据；所述缓存写处理模块还用于：将接收到的写请求存入所述回写暂存空间；当所述写请求在所述缓存中的匹配结果为命中时，在更新所述缓存中的数据之后释放所述回写暂存空间；当所述写请求在所述缓存中的匹配结果为未命中时，根据所述内存写处理模块返回的回写处理完成信号释放所述回写暂存空间；所述内存写处理模块还用于：在根据所述写请求更新所述内存中的数据之后，向所述缓存写处理模块返所述回写处理完成信号。4.根据权利要求3所述的缓存架构，其特征在于，所述缓存写处理模块还用于：接收所述请求方发来的读请求，获取所述读请求在所述回写暂存空间中匹配的结果，如果匹配结果为命中，则根据命中位置读取所述回写暂存空间中的数据并返回给所述请求方。5.根据权利要求3所述的缓存架构，其特征在于，所述内存读处理模块还用于根据接收到的读请求对所述内存中的数据进行热度计数统计，以确定所述缓存对应的待添加数据，并判断所述待添加数据是否应添加进所述缓存，如果应添加进所述缓存，则为所述待添加
数据标记添加标记，并将被标记添加标记的所述待添加数据返回给所述缓存；所述冷项检测模块或者所述缓存写处理模块还用于当所述内存读处理模块返回的待添加数据带有添加标记时，则在所述待踢出数据的位置上进行所述待添加数据的替换或添加。6.根据权利要求1
‑
5中任意一项所述的缓存架构，其特征在于，所述缓存架构还包括第一接口管理模块，所述第一接口管理模块在协处理器侧实现，所述第一接口管理模块用于对协处理器侧的缓存读处理模块、缓存写处理模块、冷项检测模块与通用处理器侧的内存读处理模块、内存写处理模块之间数据通信的接口管理；和/或，所述缓存架构还包括第二接口管理模块，所述第二接口管理模块在协处理器侧实现，所述第二接口管理模块用于对所述请求...

【专利技术属性】
技术研发人员：许刚，张睿凯，喻径舟，刘永锋，吴吉朋，
申请(专利权)人：北京云脉芯联科技有限公司，
类型：发明
国别省市：