数据处理装置、方法、芯片、处理器、设备及存储介质制造方法及图纸

本申请提供一种数据处理装置、方法、芯片、处理器、设备及存储介质，数据处理装置包括：至少两个基础核心模块，每个基础核心模块包括多个计算引擎、缓存网络、多个转换开关、多个缓存单元、共享总线以及核心缓存；该多个缓存单元及核心缓存分别与缓存网络连接，多个计算引擎通过多个转换开关与缓存网络连接，多个转换开关通过共享总线串行连接，共享总线与另一基础核心模块的核心缓存连接，转换开关用于在接收到访问另一基础核心模块的数据处理请求后，通过共享总线将数据处理请求传输至另一基础核心模块的核心缓存，使其基于第一数据处理请求访问另一基础核心模块的缓存单元。能够在不影响性能、不提高工艺复杂度的情况下实现计算引擎的扩展。

Data processing device, method, chip, processor, equipment and storage medium

【技术实现步骤摘要】
数据处理装置、方法、芯片、处理器、设备及存储介质
本申请涉及处理器
，具体而言，涉及一种数据处理装置、方法、芯片、处理器、设备及存储介质。
技术介绍
图形处理器(GraphicsProcessingUnit，GPU)，是一种专用于在个人电脑、工作站、游戏机和一些移动设备(如平板电脑、智能手机等)上进行图像和图形相关运算工作的微处理器。GPU能够使显卡减少对中央处理器(CentralProcessingUnit，CPU)的依赖，并进行部分原本CPU的工作，尤其是对于3D图形的处理。目前，现有的GPU在可扩展性上存在一定的困难，因为目前GPU中的计算引擎(ComputeEngine)是通过上述的缓存网络实现互相连接的，如果要扩展这个架构，例如从四个计算引擎扩展到八个计算引擎，很难简单地通过扩展缓存网络来连接更多的计算引擎。这是因为一方面单纯地将缓存网络扩大，会使计算引擎的访问路径变长，从而会导致性能的明显下降，另一方面，是存在芯片绕线资源的限制和物理工艺的限制，直接将缓存网络扩大会增加工艺复杂度且较难实现。因此，如何在不影响性能、不提高工艺复杂度的基础上实现计算引擎的扩展是当前亟需解决的问题。
技术实现思路
本申请提供一种数据处理装置、方法、芯片、处理器、设备及存储介质，用于解决扩展计算引擎数量时导致性能降低的问题，能够在不影响性能、不提高工艺复杂度的情况下实现计算引擎的扩展。为了实现上述目的，本申请实施例所提供的技术方案如下所示：第一方面，本申请实施例提供一种数据处理装置，所述数据处理装置包括：至少两个基础核心模块，每个所述基础核心模块包括：多个计算引擎、缓存网络、多个转换开关、多个缓存单元、共享总线以及核心缓存；每个所述基础核心模块中，所述多个缓存单元以及所述核心缓存分别与所述缓存网络连接，所述多个计算引擎通过所述多个转换开关与所述缓存网络连接，所述多个转换开关通过所述共享总线串行连接；所述至少两个基础核心模块中的第一基础核心模块的共享总线与第二基础核心模块的核心缓存连接，所述第一基础核心模块中的任一转换开关用于在接收到访问所述第二基础核心模块中的第一目标缓存单元的第一数据处理请求后，通过所述第一基础核心模块的共享总线将所述第一数据处理请求传输至所述第二基础核心模块的核心缓存，所述第二基础核心模块的核心缓存用于基于所述第一数据处理请求访问所述第一目标缓存单元。在上述实施方式中，数据处理装置包括至少两个基础核心模块，每个基础核心模块中都包括多个计算引擎，每个计算引擎都通过转换开关与缓存网络连接，多个转换开关通过所述共享总线串行连接，并且一个基础核心模块中的共享总线与另一个基础核心模块中的核心缓存连接，而另一个基础核心模块中的核心缓存是与另一个基础核心模块中的缓存网络连接的，因此，通过上述架构，实现了对计算引擎的数量的扩展。当一基础核心模块中的任一转换开关在接收到访问另一基础核心模块中的目标缓存单元的数据处理请求后，该转换开关能够通过其连接的共享总线将该数据处理请求传输至与共享总线连接的另一基础核心模块的核心缓存，从而实现了将该数据处理请求传输到另一基础核心模块，此时已传输至该核心缓存中的该数据处理请求就能够通过该核心缓存所连接的缓存网络，访问到目标缓存单元，从而通过上述的基于共享总线的架构，实现了一个基础核心模块中的计算引擎对另一基础核心模块中的目标缓存单元的访问。由于在一个基础核心模块中由于没有对缓存网络进行扩展，计算引擎的访问路径没有延长，因此对于一个基础核心模块的性能没有影响，也没有增加工艺复杂度。因此，能够在不影响性能、不提高工艺复杂度的情况下实现对计算引擎扩展。可选的，所述第二基础核心模块的共享总线与所述第一基础核心模块的核心缓存连接，所述第二基础核心模块中的任一转换开关用于在接收到访问所述第一基础核心模块中的第二目标缓存单元的第二数据处理请求后，通过所述第二基础核心模块的共享总线将所述第二数据处理请求传输至所述第一基础核心模块的核心缓存，所述第一基础核心模块的核心缓存用于基于所述第二数据处理请求访问所述第二目标缓存单元。在上述实施方式中，在第一基础核心模块的共享总线与第二基础核心模块的核心缓存连接基础上，第二基础核心模块的共享总线也与所述第一基础核心模块的核心缓存连接，从而使两个基础核心模块相互连接，能够在不影响性能、不提高工艺复杂度的情况下，使相互连接的两个基础核心模块中的任一基础核心模块中的计算引擎，对另一基础核心模块中的目标缓存单元的访问。从而能够实现一个基础核心模块中的存储客户端对另一基础核心模块中的目标缓存单元的访问。可选的，在每个所述基础核心模块中，每个计算引擎包括多个存储客户端，每个存储客户端通过一个转换开关与缓存网络中的一个缓存路由连接，核心缓存与缓存网络中的一个缓存路由连接。在上述实施方式中，在每个基础核心模块中，每个计算引擎中的每个存储客户端通过一个转换开关与一个缓存路由连接，核心缓存与缓存网络中的一个缓存路由连接，由于基础核心模块中的转换开关通过共享总线连接，因此在计算引擎中的任一存储客户端需要访问另一基础核心模块中的缓存单元时，其数据处理请求不经过缓存网络，而是通过转换开关以及共享总系传输到另一基础核心模块的核心缓存中，从而能够实现一个基础核心模块中的存储客户端对另一基础核心模块的访问。可选的，在每个所述基础核心模块中，所述多个计算引擎包括的多个存储客户端与所述多个转换开关一一对应，每个存储客户端通过对应的转换开关与缓存网络中的一个缓存路由连接，所述缓存网络包括呈网格状排布的多个缓存路，所述缓存网络中的每个缓存路由与相邻的每个缓存路由连接。在上述实施方式中，在每个基础核心模块中，每个计算引擎中的每个存储客户端通过一个对应的转换开关与一个缓存路由连接，由于基础核心模块中的转换开关通过共享总线连接，因此在计算引擎中的任一存储客户端需要访问另一基础核心模块中的缓存单元时，其数据处理请求不经过缓存网络，而是通过转换开关以及共享总系传输到另一基础核心模块的核心缓存中，从而能够实现一个基础核心模块中的存储客户端对另一基础核心模块的访问。可选的，所述第一数据处理请求为读请求，所述第二基础核心模块的核心缓存用于：在接收到所述第一数据处理请求，且所述第二基础核心模块的核心缓存中存储有所述第一数据处理请求所请求的第一目标数据时，将所述第一目标数据通过所述第一基础核心模块的共享总线返回至发送所述第一数据处理请求的存储客户端；在接收到所述第一数据处理请求，且所述第二基础核心模块的核心缓存中不存在所述第一目标数据时，基于所述第一数据处理请求，通过所述第二基础核心模块的缓存网络，从所述第一目标缓存单元中获取所述第一目标数据，并将所述第一目标数据通过所述第一基础核心模块的共享总线返回至发送所述第一数据处理请求的存储客户端。在上述实施方式中，在第一基础核心模块的计算引擎中的存储客户端发送的第一数据处理请求传输到第二基础核心模块的核心缓存时，如果该核心缓存中已经存储有第一数据处理请求所请求本文档来自技高网...

【技术保护点】
1.一种数据处理装置，其特征在于，所述数据处理装置包括：至少两个基础核心模块，每个所述基础核心模块包括：多个计算引擎、缓存网络、多个转换开关、多个缓存单元、共享总线以及核心缓存；/n每个所述基础核心模块中，所述多个缓存单元以及所述核心缓存分别与所述缓存网络连接，所述多个计算引擎通过所述多个转换开关与所述缓存网络连接，所述多个转换开关通过所述共享总线串行连接；/n所述至少两个基础核心模块中的第一基础核心模块的共享总线与第二基础核心模块的核心缓存连接，所述第一基础核心模块中的任一转换开关用于在接收到访问所述第二基础核心模块中的第一目标缓存单元的第一数据处理请求后，通过所述第一基础核心模块的共享总线将所述第一数据处理请求传输至所述第二基础核心模块的核心缓存，所述第二基础核心模块的核心缓存用于基于所述第一数据处理请求访问所述第一目标缓存单元。/n

【技术特征摘要】
1.一种数据处理装置，其特征在于，所述数据处理装置包括：至少两个基础核心模块，每个所述基础核心模块包括：多个计算引擎、缓存网络、多个转换开关、多个缓存单元、共享总线以及核心缓存；
每个所述基础核心模块中，所述多个缓存单元以及所述核心缓存分别与所述缓存网络连接，所述多个计算引擎通过所述多个转换开关与所述缓存网络连接，所述多个转换开关通过所述共享总线串行连接；
所述至少两个基础核心模块中的第一基础核心模块的共享总线与第二基础核心模块的核心缓存连接，所述第一基础核心模块中的任一转换开关用于在接收到访问所述第二基础核心模块中的第一目标缓存单元的第一数据处理请求后，通过所述第一基础核心模块的共享总线将所述第一数据处理请求传输至所述第二基础核心模块的核心缓存，所述第二基础核心模块的核心缓存用于基于所述第一数据处理请求访问所述第一目标缓存单元。


2.根据权利要求1所述的数据处理装置，其特征在于，所述第二基础核心模块的共享总线与所述第一基础核心模块的核心缓存连接，所述第二基础核心模块中的任一转换开关用于在接收到访问所述第一基础核心模块中的第二目标缓存单元的第二数据处理请求后，通过所述第二基础核心模块的共享总线将所述第二数据处理请求传输至所述第一基础核心模块的核心缓存，所述第一基础核心模块的核心缓存用于基于所述第二数据处理请求访问所述第二目标缓存单元。


3.根据权利要求1或2所述的数据处理装置，其特征在于，在每个所述基础核心模块中，每个计算引擎包括多个存储客户端，每个存储客户端通过一个转换开关与缓存网络中的一个缓存路由连接，核心缓存与缓存网络中的一个缓存路由连接。


4.根据权利要求3所述的数据处理装置，其特征在于，在每个所述基础核心模块中，所述多个计算引擎包括的多个存储客户端与所述多个转换开关一一对应，每个存储客户端通过对应的转换开关与缓存网络中的一个缓存路由连接，所述缓存网络包括呈网格状排布的多个缓存路，所述缓存网络中的每个缓存路由与相邻的每个缓存路由连接。


5.根据权利要求3所述的数据处理装置，其特征在于，所述第一数据处理请求为读请求，所述第二基础核心模块的核心缓存用于：
在接收到所述第一数据处理请求，且所述第二基础核心模块的核心缓存中存储有所述第一数据处理请求所请求的第一目标数据时，将所述第一目标数据通过所述第一基础核心模块的共享总线返回至发送所述第一数据处理请求的存储客户端；
在接收到所述第一数据处理请求，且所述第二基础核心模块的核心缓存中不存在所述第一目标数据时，基于所述第一数据处理请求，通过所述第二基础核心模块的缓存网络，从所述第一目标缓存单元中获取所述第一目标数据，并将所述第一目标数据通过所述第一基础核心模块的共享总线返回至发送所述第一数据处理请求的存储客户端。


6.根据权利要求1所述的数据处理装置，其特征在于，每个转换开关包括第一端口、第二端口、第三端口、第四端口、第一数据选择器、数据缓冲器、裁决器和第二数据选择器；
其中，所述第一端口用于与对应的存储客户端连接，所述第二端口用于与一个缓存路由连接，所述第三端口用于通过共享总线与上一跳转换开关连接，所述第四端口用于通过共享总线与下一跳转换开关或另一基础核心模块的核心缓存连接，所述第一数据选择器分别与所述第一端口、所述第二端口和所述数据缓冲器连接，所述裁决器分别与所述数据缓冲器、所述第三端口和所述第四端口连接，所述第二数据选择器分别与所述第一端口、所述第二端口、所述第三端口和所述第四端口连接；
所述第一数据选择器用于将所述第一端口接收到的存储客户端的数据处理请求发送至与所述第二端口连接的缓存路由，或者发送至所述数据缓冲器；
所述裁决器用于接收所述数据缓冲器和所述第三端口发送的数据处理请求，并在接收到的数据处理请求为多个时，确定多个数据处理请求中优先响应的数据处理请求，并将所述优先响应的数据处理请求通过所述第四端口输出至共享总线；
所述第二数据选择器用于将所述第四端口接收到的读回数据输出至与所述第一端口连接的存储客户端，或者通过所述第三端口输出至共享总线，还用于将所述第二端口接收到的读回数据输出至与所述第一端口连接的存储客户端。


7.根据权利要求6所述的数据处理装置...

【专利技术属性】
技术研发人员：王晓阳，左航，倪怡芳，
申请(专利权)人：海光信息技术有限公司，
类型：发明
国别省市：山东;37