人工智能芯片以及数据操作方法技术

本发明专利技术提供一种人工智能芯片以及数据操作方法。人工智能芯片接收携带有第一数据及地址信息的命令。人工智能芯片包括芯片内存、运算处理器、基址寄存器以及扩展地址处理器。基址寄存器被分配以用于访问芯片内存的扩展地址空间。扩展地址处理器接收命令。扩展地址处理器依据地址信息来判断对第一数据的操作方式。当地址信息指向扩展地址空间的第一区段时，扩展地址处理器对第一数据进行第一操作。当地址信息指向扩展地址空间的第一区段以外的其他区段时，扩展地址处理器将操作方式通知给运算处理器，运算处理器对第一数据进行第二操作。操作。操作。

【技术实现步骤摘要】
人工智能芯片以及数据操作方法


[0001]本专利技术涉及一种多芯片集群并行计算领域，尤其涉及一种人工智能芯片以及数据操作方法。

技术介绍

[0002]在当前的多芯片集群并行计算领域，工业界普遍使用集合通信(Collective Communication)方案来实现多个节点间共享数据和传输数据的操作。在当前的集合通信中，所述“节点1的芯片A发送数据给节点2的芯片B”的过程可以分为四个步骤。步骤1：节点1上的芯片A把数据发送到节点1的系统内存(system memory)。步骤2：节点1上的芯片A向节点1上的网卡发送网络请求，节点1上的网卡从节点1的系统内存读取所述“步骤1中芯片A复制到系统内存的数据”，并且将此数据发送到节点2的网卡。步骤3：节点2的网卡收到了节点1的网卡的数据，并且将此数据存储到节点2的系统内存中。步骤4：节点2的芯片B从节点2的系统内存中读取所述“来自节点1的芯片A的数据”。如何简化上述的步骤并进一步优化集合通信的性能，是本领域的诸多技术课题之一。

技术实现思路

[0003]本专利技术提供一种人工智能芯片及其操作方法，以有效率地进行集合通信(Collective Communication)。
[0004]在本专利技术的一实施例中，人工智能芯片适于接收携带有第一数据及地址信息的命令。人工智能芯片包括芯片内存、运算处理器、基址寄存器以及扩展地址处理器。运算处理器耦接于芯片内存。基址寄存器被分配以用于访问芯片内存的扩展地址空间。扩展地址空间大于芯片内存的物理内存地址空间。扩展地址处理器耦接于运算处理器以及基址寄存器。扩展地址处理器接收命令。扩展地址处理器依据地址信息指向扩展地址空间所包括的多个区段中的一个来判断对第一数据的操作方式。当地址信息指向扩展地址空间的第一区段时，扩展地址处理器对第一数据进行第一操作。当地址信息指向扩展地址空间的第一区段以外的其他区段时，扩展地址处理器将所述操作方式通知给所述运算处理器，运算处理器对第一数据进行第二操作。第一区段对应于物理内存地址空间。
[0005]在本专利技术的一实施例中，数据操作方法用于人工智能芯片。人工智能芯片包括芯片内存、基址寄存器、扩展地址处理器以及运算处理器。数据操作方法包括：将用于访问芯片内存的扩展地址空间分配于基址寄存器，其中扩展地址空间大于芯片内存的物理内存地址空间；由扩展地址处理器接收携带有第一数据及地址信息的命令；由扩展地址处理器依据地址信息指向扩展地址空间所包括的多个区段中的一个来判断对第一数据的操作方式；当地址信息指向扩展地址空间的第一区段时，由扩展地址处理器对第一数据进行第一操作；以及当地址信息指向扩展地址空间的第一区段以外的其他区段时，由扩展地址处理器将操作方式通知给运算处理器，并由运算处理器对第一数据进行第二操作。第一区段对应于物理内存地址空间。
[0006]基于上述，本专利技术诸实施例中，人工智能芯片接收携带有第一数据及地址信息的命令并依据扩展地址指向扩展地址空间的多个区段中的其中一者来判断第一数据的集合通信操作。因此，人工智能芯片可以有效率地进行集合通信操作。
附图说明
[0007]图1是依照本专利技术一实施例所绘示的集合通信的系统示意图；
[0008]图2是依照本专利技术的一实施例的另一种集合通信的系统示意图；
[0009]图3是依照本专利技术一实施例所绘示的人工智能芯片的电路方块示意图；
[0010]图4是依照本专利技术一实施例所绘示的数据操作方法的流程示意图；
[0011]图5是依照本专利技术另一实施例所绘示的人工智能芯片的电路方块示意图。
[0012]附图标记说明
[0013]10、20：节点；
[0014]11、21、100_1、100_2、100_3、200：人工智能芯片；
[0015]12、22、140、240：芯片内存；
[0016]13、23：芯片组；
[0017]14、24：中央处理器；
[0018]15、25：系统内存；
[0019]16、26、30：网卡；
[0020]110、210：基址寄存器；
[0021]120、220：扩展地址处理器；
[0022]130、230：运算处理器；
[0023]140、240：芯片内存；
[0024]250：地址异常处理模块；
[0025]40：总线；
[0026]S1、S2、S3、S4、S5、S6：步骤；
[0027]S110、S120、S130、S140、S150：步骤。
具体实施方式
[0028]现将详细地参考本专利技术的示范性实施例，示范性实施例的实例说明于附图中。只要有可能，相同组件符号在图式和描述中用来表示相同或相似部分。
[0029]在本案说明书全文(包括权利要求)中所使用的“耦接(或连接)”一词可指任何直接或间接的连接手段。举例而言，若文中描述第一装置耦接(或连接)于第二装置，则应该被解释成该第一装置可以直接连接于该第二装置，或者该第一装置可以透过其他装置或某种连接手段而间接地连接至该第二装置。本案说明书全文(包括权利要求)中提及的“第一”、“第二”等用语是用以命名组件(element)的名称，或区别不同实施例或范围，而并非用来限制组件数量的上限或下限，亦非用来限制组件的次序。另外，凡可能之处，在图式及实施方式中使用相同标号的组件/构件/步骤代表相同或类似部分。不同实施例中使用相同标号或使用相同用语的组件/构件/步骤可以相互参照相关说明。
[0030]图1是依照本专利技术的一实施例的一种集合通信(Collective Communication)的系
统示意图。在本实施例中，图1所示的集合通信系统包括节点10、20。节点10、20可以是计算机或是其他计算平台。在当前的集合通信方案中，节点10的人工智能芯片11将数据发送到节点20的人工智能芯片21的过程可以分为四个步骤。步骤S1：节点10上的人工智能芯片11将存储到芯片内存12的数据通过芯片组(chip set)13与中央处理器(Central Processing Unit，CPU)14发送到节点10的系统内存(system memory)15。在本实施例中，人工智能芯片11可以包括图形处理单元(graphics processing unit，GPU)与(或)具有其他数据运算功能的芯片。芯片内存12可以包括GPU内存与(或)其他芯片内存。步骤S2：节点10上的人工智能芯片11向节点10上的网卡(network interface controller，NIC)16发送网络请求，节点10上的网卡16从节点10的系统内存15读取在上述步骤S1中被复制到系统内存15的数据，并且网卡16将此数据发送到节点20的网卡26。步骤S3：节点20的网卡26收到了节点10的网卡16的数据，并且将此数据存储到节点20的系统内存25中。步骤S4：节点20的人工智能芯片21从节点20的系统内存25中读取来自节点10的人工智能芯片11的数据。这四个步骤本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人工智能芯片，适于接收携带有第一数据及地址信息的命令，其特征在于，所述人工智能芯片包括：芯片内存；运算处理器，耦接于所述芯片内存；基址寄存器，被分配以用于访问所述芯片内存的扩展地址空间，其中所述扩展地址空间大于所述芯片内存的物理内存地址空间；以及扩展地址处理器，耦接于所述运算处理器以及所述基址寄存器，经配置以接收所述命令，其中所述扩展地址处理器依据所述地址信息指向所述扩展地址空间所包括的多个区段中的一个来判断对所述第一数据的操作方式；其中当所述地址信息指向所述扩展地址空间的第一区段时，所述扩展地址处理器对所述第一数据进行第一操作，以及其中当所述地址信息指向所述扩展地址空间的第一区段以外的其他区段时，所述扩展地址处理器将所述操作方式通知给所述运算处理器，所述运算处理器对所述第一数据进行第二操作；其中所述第一区段对应于所述物理内存地址空间。2.根据权利要求1所述的人工智能芯片，其特征在于：所述第一操作包括，未经所述运算处理器的进一步处理而直接将所述第一数据存储到所述芯片内存；以及所述第二操作包括，对所述第一数据进行运算以产生经运算数据，以及将所述经运算数据存储到所述芯片内存。3.根据权利要求1所述的人工智能芯片，其特征在于，所述扩展地址处理器通过所述地址信息指向所述扩展地址空间的所述多个区段中的一个来确定所述第一数据所对应的数据类型，当所述地址信息指向所述扩展地址空间的第(N+1)区段时，所述第一数据被确定为第N数据类型；其中，N为大于等于1的整数。4.根据权利要求1所述的人工智能芯片，其特征在于，所述扩展地址空间为所述内存地址空间的整数倍。5.根据权利要求1所述的人工智能芯片，其特征在于，所述人工智能芯片经由PCIe接口与其他人工智能芯片进行通信。6.根据权利要求1所述的人工智能芯片，其特征在于，所述扩展地址处理器通过所述地址信息指向所述扩展地址空间的所述多个区段中的一个来确定对所述第一数据所执行的操作类型；当所述地址信息指向所述扩展地址空间的第(M+1)区段时，对所述第一数据所执行的操作类型被确定为第M操作类型；其中，M为大于等于1的整数。7.根据权利要求1所述的人工智能芯片，其特征在于，所述运算处理器还经配置以依据所述地址信息从所述芯片内存提取第二数据，所述运算处理器对所述第一数据以及所述第二数据进行运算以产生经运算数据，以及将所述经运算数据存储到所述芯片内存。
8.一种用于人工智能芯片的数据...

【专利技术属性】
技术研发人员：ꢀ七四专利代理机构，
申请(专利权)人：上海壁仞智能科技有限公司，
类型：发明
国别省市：