一种计算装置及相关产品制造方法及图纸

本申请公开了一种计算装置，该计算装置应用于机器学习芯片，该机器学习芯片设置于板卡上，该板卡包括：存储器件，用于存储数据；接口装置，用于实现机器学习芯片与外部设备之间的数据传输；控制器件，用于对机器学习芯片的状态进行监控和管理，上述计算装置包括：运算单元、控制单元和存储单元。采用本申请实施例能够减少机器学习芯片的计算时间和计算能耗。

A computing device and related products

【技术实现步骤摘要】
一种计算装置及相关产品
本申请涉及信息处理
，具体涉及一种计算装置及相关产品。
技术介绍
随着信息技术的不断发展和人们日益增长的需求，人们对信息及时性的要求越来越高了。目前，终端对信息的获取以及处理均是基于通用处理器获得的。在实践中发现，这种基于通用处理器运行软件程序来处理信息的方式，受限于通用处理器的运行速率，特别是在通用处理器负荷较大的情况下，信息处理效率较低、时延较大，对于信息处理的计算模型例如计算模型的正向运算来说，正向运算的计算量更大，通用的处理器完成正向运算的时间长，效率低，功耗高。
技术实现思路
本申请实施例提供了一种计算装置及相关产品，可以利用机器学习输入的相似性计算的机器学习加速器，可以充分地利用输入的相似性，极大地提高性能。第一方面，提供一种计算装置，所述计算装置用于执行机器学习计算，所述计算装置包括：运算单元以及控制单元；所述控制单元，用于获取计算指令，并发送所述计算指令到所述运算单元；所述运算单元，用于依据所述计算指令对输入数据进行量化，并对量化后的所述输入数据执行运算操作，得到运算结果，具体为：依据量化后的所述输入数据与上一次计算过程的量化后的输入数据之间的相似性进行运算。第二方面，本申请实施例提供了一种机器学习运算装置，该机器学习运算装置包括一个或者多个第一方面所述的计算装置。该机器学习运算装置用于从其他处理装置中获取待运算数据和控制信息，并执行指定的机器学习运算，将执行结果通过I/O接口传递给其他处理装置；当所述机器学习运算装置包含多个所述计算装置时，所述多个所述计算装置间可以通过特定的结构进行链接并传输数据；其中，多个所述计算装置通过PCIE总线进行互联并传输数据，以支持更大规模的机器学习的运算；多个所述计算装置共享同一控制系统或拥有各自的控制系统；多个所述计算装置共享内存或者拥有各自的内存；多个所述计算装置的互联方式是任意互联拓扑。第三方面，本申请实施例提供了一种组合处理装置，该组合处理装置包括如第三方面所述的机器学习处理装置、通用互联接口，和其他处理装置。该机器学习运算装置与上述其他处理装置进行交互，共同完成用户指定的操作。该组合处理装置还可以包括存储装置，该存储装置分别与所述机器学习运算装置和所述其他处理装置连接，用于保存所述机器学习运算装置和所述其他处理装置的数据。第四方面，本申请实施例提供了一种机器学习芯片，该机器学习芯片包括上述第一方面所述的计算装置、上述第二方面所述的机器学习运算装置或者上述第三方面所述的组合处理装置。第五方面，本申请实施例提供了一种机器学习芯片封装结构，该机器学习芯片封装结构包括上述第四方面所述的机器学习芯片；第六方面，本申请实施例提供了一种板卡，该板卡包括上述第五方面所述的机器学习芯片封装结构。第七方面，本申请实施例提供了一种电子装置，该电子装置包括上述第六方面所述的机器学习芯片或者上述第六方面所述的板卡。第八方面，本申请实施例还提供一种执行机器学习模型的计算方法，所述计算方法应用于计算装置，所述计算装置用于执行机器学习计算；所述计算装置包括：运算单元以及控制单元；所述方法包括：所述控制单元获取计算指令，并发送所述计算指令到所述运算单元；所述运算单元对输入数据进行量化，并对量化后的所述输入数据执行运算操作，得到运算结果，具体为：依据量化后的所述输入数据与上一次计算过程的量化后的输入数据之间的相似性进行运算。在一些实施例中，所述电子设备包括数据处理装置、机器人、电脑、打印机、扫描仪、平板电脑、智能终端、手机、行车记录仪、导航仪、传感器、摄像头、服务器、云端服务器、相机、摄像机、投影仪、手表、耳机、移动存储、可穿戴设备、交通工具、家用电器、和/或医疗设备。在一些实施例中，所述交通工具包括飞机、轮船和/或车辆；所述家用电器包括电视、空调、微波炉、冰箱、电饭煲、加湿器、洗衣机、电灯、燃气灶、油烟机；所述医疗设备包括核磁共振仪、B超仪和/或心电图仪。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1A是本申请实施例提供的一种计算装置的结构示意图。图1B是本申请实施例提供的X位定点数据表示的结构示意图。图1C是本申请实施例提供的一种聚类算法的演示示意图。图1D是本申请实施例提供的操作指令的结构示意图。图1E是本申请一个实施例提供的计算装置的结构图。图1F是本申请另一个实施例提供的计算装置的结构图。图1G是本申请实施例提供的主处理电路的结构图。图1H是本申请实施例提供的另一种计算装置的结构图。图1I是本申请实施例提供的树型模块的结构示意图。图1J是本申请实施例提供的又一种计算装置的结构图。图1K是本申请实施例提供的还一种计算装置的结构图。图2是本申请实施例提供的一种组合处理装置的结构图。图2A是本申请实施例提供的一种计算装置的结构示意图。图3是本申请实施例提供的另一种组合处理装置的结构图。图3A是本申请实施例提供的一种板卡的结构示意图。图4是本申请实施例提供的一种计算方法的流程示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。目前，深度学习技术取得了巨大成功，被应用于各个方向。CPU、GPU和神经网络加速器对深度学习的支持成为了热点。然而，这些技术往往只考虑到了单次(一次)神经网络的传播，没有利用好应用问题中神经网络输入的相似性，从而其性能还有很大的提升空间。例如，在语音处理、视频处理等常见的深度学习任务中，输入总是有很大相似性，神经网络的计算结果经常是冗余的。针对这本文档来自技高网...

【技术保护点】
1.一种计算装置，其特征在于，所述计算装置用于执行机器学习计算，所述计算装置包括：运算单元以及控制单元；/n所述控制单元，用于获取计算指令，并发送所述计算指令到所述运算单元；/n所述运算单元，用于依据所述计算指令对输入数据进行量化，并对量化后的所述输入数据执行运算操作，得到运算结果，具体为：依据量化后的所述输入数据与上一次计算过程的量化后的输入数据之间的相似性进行运算。/n

【技术特征摘要】
1.一种计算装置，其特征在于，所述计算装置用于执行机器学习计算，所述计算装置包括：运算单元以及控制单元；
所述控制单元，用于获取计算指令，并发送所述计算指令到所述运算单元；
所述运算单元，用于依据所述计算指令对输入数据进行量化，并对量化后的所述输入数据执行运算操作，得到运算结果，具体为：依据量化后的所述输入数据与上一次计算过程的量化后的输入数据之间的相似性进行运算。


2.根据权利要求1所述的装置，其特征在于，所述运算单元包括复用单元；
所述复用单元，用于将量化后的所述输入数据与上一次计算过程的量化后的输入数据进行比较，若比较结果满足预设条件，则跳过此次输入数据的计算而采用上一次执行运算的结果，若比较结果为不满足所述预设条件，则将量化后的所述输入数据与上一次计算过程的量化后的输入数据之差与权值进行计算，并将得到的结果对上一次执行运算的结果进行修正。


3.根据权利要求1或2所述的装置，其特征在于，所述控制单元包括：依赖关系处理单元和指令缓存单元；
所述依赖关系处理单元，用于确定第j计算指令与所述第j计算指令之前的第j－1计算指令是否存在关联关系，如所述第j计算指令与所述第j－1计算指令存在关联关系，将所述第j计算指令缓存在所述指令缓存单元内，在所述第j－1计算指令执行完毕后，从所述指令缓存单元提取所述第j计算指令传输至所述运算单元，j为正整数。


4.根据权利要求1－3任一项所述的装置，其特征在于，所述运算单元包括一个主处理电路、一个或多个分支处理电路以及多个从处理电路，
所述主处理电路，用于将一个输入数据分配成多个数据块，将所述多个数据块中的至少一个数据块以及多个计算指令中的至少一个计算指令发送给所述分支处理电路；
所述分支处理电路，用于转发所述主处理电路与所述多个从处理电路之间的数据块和计算指令；
所述多个从处理电路，用于依据接收到的计算指令和数据块执行运算得到中间结果，并将所述中间结果传输给所述分支处理电路；
所述主处理电路，用于将所述分支处理电路发送的所述中间结果进行处理得到所述计算指令的计算结果。


5.一种...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：中科寒武纪科技股份有限公司，
类型：发明
国别省市：北京;11