芯片、及在芯片内建立数据路径的方法技术

本申请实施例提供一种芯片及在芯片内建立数据路径的方法。该芯片包括多个集成处理设备；互联网络，其适于互联多个集成处理设备，并且包括设置于多个集成处理设备中相邻集成处理设备之间的可配置路径单元，可配置路径单元适于接收来自集成处理设备和转发至集成处理设备的数据；控制单元，其适于基于芯片在不同应用中运行参数的特定需求级别而选择性地配置可配置路径单元以在多个集成处理设备中的两个集成处理设备之间建立数据路径。本申请实施例的技术方案可以在芯片级别动态地配置数据路径，这有益于提高计算效率和降低芯片功耗等。

Chip and the method of establishing data path in chip

【技术实现步骤摘要】
芯片、及在芯片内建立数据路径的方法
本专利技术涉及芯片领域，尤其涉及芯片及在芯片内建立数据路径的方法。
技术介绍
芯片的应用越来越广泛，例如，随着神经网络技术的发展，人工智能(ArtificialIntelligence，简称为“AI”)芯片需要更加强大的算力，这可以通过在AI芯片上增加更多的计算元件来实现，而更多的计算元件需要大量的数据来计算。单位时间进入到计算单元中的数据量称为带宽，带宽会限制AI芯片的实际性能。对于每一个AI芯片架构，一个大的挑战是如何确保足够的带宽以使得数据能够被及时地提供到计算单元。通常，在AI架构内，到计算单元的数据路径是固定的；有两条进入到计算单元的数据路径，每条数据路径都向乘法器提供数据(该数据称为乘法器的操作数)。其缺点是，数据路径会固定用于AI芯片架构下的所有神经网络场景，其中两条数据路径的带宽限制了计算单元的效率。为了提高效率，布置计算单元以最大化地重复利用从两条数据路径进入到计算单元中的数据。但是，重复利用用于多种计算的数据固定了获取这些数据的操作，这限制了操作的灵活性。
技术实现思路
本专利技术解决的技术问题是计算单元操作的灵活性受到了限制等。为解决上述技术问题，本专利技术实施例提供一种芯片，包括多个集成处理设备；互联网络，其适于互联多个集成处理设备，并且包括设置于多个集成处理设备中相邻集成处理设备之间的可配置路径单元，可配置路径单元适于接收来自集成处理设备和转发至集成处理设备的数据；控制单元，其适于基于芯片在不同应用中运行参数的特定需求级别而选择性地配置可配置路径单元以在多个集成处理设备中的两个集成处理设备之间建立数据路径。可选地，两个集成处理设备包括用于接收数据的源集成处理设备和用于发送数据的目的集成处理设备，控制单元适于确定源集成处理设备并且基于源集成处理设备确定目的集成处理设备。可选地，多个集成处理设备中的每个集成处理设备都包括计算单元，数据路径适于传输用于计算单元计算的操作数或者用于组合操作数的数据。可选地，还包括接口模块，其适于将来自于集成处理设备的计算数据封装成可配置路径单元可以处理的传输数据并且将来自于可配置路径单元的传输数据解封装成集成处理设备可以处理的计算数据。可选地，可配置路径单元适于基于网络层协议或者数据链路层协议接收来自和转发至集成处理设备的数据。可选地，控制单元适于将芯片的特定需求级别发送到可配置路径单元，可配置路径单元包括配置信息或者转发策略并且适于接收特定需求级别、以及基于特定需求级别而选择配置信息中预设的特定路径或者根据转发策略确定的特定路径以在两个集成处理设备之间建立数据路径。可选地，芯片在不同应用中运行参数的特定需求级别为芯片在神经网络的不同应用中数据传输时间的高需求级别、数据传输时间的低需求级别、芯片运行功率的高需求级别、芯片运行功率的低需求级别、网络拥塞控制的高需求级别、或者网络拥塞控制的低需求级别。可选地，控制单元适于设置分别对应于数据传输时间的高需求级别、数据传输时间的低需求级别、芯片运行功率的高需求级别、芯片运行功率的低需求级别、网络拥塞控制的高需求级别和网络拥塞控制的低需求级别的优先级，并且适于基于优先级中的最高优先级而选择性地配置可配置路径单元以在多个集成处理设备中的两个集成处理设备之间建立数据路径。可选地，控制单元适于基于芯片在不同应用中运行参数的特定需求级别而设置集成处理设备组、并且选择性地配置可配置路径单元以优先地在设置于相同集成处理设备组中的两个集成处理设备之间建立数据路径。本专利技术实施例还提供一种在芯片内建立数据路径的方法，芯片包括多个集成处理设备、控制单元和用于互联多个集成处理设备的可配置路径单元，该方法包括控制单元将芯片的特定需求级别发送到可配置路径单元；可配置路径单元接收特定需求级别并且基于特定需求级别而在多个集成处理设备中的两个集成处理设备之间建立数据路径。可选地，两个集成处理设备包括用于接收数据的源集成处理设备和用于发送数据的目的集成处理设备，方法包括控制单元确定源集成处理设备；控制单元基于源集成处理设备确定目的集成处理设备。可选地，可配置路径单元接收特定需求级别并且基于特定需求级别而在多个集成处理设备中的两个集成处理设备之间建立数据路径包括：可配置路径单元接收特定需求级别并且基于特定需求级别确定其配置信息中的特定路径或者其转发策略产生的特定路径，从而在两个集成处理设备之间建立数据路径。可选地，特定需求级别为数据传输时间的高需求级别、数据传输时间的低需求级别、芯片运行功率的高需求级别、芯片运行功率的低需求级别、网络拥塞控制的高需求级别或者网络拥塞控制的低需求级别，方法包括控制单元设置分别对应于数据传输时间的高需求级别、数据传输时间的低需求级别、芯片运行功率的高需求级别、芯片运行功率的低需求级别、网络拥塞控制的高需求级别和网络拥塞控制的低需求级别的优先级；可配置路径单元基于优先级中的最高优先级而在多个集成处理设备中的两个集成处理设备之间建立数据路径。可选地，包括控制单元设置基于芯片在不同应用中运行参数的特定需求级别而设置集成处理设备组；可配置路径单元优先地在设置于相同集成处理设备组中的两个集成处理设备之间建立数据路径。与现有技术相比，本专利技术实施例的技术方案具有有益效果，例如，数据路径可以在芯片级别可配置，使得可以在任意的集成处理设备之间移动数据，这可以提高计算效率，也可以降低芯片功耗。附图说明图1是本专利技术实施例芯片的模块结构示意图；图2是本专利技术实施例芯片的具体结构示意图；图3是本专利技术实施例在芯片内建立数据路径方法的流程图。具体实施方式现有技术没有考虑到在不同的芯片应用中对数据传输时间、芯片或者芯片上的集成处理设备(也称为集成处理单元，IntegratedProcessUnit，简称为“IPU”)的运行功率、以及网络拥塞控制等具有不同的需求。例如，AI芯片可以在不同的时间用于不同的神经网络，应用于一类神经网络的计算对于另一类神经网络可能不是必需的，因此，不同类型的神经网络对计算的各种需求可能并不相同。现有的芯片架构中集成处理设备对数据的接收是固定的，而不能针对不同的芯片应用而灵活地选择数据路径以接收用于集成处理设备计算的数据，这既会导致集成处理设备较低的利用率，也会导致芯片较低的运行性能。在本专利技术的实施例中，考虑到芯片在不同的应用中可能对运行参数有不同的需求，例如，一颗AI芯片可以用于神经网络的不同应用场景(如语音识别、自然语言处理、计算机视觉与图像处理、机器学习、智能机器人、自动驾驶、智能无人机)，AI芯片在这些不同的应用场景中，对数据传输时间、芯片运行功率和网络拥塞控制等运行参数的需求可能并不相同。本申请的实施例确定特定的需求级别，例如数据传输时间的高需求级别、数据传输时间的低需求级别、芯片运行功率的高需求级别、芯片运行功率的低需求级别、网络拥塞控制的高需求级别或者网络拥塞控制的低需求级别，使得一个集成处理设备(可称为“目的集成处理设备”，即在集成处本文档来自技高网...

【技术保护点】
1.一种芯片，其特征在于，包括：/n多个集成处理设备；/n互联网络，其适于互联所述多个集成处理设备，并且包括设置于所述多个集成处理设备中相邻集成处理设备之间的可配置路径单元，所述可配置路径单元适于接收来自集成处理设备和转发至集成处理设备的数据；/n控制单元，其适于基于所述芯片在不同应用中运行参数的特定需求级别而选择性地配置所述可配置路径单元以在所述多个集成处理设备中的两个集成处理设备之间建立数据路径。/n

【技术特征摘要】
1.一种芯片，其特征在于，包括：
多个集成处理设备；
互联网络，其适于互联所述多个集成处理设备，并且包括设置于所述多个集成处理设备中相邻集成处理设备之间的可配置路径单元，所述可配置路径单元适于接收来自集成处理设备和转发至集成处理设备的数据；
控制单元，其适于基于所述芯片在不同应用中运行参数的特定需求级别而选择性地配置所述可配置路径单元以在所述多个集成处理设备中的两个集成处理设备之间建立数据路径。


2.根据权利要求1所述的芯片，其特征在于，所述两个集成处理设备包括用于接收数据的源集成处理设备和用于发送数据的目的集成处理设备，所述控制单元适于确定所述源集成处理设备并且基于所述源集成处理设备确定所述目的集成处理设备。


3.根据权利要求1或者2所述的芯片，其特征在于，所述多个集成处理设备中的每个集成处理设备都包括计算单元，所述数据路径适于传输用于所述计算单元计算的操作数或者用于组合所述操作数的数据。


4.根据权利要求1所述的芯片，其特征在于，还包括接口模块，其适于将来自于所述集成处理设备的计算数据封装成所述可配置路径单元可以处理的传输数据并且将来自于可配置路径单元的所述传输数据解封装成集成处理设备可以处理的所述计算数据。


5.根据权利要求1所述的芯片，其特征在于，所述可配置路径单元适于基于网络层协议或者数据链路层协议接收来自和转发至集成处理设备的数据。


6.根据权利要求1所述的芯片，其特征在于，所述控制单元适于将所述芯片的特定需求级别发送到所述可配置路径单元，所述可配置路径单元包括配置信息或者转发策略并且适于接收所述特定需求级别、以及基于所述特定需求级别而选择所述配置信息中预设的特定路径或者根据转发策略确定的特定路径以在所述两个集成处理设备之间建立所述数据路径。


7.根据权利要求1所述的芯片，其特征在于，所述芯片在不同应用中运行参数的特定需求级别为所述芯片在神经网络的不同应用中数据传输时间的高需求级别、数据传输时间的低需求级别、芯片运行功率的高需求级别、芯片运行功率的低需求级别、网络拥塞控制的高需求级别、或者网络拥塞控制的低需求级别。


8.根据权利要求7所述的芯片，其特征在于，所述控制单元适于设置分别对应于所述数据传输时间的高需求级别、所述数据传输时间的低需求级别、所述芯片运行功率的高需求级别、所述芯片运行功率的低需求级别、网络拥塞控制的高需求级别和网络拥塞控制的低需求级别的优先级，并且适于基于所述优先级中的最高优先级...

【专利技术属性】
技术研发人员：谭经纶，
申请(专利权)人：芯盟科技有限公司，浙江清华长三角研究院，
类型：发明
国别省市：浙江;33