一种数据处理方法、装置、运算芯片及存储介质制造方法及图纸

本申请公开了一种数据处理方法、装置、运算芯片及存储介质。该方法应用于对多个上游运算芯片传入的数据进行数据处理的当前运算芯片，步骤包括：获取缓存区的数据占用量；判断数据占用量是否达到控流阈值；如果是，则获取各上游运算芯片之间的优先级，并按照优先级的顺序向各上游运算芯片发送流量控制信息，以控制上游运算芯片停止传入待处理数据；对缓存区中的待处理数据进行数据处理；否则，接收上游运算芯片传入的待处理数据，并写入缓存区；对缓存区中的待处理数据进行数据处理。本方法相对保证了云计算平台通过多个运算芯片实现数据加速处理过程的稳定性。此外，本申请还提供一种数据处理装置、运算芯片及存储介质，有益效果同上所述。

【技术实现步骤摘要】
一种数据处理方法、装置、运算芯片及存储介质
本申请涉及数据处理领域，特别是涉及一种数据处理方法、装置、运算芯片及存储介质。
技术介绍
当前的云计算平台往往通过多个运算芯片共同构成，云计算平台把运算芯片作为云计算平台中的加速单元，即加速卡，多个运算芯片通过网络接口，如MAC(MultipleAccessControl，多路访问控制)协议的网络接口，连接到交换机，共同形成加速资源池。当有待处理的数据到达云计算平台时，待处理的数据往往会基于网口传输的方式顺序经过加速资源池中的多个运算芯片，加速资源池中的每个运算芯片接收到待处理的数据时，均以自身既定的处理逻辑对数据进行相应的数据处理，并将处理得到的数据进一步传入到下一个运算芯片以做进一步的数据处理，待处理的数据经过加速资源池中多个运算芯片的顺序处理后得到数据处理结果，通过在运算芯片之间被流水处理的方式，达到对数据处理过程的加速效果。由于待处理的数据在到达云计算平台后，需要顺序经过加速资源池中多个运算芯片的数据处理，更进一步的，如图1所示，当前进一步存在由多个运算芯片向一个运算芯片提供数据以供该运算芯片进行处理的场景下，即存在当前运算芯片需要接收并处理多个上游运算芯片传入的数据的场景，在此场景下，确保数据在运算芯片之间传输的可靠性，是保证云计算平台进行数据加速处理时稳定性的重要因素。由此可见，提供一种数据处理方法，以相对确保数据在运算芯片之间传输的可靠性，进而保证云计算平台通过多个运算芯片实现数据加速处理过程的稳定性，是本领域技术人员需要解决的问题。<br>
技术实现思路
本申请的目的是提供一种数据处理方法、装置、运算芯片及存储介质，以相对确保数据在运算芯片之间传输的可靠性，进而保证云计算平台通过多个运算芯片实现数据加速处理过程的稳定性。为解决上述技术问题，本申请提供一种数据处理方法，应用于对多个上游运算芯片传入的数据进行数据处理的当前运算芯片，包括：获取缓存区的数据占用量；判断数据占用量是否达到控流阈值；如果是，则获取各上游运算芯片之间的优先级，并按照优先级的顺序向各上游运算芯片发送流量控制信息，以控制上游运算芯片停止传入待处理数据；对缓存区中的待处理数据进行数据处理；否则，接收上游运算芯片传入的待处理数据，并写入缓存区；对缓存区中的待处理数据进行数据处理。优选地，当按照优先级的顺序向各上游运算芯片发送流量控制信息时，在对缓存区中的待处理数据进行数据处理之后，方法还包括：监控缓存区的数据占用量；当缓存区的数据占用量小于控流阈值时，停止发送流量控制信息，并向上游运算芯片发送流量通行信息，以控制上游运算芯片继续传入待处理数据。优选地，当存在与当前运算芯片相邻，且对当前运算芯片生成的结果数据进行数据处理的下游运算芯片时，在对缓存区中的待处理数据进行数据处理之后，方法还包括：将对待处理数据进行数据处理生成的结果数据传输至下游运算芯片；对下游运算芯片进行报文监听，当接收到下游运算芯片传入的流量控制信息时，停止向下游运算芯片传输结果数据。优选地，在停止向下游运算芯片传输结果数据之后，方法还包括：对下游运算芯片进行报文监听，当接收到下游运算芯片传入的流量通行信息时，继续向下游运算芯片传输结果数据。优选地，当前运算芯片包括FPGA芯片。此外，本申请还提供一种数据处理装置，应用于对多个上游运算芯片传入的数据进行数据处理的当前运算芯片，包括：占用量获取模块，用于获取缓存区的数据占用量；阈值判断模块，用于判断数据占用量是否达到控流阈值，如果是，则调用控制信息发送模块以及数据处理模块，否则，调用接收模块以及数据处理模块；控制信息发送模块，用于获取各上游运算芯片之间的优先级，并按照优先级的顺序向各上游运算芯片发送流量控制信息，以控制上游运算芯片停止传入待处理数据；接收模块，用于接收上游运算芯片传入的待处理数据，并写入缓存区；数据处理模块，用于对缓存区中的待处理数据进行数据处理。优选地，装置还包括：占用量监控模块，用于监控缓存区的数据占用量；通行信息发送模块，用于当缓存区的数据占用量小于控流阈值时，停止发送流量控制信息，并向上游运算芯片发送流量通行信息，以控制上游运算芯片继续传入待处理数据。优选地，当存在与当前运算芯片相邻，且对当前运算芯片生成的结果数据进行数据处理的下游运算芯片时，装置还包括：结果传输模块，用于将对待处理数据进行数据处理生成的结果数据传输至下游运算芯片；监听模块，用于对下游运算芯片进行报文监听，当接收到下游运算芯片传入的流量控制信息时，停止向下游运算芯片传输结果数据。此外，本申请还提供一种运算芯片，用于对上游运算芯片传入的数据进行数据处理，包括：存储器，用于存储计算机程序；处理器，用于执行计算机程序时实现如上述的数据处理方法的步骤。此外，本申请还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述的数据处理方法的步骤。本申请所提供的数据处理方法，应用于对多个上游运算芯片传入的数据进行数据处理的当前运算芯片，当前运算芯片通过获取缓存区的数据占用量，判断该数据占用量是否达到控流阈值，如果数据占用量达到控流阈值，则获取各上游运算芯片之间的优先级，并按照优先级的顺序向各上游运算芯片发送流量控制信息，以控制上游运算芯片停止向当前运算芯片传入待处理数据，当前运算芯片在此基础上，对缓存区中的待处理数据进行数据处理；如果数据占用量未达到控流阈值，当前运算芯片则接收上游运算芯片传入的待处理数据，并写入缓存区，进而对缓存区中的待处理数据进行数据处理。本方法通过判断缓存区的数据占用量是否达到控流阈值的方式，判定能够可靠接收上游运算芯片传入的待处理数据，以此当缓存区的数据占用量达到控流阈值时，获取各上游运算芯片之间的优先级，并按照优先级的顺序向各上游运算芯片发送流量控制信息，以此停止上游运算芯片继续向当前运算芯片传入待处理数据，只有当缓存区的数据占用量未达到控流阈值时接收上游运算芯片传入的待处理数据，避免了因当前运算芯片的缓存区数据溢出而导致传入的待处理数据丢失或损坏的情况发生，相对确保了数据在运算芯片之间传输的可靠性，进而保证了云计算平台通过多个运算芯片实现数据加速处理过程的稳定性。此外，本申请还提供一种数据处理装置、运算芯片及存储介质，有益效果同上所述。附图说明为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为云计算平台中运算芯片的数据流向示意图；图2为本申请实施例公开的一种数据处理方法的流程图；图3为本申请实施例公开的一种具体的数据处理方法的流程图；图4为本申请实施例公开本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，应用于对多个上游运算芯片传入的数据进行数据处理的当前运算芯片，包括：/n获取缓存区的数据占用量；/n判断所述数据占用量是否达到控流阈值；/n如果是，则获取各所述上游运算芯片之间的优先级，并按照所述优先级的顺序向各所述上游运算芯片发送流量控制信息，以控制所述上游运算芯片停止传入待处理数据；/n对所述缓存区中的所述待处理数据进行数据处理；/n否则，接收所述上游运算芯片传入的所述待处理数据，并写入所述缓存区；/n对所述缓存区中的所述待处理数据进行数据处理。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于对多个上游运算芯片传入的数据进行数据处理的当前运算芯片，包括：
获取缓存区的数据占用量；
判断所述数据占用量是否达到控流阈值；
如果是，则获取各所述上游运算芯片之间的优先级，并按照所述优先级的顺序向各所述上游运算芯片发送流量控制信息，以控制所述上游运算芯片停止传入待处理数据；
对所述缓存区中的所述待处理数据进行数据处理；
否则，接收所述上游运算芯片传入的所述待处理数据，并写入所述缓存区；
对所述缓存区中的所述待处理数据进行数据处理。


2.根据权利要求1所述的数据处理方法，其特征在于，当按照所述优先级的顺序向各所述上游运算芯片发送流量控制信息时，在所述对所述缓存区中的所述待处理数据进行数据处理之后，所述方法还包括：
监控所述缓存区的数据占用量；
当所述缓存区的数据占用量小于所述控流阈值时，停止发送所述流量控制信息，并向所述上游运算芯片发送流量通行信息，以控制所述上游运算芯片继续传入所述待处理数据。


3.根据权利要求2所述的数据处理方法，其特征在于，当存在与所述当前运算芯片相邻，且对所述当前运算芯片生成的结果数据进行数据处理的下游运算芯片时，在所述对所述缓存区中的所述待处理数据进行数据处理之后，所述方法还包括：
将对所述待处理数据进行数据处理生成的结果数据传输至所述下游运算芯片；
对所述下游运算芯片进行报文监听，当接收到所述下游运算芯片传入的所述流量控制信息时，停止向所述下游运算芯片传输所述结果数据。


4.根据权利要求3所述的数据处理方法，其特征在于，在所述停止向所述下游运算芯片传输所述结果数据之后，所述方法还包括：
对所述下游运算芯片进行报文监听，当接收到所述下游运算芯片传入的所述流量通行信息时，继续向所述下游运算芯片传输所述结果数据。


5.根据权利要求1至4任意一项所述的数据处理方法，其特征在于，所述当前运算芯片包括FPGA芯片。


6.一种数据处理...

【专利技术属性】
技术研发人员：王江为，刘钧锴，阚宏伟，
申请(专利权)人：广东浪潮大数据研究有限公司，
类型：发明
国别省市：广东;44