数据处理方法和装置、芯片、电子设备及介质制造方法及图纸

本公开提供了一种数据处理方法和装置、芯片、电子设备及介质，涉及人工智能领域，尤其涉及芯片领域。实现方案为：确定用于执行数据处理的第一数量的处理任务，第一数量的处理任务中包括起始任务和多个从属任务；将起始任务配置于多个流水线中的一个流水线上；将多个从属任务依次配置于多个流水线中，包括：针对每一个从属任务，响应于该从属任务所依赖的一个或多个其它处理任务均已配置于多个流水线中，确定每一个流水线的尾部连续配置的与该从属任务不具有依赖关系的处理任务的第二数量；以及将该从属任务配置于多个流水线中的一个流水线的末尾，其中，该流水线所对应的第二数量为多个流水线中的每一个流水线所对应的第二数量中的最小值。量中的最小值。量中的最小值。

【技术实现步骤摘要】
数据处理方法和装置、芯片、电子设备及介质


[0001]本公开涉及人工智能
，尤其涉及芯片领域，具体涉及一种数据处理的方法、装置、芯片、电子设备、计算机可读存储介质和计算机程序产品。

技术介绍

[0002]人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术:人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
[0003]在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

技术实现思路

[0004]本公开提供了一种数据处理的方法、装置、芯片、电子设备、计算机可读存储介质和计算机程序产品。
[0005]根据本公开的一方面，提供了一种数据处理方法，包括：确定用于执行数据处理的第一数量的处理任务，其中，第一数量的处理任务中包括起始任务和多个从属任务，多个从属任务中的每一个从属任务的执行依赖于一个或多个其它处理任务的处理结果；将起始任务配置于多个流水线中的一个流水线上；以及将多个从属任务依次配置于多个流水线中，其中，将多个从属任务依次配置于多个流水线中包括：针对多个从属任务中的每一个从属任务，响应于该从属任务所依赖的一个或多个其它处理任务均已配置于多个流水线中，确定在多个流水线中的每一个流水线的尾部连续配置的与该从属任务不具有依赖关系的处理任务的第二数量；以及将该从属任务配置于多个流水线中的一个流水线的末尾，其中，该流水线所对应的第二数量为多个流水线中的每一个流水线所对应的第二数量中的最小值。
[0006]根据本公开的另一方面，提供了一种数据处理装置，包括：确定单元，用于确定用于执行数据处理的第一数量的处理任务，其中，第一数量的处理任务中包括起始任务和多个从属任务，多个从属任务中的每一个从属任务的执行依赖于一个或多个其它处理任务的处理结果；第一配置单元，用于将起始任务配置于多个流水线中的一个流水线上；以及第二配置单元，用于将多个从属任务依次配置于多个流水线中，其中，第二配置单元包括：确定子单元，用于针对多个从属任务中的每一个从属任务，响应于该从属任务所依赖的一个或多个其它处理任务均已配置于多个流水线中，确定在多个流水线中的每一个流水线的尾部连续配置的与该从属任务不具有依赖关系的处理任务的第二数量；以及配置子单元，用于将该从属任务配置于多个流水线中的一个流水线的末尾，其中，该流水线所对应的第二数量为多个流水线中的每一个流水线所对应的第二数量中的最小值。
[0007]根据本公开的另一方面，提供了一种芯片，包括处理单元和多个流水线，处理单元能够通过执行如上述方法而将第一数量的处理任务配置于多个流水线中。
[0008]根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的方法。
[0009]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行上述的方法。
[0010]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，其中，计算机程序在被处理器执行时实现上述的方法。
[0011]根据本公开的一个或多个实施例，可以提升多个处理任务下的处理效率。
[0012]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0013]附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。
[0014]图1示出了根据本公开的实施例的可以在其中实施本文描述的各种方法的示例性系统的示意图；
[0015]图2A和图2B示出了根据本公开的实施例的数据处理方法的流程图；
[0016]图3示出了根据本公开的实施例的数据处理方法的示意图；
[0017]图4示出了根据本公开的实施例的数据处理装置的结构框图；
[0018]图5示出了能够用于实现本公开的实施例的示例性电子设备的结构框图。
具体实施方式
[0019]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0020]在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个元件与另一元件区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。
[0021]在本公开中对各种示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。此外，本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。
[0022]在当前的人工智能等计算场景下，对于多处理任务下的计算效率提出了很高的要求。在相关技术中，用于实现总任务的多个处理任务均被配置在一条流水线上先后进行处
理，即在一条流水线上配置在后的一个处理任务需要等待配置在前的一个处理任务处理完成之后，才能够启动该配置在后的处理任务的执行，这种数据处理方式制约了多任务下的计算效率。
[0023]基于此，本公开提出一种基于多流水线的数据处理方法，将用于执行数据处理的起始任务配置于多个流水线中的一个流水线上，再将用于执行数据处理的多个从属任务依次配置于多个流水线中，其中，针对每一个从属任务，响应于该从属任务所依赖的一个或多个其它处理任务均已配置于多个流水线中，确定在多个流水线中的每一个流水线的尾部连续配置的与该从属任务不具有依赖关系的处理任务的第二数量，并将该从属任务配置于多个流水线中的一个流水线的末尾，其中，该流水线所对应的第二数量为多个流水线中的每一个流水线所对应的第二数量中的最小值。由此，能够根据处理任务之间的依赖关系，将不具有依赖关系的处理任务最大程度地分散配置在不同的流水线中，使得不具有依赖关系的处理任务能够本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，包括：确定用于执行数据处理的第一数量的处理任务，其中，所述第一数量的处理任务中包括起始任务和多个从属任务，所述多个从属任务中的每一个从属任务的执行依赖于一个或多个其它处理任务的处理结果；将所述起始任务配置于多个流水线中的一个流水线上；以及将所述多个从属任务依次配置于所述多个流水线中，其中，将所述多个从属任务依次配置于所述多个流水线中包括：针对所述多个从属任务中的每一个从属任务，响应于该从属任务所依赖的一个或多个其它处理任务均已配置于所述多个流水线中，确定在所述多个流水线中的每一个流水线的尾部连续配置的与该从属任务不具有依赖关系的处理任务的第二数量；以及将该从属任务配置于所述多个流水线中的一个流水线的末尾，其中，该流水线所对应的第二数量为所述多个流水线中的每一个流水线所对应的第二数量中的最小值。2.根据权利要求1所述的方法，还包括：针对所述第一数量的处理任务中的每一个处理任务，响应于该处理任务已配置于所述多个流水线中并且所述多个从属任务中依赖于该处理任务的从属任务的数量为1，将依赖于该处理任务的从属任务在该处理任务所在的流水线上与该处理任务相邻配置。3.根据权利要求1或2所述的方法，还包括：针对所述多个从属任务中的每一个从属任务，响应于该从属任务所依赖的一个或多个其它处理任务中的至少一个处理任务与该从属任务处于不同的流水线上，在该从属任务所处的流水线上位于该从属任务之前的位置处引入同步单元以使该从属任务在所述至少一个处理任务未完成之前不执行。4.根据权利要求3所述的方法，其中，所述同步单元能够用于暂停在该从属任务所处的流水线上执行至所述同步单元的处理，并且响应于接收到所述至少一个处理任务中的每一个处理任务的已完成处理的通知消息，启动执行该从属任务。5.根据权利要求1至4中任意一项所述的方法，其中，所述第一数量的处理任务均在芯片上执行。6.根据权利要求5所述的方法，其中，所述芯片为AI加速卡。7.一种数据处理装置，包括：确定单元，用于确定用于执行数据处理的第一数量的处理任务，其中，所述第一数量的处理任务中包括起始任务和多个从属任务，所述多个从属任务中的每一个从属任务的执行依赖于一个或多个其它处理任务的处理结果；第一配置单元，用于将所述起始任务配置于多个流水线中的一个流水线上；以及第二配置单元，用于将所述多个从属任务依次配置于所述多个流水线中，其中，所述第二配置单元包括：确定子单元，用于针对所述多个从属任务...

【专利技术属性】
技术研发人员：陈庆澍，欧阳剑，王勇，赵志彪，邰秀瑢，唐知毅，
申请(专利权)人：昆仑芯北京科技有限公司，
类型：发明
国别省市：