分布式数据处理方法、装置及电子设备制造方法及图纸

本申请实施例提供一种分布式数据处理方法、装置及电子设备，该分布式数据处理方法包括：获取应用程序的数据处理模型；根据预设子图切分规则，对数据处理模型进行切分，得到多个子图；根据预设的调度序列配置文件，向多个服务器中的各服务器分别发送对应的任务，任务包括：多个子图中的部分子图，以使每个服务器根据接收到的子图进行数据处理，得到处理结果；针对多个服务器中的每个服务器，接收服务器发送的处理结果；合并多个处理结果，得到数据处理模型的目标结果。本申请通过将数据处理模型切分成多个子图，使多个服务器中的每个服务器处理多个子图中的部分子图，可以针对数据处理模型实现高效的数据处理。处理模型实现高效的数据处理。处理模型实现高效的数据处理。

【技术实现步骤摘要】
分布式数据处理方法、装置及电子设备


[0001]本申请涉及计算机
，尤其涉及一种分布式数据处理方法、装置及电子设备。

技术介绍

[0002]车载多系统设备往往包含多个NPU(neural
‑
network process units npu，网络处理器)、DSP(digital signal processor，微处理器)或者CPU(Central Processing Unit，中央处理器)等计算单元，每个计算单元拥有一定的算力，但是采用单一的计算单元往往难以满足大算力模型计算和多模型高实时性任务。
[0003]基于上述问题，目前的解决方法是牺牲模型精度或者降低帧率要求，但是这样降低了大算力模型计算和多模型高实时性任务的数据处理效果。

技术实现思路

[0004]本申请提供一种分布式数据处理方法、装置及电子设备。用以解决现有的数据处理方法降低了大算力模型计算和多模型高实时性任务的数据处理效果。
[0005]第一方面，本申请实施例提供一种分布式数据处理方法，应用于终端设备，包括获取应用程序的数据处理模型；根据预设子图切分规则，对数据处理模型进行切分，得到多个子图；根据预设的调度序列配置文件，向多个服务器中的各服务器分别发送对应的任务，任务包括：多个子图中的部分子图，以使每个服务器根据接收到的子图进行数据处理，得到处理结果；针对多个服务器中的每个服务器，接收服务器发送的处理结果，服务器和处理结果一一对应；合并多个处理结果，得到数据处理模型的目标结果。
[0006]在本申请的一个实施例中，根据预设的调度序列配置文件，向多个服务器中的各服务器分别发送对应的任务，包括：创建客户端，客户端用于与多个服务器通信；基于客户端，根据调度序列配置文件，确定多个服务器，并向多个服务器发送建立通信连接请求；
[0007]针对多个服务器中的每个服务器，在接收到服务器的通信连接成功消息后，基于客户端向服务器发送对应的任务。
[0008]在本申请的另一个实施例中，接收服务器发送的处理结果，包括：根据调度序列配置文件创建订阅端，订阅端配置有通道名称；基于通道名称通过订阅端接收服务器发送的处理结果。
[0009]在本申请的一个实施例中，任务还包括：调度序列配置文件和通道名称。
[0010]在本申请的一个实施例中，合并多个处理结果，得到数据处理模型的目标结果，包括：创建共享内存，并将多个处理结果存储在共享内存中；将共享内存中的多个处理结果返回给应用程序，并基于应用程序合并多个处理结果，得到数据处理模型的目标结果。
[0011]第二方面，本申请提供一种分布式数据处理方法，应用于多个服务器中的每个服务器，分布式数据处理方法包括：接收终端设备发送的任务，任务包括：多个子图的部分子图；多个子图是终端设备根据预设子图切分规则，对应用程序的数据处理模型进行切分得
到的；对任务进行处理，得到处理结果；向终端设备发送处理结果，以使终端设备合并多个服务器的多个处理结果，得到数据处理模型对应的目标结果。
[0012]在本申请的一个实施例中，任务为任务下发消息，任务还包括：调度序列配置文件；服务器包括多个计算单元，对任务进行处理，得到处理结果，包括：根据部分子图和调度序列配置文件确定部分子图的子图调用序列；根据子图调用序列，在多个计算单元中确定至少一个目标计算单元，并创建每个目标计算单元的任务队列；创建目标计算单元的调度线程；采用调度线程调度任务对列进行处理，得到处理结果。
[0013]在本申请的一个实施例中，采用调度线程调度任务对列进行处理，得到处理结果，包括：从本地存储中获取任务队列的相关数据，相关数据包括：部分子图和其他服务器的处理结果；采用调度线程对相关数据进行处理，得到处理结果。
[0014]在本申请的一个实施例中，本地存储包括：共享内存，从本地存储中获取任务队列的相关数据之前，还包括：在服务器启动后，创建与其他服务器的发布端和订阅端；若基于订阅端接收到其他服务器的处理结果后，将其他服务器的处理结果保存至预先创建的共享内存中，共享内存和任务一一对应。
[0015]在本申请的一个实施例中，本地存储包括：全局缓冲或磁盘，从本地存储中获取任务队列的相关数据之前，还包括：若接收到终端设备发送的部分子图，则将接收到的部分子图保存至全局缓冲或磁盘。
[0016]在本申请的一个实施例中，任务还包括：终端设备的通道名称，向终端设备发送处理结果，包括:若任务队列表中描述处理结果需发送回终端设备，则通过任务中包含的通道名称对应的终端设备的订阅端，向终端设备发生处理结果。
[0017]在本申请的一个实施例中，还包括:若任务队列中描述处理结果需发送给其他服务器，基于与其他服务器创建的发布端，向其他服务器发送处理结果。
[0018]在本申请的一个实施例中，计算单元包括：网络处理器、微处理器或中央处理器。
[0019]第三方面，本申请提供分布式数据处理装置，应用于终端设备，包括：
[0020]获取模块，用于获取应用程序的数据处理模型；
[0021]切分模块，用于根据预设子图切分规则，对数据处理模型进行切分，得到多个子图；
[0022]发送模块，用于根据预设的调度序列配置文件，向多个服务器中的各服务器分别发送对应的任务，任务包括：多个子图中的部分子图，以使每个服务器根据接收到的子图进行数据处理，得到处理结果；
[0023]接收模块，用于针对多个服务器中的每个服务器，接收服务器发送的处理结果，服务器和处理结果一一对应；
[0024]合并模块，用于合并多个处理结果，得到数据处理模型的目标结果。
[0025]在本申请的另一个实施例中，发送模块具体用于：创建客户端，客户端用于与多个服务器通信；基于客户端，根据调度序列配置文件，确定多个服务器，并向多个服务器发送建立通信连接请求；针对多个服务器中的每个服务器，在接收到服务器的通信连接成功消息后，基于客户端向服务器发送对应的任务。
[0026]在本申请的另一个实施例中，接收模块具体用于：根据调度序列配置文件创建订阅端，订阅端配置有通道名称；基于通道名称通过订阅端接收服务器发送的处理结果。
[0027]在本申请的一个实施例中，任务还包括：调度序列配置文件和通道名称。
[0028]在本申请的一个实施例中，合并模块，具体用于：创建共享内存，并将多个处理结果存储在共享内存中；将共享内存中的多个处理结果返回给应用程序，并基于应用程序合并多个处理结果，得到数据处理模型的目标结果。
[0029]第四方面，本申请提供分布式数据处理装置，应用于多个服务器中的每个服务器，包括：
[0030]接收模块，用于接收终端设备发送的任务，任务包括：多个子图的部分子图；多个子图是终端设备根据预设子图切分规则，对应用程序的数据处理模型进行切分得到的；
[0031]处理模块，用于对任务进行处理，得到处理结果；
[0032]发送模块，用于向终端设备发本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式数据处理方法，其特征在于，应用于终端设备，所述分布式数据处理方法包括：获取应用程序的数据处理模型；根据预设子图切分规则，对所述数据处理模型进行切分，得到多个子图；根据预设的调度序列配置文件，向多个服务器中的各服务器分别发送对应的任务，所述任务包括：所述多个子图中的部分子图，以使每个服务器根据接收到的子图进行数据处理，得到处理结果；针对所述多个服务器中的每个服务器，接收所述服务器发送的处理结果，所述服务器和所述处理结果一一对应；合并多个处理结果，得到所述数据处理模型的目标结果。2.根据权利要求1所述的分布式数据处理方法，其特征在于，所述根据预设的调度序列配置文件，向多个服务器中的各服务器分别发送对应的任务，包括：创建客户端，所述客户端用于与多个所述服务器通信；基于所述客户端，根据所述调度序列配置文件，确定多个所述服务器，并向多个所述服务器发送建立通信连接请求；针对多个所述服务器中的每个服务器，在接收到所述服务器的通信连接成功消息后，基于所述客户端向所述服务器发送对应的任务。3.根据权利要求2所述的分布式数据处理方法，其特征在于，所述接收所述服务器发送的处理结果，包括：根据所述调度序列配置文件创建订阅端，所述订阅端配置有通道名称；基于所述通道名称通过所述订阅端接收所述服务器发送的处理结果。4.根据权利要求3所述的分布式数据处理方法，其特征在于，所述任务还包括：所述调度序列配置文件和所述通道名称。5.根据权利要求1至4任一项所述的分布式数据处理方法，其特征在于，所述合并多个处理结果，得到所述数据处理模型的目标结果，包括：创建共享内存，并将所述多个处理结果存储在所述共享内存中；将所述共享内存中的所述多个处理结果返回给所述应用程序，并基于所述应用程序合并所述多个处理结果，得到所述数据处理模型的目标结果。6.一种分布式数据处理方法，其特征在于，应用于多个服务器中的每个服务器，所述分布式数据处理方法包括：接收终端设备发送的任务，所述任务包括：多个子图的部分子图；所述多个子图是所述终端设备根据预设子图切分规则，对应用程序的数据处理模型进行切分得到的；对所述任务进行处理，得到处理结果；向所述终端设备发送所述处理结果，以使终端设备合并多个所述服务器的多个处理结果，得到所述数据处理模型对应的目标结果。7.根据权利要求6所述的分布式数据处理方法，其特征在于，所述任务为任务下发消息，所述任务还包括：调度序列配置文件；所述服务器包括多个计算单元，所述对所述任务进行处理，得到处理结果，包括：根据所述部分子图和所述调度序列配置文件确定所述部分子图的子图调用序列；
根据所述子图调用序列，在所述多个计算单元中确定至少一个目标计算单元，并创建每个目标计算单元的任务队列；创建目标计算单元的调度线程；采用所述调度线程调度所述任务对列进行处理，得到所述处理结果。8.根据权利要求7所述的分布式数据处理方法，其特征在于，所述采用所述调度线程调度所述任务对列进行处理，得到所述处理结果，包括：从本地存储中获取所述任务队列的相关数据，所述相关数据包括：所述部分子图和其他服务器的处理结果；采用所述调度线程对所述相关数据进行处...

【专利技术属性】
技术研发人员：王磊，
申请(专利权)人：亿咖通湖北技术有限公司，
类型：发明
国别省市：