机器学习框架的构建方法、系统、电子设备及介质技术方案

本申请涉及机器学习技术领域，公开了一种机器学习框架的构建方法、系统、电子设备及介质。其中，构建方法包括：接收到来自客户端的至少一个任务请求；其中，每个任务请求用于指示一个子任务请求，或者用于指示多个子任务请求以及多个子任务请求之间的关系；根据至少一个任务请求，确定每个任务请求中的每个子任务请求对应的操作节点；根据至少一个任务请求中指示的关系，配置多个子任务请求分别对应的操作节点之间的连接关系，以生成与每个任务请求对应的作业线程。基于上述方案，可以根据用户的任意任务请求制定对应的作业线程。如此，能够使得机器学习框架能够应用于各个机器学习程序的开发中，实现机器学习框架在多领域的应用。用。用。

【技术实现步骤摘要】
机器学习框架的构建方法、系统、电子设备及介质


[0001]本申请涉及机器学习
，特别涉及一种机器学习框架的构建方法、系统、电子设备及介质。

技术介绍

[0002]机器学习框架作为人工智能领域的基础性框架，逐渐受到越来越多的关注。在常规情况下，用户可通过预设的框架进行能够执行相应功能的程序的开发。
[0003]目前，现有技术中机器学习框架种类繁多，例如包括Huggingface、TensorFlow、PyTorch、Caffe、MXNet、CNTK、Theano等。但现有技术中的机器学习框架一般局限于构建执行特定机器学习任务的程序，极大的限制了在其他机器学习任务及其他领域的应用。
[0004]例如，图1示出了现有技术中一种机器学习框架100构建执行特定机器学习任务程序200的示意图。如图1所示，机器学习框架100包括一个分词器101和一个模型训练器102，其构建程序的方法一般为通过在模型训练器中训练相应的语言训练模型，例如语音识别模型103，以构建与自然语言处理相关的语音识别程序200。但是，模型训练器102一般为开发者或供应商创建机器学习框架100时所设计的固有结构，而使用该机器学习框架100的用户无法获知该模型训练器102的结构，使得用户无法对该模型训练器102进行调整。且模型训练器102受限于在创建时所设计的固有结构，只能用于构建执行特定机器学习任务的程序，例如与自然语言处理相关的机器学习任务的程序，使得用户无法根据实际需求构建能够执行其他机器学习任务的程序。

技术实现思路

[0005]本申请实施例提供了一种机器学习框架的构建方法、系统、电子设备及介质。
[0006]第一方面，本申请实施例提供了一种机器学习框架的构建方法，用于电子设备，包括：
[0007]接收到来自客户端的至少一个任务请求；所述至少一个任务请求中的每个任务请求用于指示一个子任务请求，或者用于指示多个子任务请求以及所述多个子任务请求之间的关系；
[0008]根据所述至少一个任务请求，确定每个任务请求中的每个子任务请求对应的操作节点；
[0009]根据所述至少一个任务请求中指示的所述关系，配置所述多个子任务请求分别对应的操作节点之间的连接关系，以生成与所述每个任务请求对应的作业线程。
[0010]基于上述方案，机器学习框架可以根据用户的任意任务请求制定对应的作业线程。且当用户任务请求为多个时，可以基于上述方法生成多个任务线程，以实现执行不同的任务。如此，能够使得机器学习框架能够应用于各个机器学习程序的开发中，实现机器学习框架在多领域的应用。
[0011]在上述第一方面的一种可能的实现中，所述每个子任务请求对应的操作节点之间
的连接关系通过相连接的操作节点之间的数据结构(dataframe)确定。
[0012]在上述第一方面的一种可能的实现中，所述相连接的操作节点之间的数据结构用于确定所述相连接的操作节点中先执行的操作节点的输出数据信息的规范和后执行的操作节点的输入数据信息的规范；
[0013]所述作业线程中的第一个操作节点的输入数据规范由输入数据结构确定，所述作业线程中的最后一个操作节点的输出数据规范由输出数据结构确定。
[0014]在上述第一方面的一种可能的实现中，所述根据所述至少一个任务请求中指示的所述关系，配置所述多个子任务请求分别对应的操作节点之间的连接关系，以生成与所述每个任务请求对应的作业线程，包括：
[0015]根据所述至少一个任务请求中指示的所述关系，配置所述多个子任务请求分别对应的操作节点之间的连接关系，以生成与所述每个任务请求对应的初始作业线程；
[0016]判断所述初始作业线程是否符合设定条件，
[0017]在所述初始作业线程符合所述设定条件的情况下，确定所述初始作业线程作为作业线程；
[0018]在所述初始作业线程不符合所述设定条件的情况下，对所述初始作业线程进行调整，获取调整后的作业线程，确定所述调整后的作业线程作为作业线程。
[0019]本申请实施例中，通过对初始作业线程进行是否满足设定条件的验证，可以增加作业线程构建的准确度，避免出现输出的作业线程无法执行相应任务的情况。
[0020]在上述第一方面的一种可能的实现中，所述设定条件包括每个操作节点的输出数据信息和输入数据信息符合设定规则。
[0021]在上述第一方面的一种可能的实现中，所述输出数据信息包括输出数据的占用内存和输出数据类型；所述输入数据信息包括输入数据的占用内存和输入数据类型。
[0022]在上述第一方面的一种可能的实现中，所述方法进一步包括：为所述作业线程中包括的操作节点分配对应的执行设备。
[0023]在上述第一方面的一种可能的实现中，所述为所述作业线程中包括的操作节点分配对应的执行设备，包括：
[0024]获取执行所述作业线程中每个操作节点所需的算力以及各执行设备的算力；
[0025]基于执行所述作业线程中每个操作节点所需的算力以及各执行设备的算力为所述作业线程中包括的操作节点分配对应的执行设备。
[0026]本申请实施例中，机器学习框架可以根据执行设备的算力以及作业线程中操作节点的算力为作业线程中的操作节点分配对应的执行设备，如此，能够有效提高作业线程的部署效率，避免了因部署不合适，例如将所需较大算力的操作节点部署到了小算力的执行设备上，所导致的难以运行的问题的发生。
[0027]在上述第一方面的一种可能的实现中，根据所述至少一个任务请求，确定每个任务请求中的每个子任务请求对应的操作节点，包括：
[0028]根据所述至少一个任务请求，将与所述每个子任务请求的匹配度大于设定阈值的操作节点作为每个子任务请求对应的操作节点。
[0029]在上述第一方面的一种可能的实现中，所述至少一个任务请求的呈现形式包括配置文件、程序代码或图形化文件中的至少一种。
[0030]在上述第一方面的一种可能的实现中，所述操作节点包括至少一个用于实现预设功能的算子。
[0031]第二方面，本申请实施例提供一种机器学习框架的构建系统，用于执行所述方法；所述系统包括：
[0032]接收模块，用于接收来自客户端的至少一个任务请求；所述至少一个任务请求中的每个任务请求用于指示一个子任务请求，或者用于指示多个子任务请求以及所述多个子任务请求之间的关系；
[0033]确定模块，用于根据所述至少一个任务请求，确定每个任务请求中的每个子任务请求对应的操作节点；
[0034]生成模块，用于根据所述至少一个任务请求中指示的所述关系，配置每个子任务请求对应的操作节点之间的连接关系，以生成与所述每个任务请求对应的作业线程。
[0035]本申请实施例第三方面提供一种数据处理方法，包括：
[0036]获取至少一个数据，将所述至少一个数据分别输入对应的作业线程中；
[0037]控制每个作业线程对输入的对应数据进行处理，获取对应的数据处理结果；<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种机器学习框架的构建方法，用于电子设备，其特征在于，包括：接收来自客户端的至少一个任务请求；所述至少一个任务请求中的每个任务请求用于指示一个子任务请求，或者用于指示多个子任务请求以及所述多个子任务请求之间的关系；根据所述至少一个任务请求，确定每个任务请求中的每个子任务请求对应的操作节点；根据所述至少一个任务请求中指示的所述关系，配置所述多个子任务请求分别对应的操作节点之间的连接关系，以生成与所述每个任务请求对应的作业线程。2.根据权利要求1所述的构建方法，其特征在于，所述多个子任务请求分别对应的操作节点之间的连接关系通过相连接的操作节点之间的数据结构确定。3.根据权利要求2所述的构建方法，其特征在于，所述相连接的操作节点之间的数据结构用于确定所述相连接的操作节点中先执行的操作节点的输出数据信息的规范和后执行的操作节点的输入数据信息的规范；所述作业线程中的第一个操作节点的输入数据规范由输入数据结构确定，所述作业线程中的最后一个操作节点的输出数据规范由输出数据结构确定。4.根据权利要求1
‑
3任一项所述的构建方法，其特征在于，所述根据所述至少一个任务请求中指示的所述关系，配置所述多个子任务请求分别对应的操作节点之间的连接关系，以生成与所述每个任务请求对应的作业线程，包括：根据所述至少一个任务请求中指示的所述关系，配置所述多个子任务请求分别对应的的操作节点之间的连接关系，以生成与所述每个任务请求对应的初始作业线程；判断所述初始作业线程是否符合设定条件，在所述初始作业线程符合所述设定条件的情况下，确定所述初始作业线程作为作业线程；在所述初始作业线程不符合所述设定条件的情况下，对所述初始作业线程进行调整，获取调整后的作业线程，确定所述调整后的作业线程作为作业线程。5.根据权利要求4所述的构建方法，其特征在于，所述设定条件包括每个操作节点的输出数据信息和输入数据信息符合设定规则。6.根据权利要求5所述的构建方法，其特征在于，所述输出数据信息包括输出数据的占用内存和输出数据类型；所述输入数据信息包括输入数据的占用内存和输入数据类型。7.根据权利要求1
‑
6任一项所述的构建方法，其特征在于，进一步包括：为所述作业线程中包括的操作节点分配对应的执行设备。8.根据权利要求7所述的构建方法，其特征在于，所述为所述作业线程中包括的操作节点分配对应的执行设备，包括：获取执行所述作业线程中每个操作节点所需的算力以及各执行设备的算力；基于执行所述作业线程中每个操作节点所需的算力以及各执行设备的算力为所述作业线程中包括的操作节点分配对应的执行设备。9.根据权利要求1
‑
8任一项所述的构建方法，其特征在于，根据所述至少一个任务请求，确定每个任务请求中的每个子任务请求对应的操作节点，包括：根据所述至少一个任务请求，将与所述每个子任务请求的匹配度大于设定阈值的操作
节点作为每个子任务请求对应的操作节点。10.根据权利要求1
‑
9任一项所述的构建方法，其特征在于，所述至少一个任务请求的呈现形式包括配置文件、程序代码或图形化文件中的至少一种。11....

【专利技术属性】
技术研发人员：谢超，郭人通，姜俊杰，刘孜捷，菲利普，
申请(专利权)人：上海徐毓智能科技有限公司，
类型：发明
国别省市：