一种模型建立方法及装置、存储介质制造方法及图纸

本申请实施例公开了一种模型建立方法及装置、存储介质，包括：接收模型配置信息，模型配置信息包括特征配置信息、数据配置信息、模型结构配置信息、流程配置信息和分布式配置信息；根据特征配置信息、数据配置信息、模型结构配置信息和分布式配置信息在组件层调用目标组件；根据流程配置信息在流程层调用目标流程；利用目标流程对目标组件进行组装，得到与模型配置信息匹配的深度学习模型。模型配置信息匹配的深度学习模型。模型配置信息匹配的深度学习模型。

【技术实现步骤摘要】
一种模型建立方法及装置、存储介质


[0001]本申请涉及深度学习
，尤其涉及一种模型建立方法及装置、存储介质。

技术介绍

[0002]随着互联网技术的发展，神经网络通过学习表达能力强、泛化能力强的特征，使得深度学习在各个领域的任务上取得了超越传统算法的性能，由此深度学习模型逐渐备受青睐。
[0003]现有技术中，是在基于现有的深度学习框架编写模型代码的方式，或者对深度学习框架中的部分代码进行修改后再编写模型代码的方式来建立所需模型，由于人工编写模型代码耗费的时间长，从而降低了模型建立时的速度。

技术实现思路

[0004]为解决上述技术问题，本申请实施例期望提供一种模型建立方法及装置、存储介质，能够提高模型建立时的速度。
[0005]本申请的技术方案是这样实现的：
[0006]本申请实施例提供一种模型建立方法，所述模型建立方法包括：
[0007]接收模型配置信息，所述模型配置信息包括特征配置信息、数据配置信息、模型结构配置信息、流程配置信息和分布式配置信息；
[0008]根据所述特征配置信息、所述数据配置信息、所述模型结构配置信息和所述分布式配置信息在组件层调用目标组件；
[0009]根据所述流程配置信息在所述流程层调用目标流程；
[0010]利用所述目标流程对所述目标组件进行组装，得到与所述模型配置信息匹配的深度学习模型。
[0011]本申请实施例提供了一种模型建立装置，所述装置包括：
[0012]接收单元，用于接收模型配置信息，所述模型配置信息包括特征配置信息、数据配置信息、模型结构配置信息、流程配置信息和分布式配置信息；
[0013]调用单元，用于根据所述特征配置信息、所述数据配置信息、所述模型结构配置信息和所述分布式配置信息在组件层调用目标组件；根据所述流程配置信息在所述流程层调用目标流程；
[0014]组装单元，用于利用所述目标流程对所述目标组件进行组装，得到与所述模型配置信息匹配的深度学习模型。
[0015]本申请实施例提供了一种模型建立装置，所述装置包括：
[0016]存储器、处理器和通信总线，所述存储器通过所述通信总线与所述处理器进行通信，所述存储器存储所述处理器可执行的模型建立的程序，当所述模型建立的程序被执行时，通过所述处理器执行上述所述的模型建立方法。
[0017]本申请实施例提供了一种存储介质，其上存储有计算机程序，应用于模型建立装
置，其特征在于，该计算机程序被处理器执行时实现上述所述的模型建立方法。
[0018]本申请实施例提供了一种模型建立方法及装置、存储介质，模型建立方法包括：接收模型配置信息，模型配置信息包括特征配置信息、数据配置信息、模型结构配置信息、流程配置信息和分布式配置信息；根据特征配置信息、数据配置信息、模型结构配置信息和分布式配置信息在组件层调用目标组件；根据流程配置信息在流程层调用目标流程；利用目标流程对目标组件进行组装，得到与模型配置信息匹配的深度学习模型。采用上述方法实现方案，模型建立装置通过在组件层配置有组件，在流程层配置配置有流程信息，使得模型建立装置可以根据模型配置信息中的流程配置信息在流程层中的流程信息中调用得到目标流程；根据模型配置信息中的特征配置信息、数据配置信息、模型结构配置信息和分布式配置信息在组件层中的组件中调用得到目标组件；以根据目标流程对目标组件进行组装，不需要人工编写模型代码，提高了模型建立时的速度。
附图说明
[0019]图1为本申请实施例提供的一种模型建立方法流程图；
[0020]图2为本申请实施例提供的一种示例性的模型建立装置的结构框架示意图；
[0021]图3为本申请实施例提供的一种示例性的tritium流程示意图；
[0022]图4为本申请实施例提供的一种示例性的分布式组件框架示意图；
[0023]图5为本申请实施例提供的一种示例性的数据吞吐组件框架示意图；
[0024]图6为本申请实施例提供的一种示例性的DAG引擎示意图示意图；
[0025]图7为本申请实施例提供的一种示例性的Tritium模型构建DAG框架示意图；
[0026]图8为本申请实施例提供的一种示例性的Ttritium流程层示意图；
[0027]图9为本申请实施例提供的一种模型建立装置的组成结构示意图一；
[0028]图10为本申请实施例提供的一种模型建立装置的组成结构示意图二。
具体实施方式
[0029]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0030]本申请实施例提供了一种模型建立方法，一种模型建立方法应用于模型建立装置，图1为本申请实施例提供的一种模型建立方法流程图，如图1所示，模型建立方法可以包括：
[0031]S101、接收模型配置信息，模型配置信息包括特征配置信息、数据配置信息、模型结构配置信息、流程配置信息和分布式配置信息。
[0032]本申请实施例提供的一种模型建立方法适用于建立深度学习模型的场景下。
[0033]在本申请实施例中，模型建立装置可以以各种形式来实施。例如，本申请中描述的模型建立装置可以包括诸如手机、照相机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant，PDA)、便捷式媒体播放器(Portable Media Player，PMP)、导航装置、可穿戴设备、智能手环、计步器等装置，以及诸如数字TV、台式计算机、服务器等装置。
[0034]在本申请实施例中，在本申请实施例中，模型建立装置中设置有用户接口层，用户可以在用户接口层输入模型配置信息，模型建立装置可以从用户接口层接收该模型配置信息。
[0035]需要说明的是，模型配置信息可以为深度学习模型的配置信息。
[0036]在本申请实施例中，如图2所示：模型建立装置不仅包括用户接口层(包括特征配置信息、数据配置信息、模型结构配置信息(建模配置信息)、流程配置信息和分布式配置信息)，还包括流程层、组件层和后端层。其中，流程层设置有流程信息(包括训练信息、评估信息、预估信息、导出信息和定制信息)，模型建立装置可以从流程层中的流程信息中调用目标流程。组件层中设置有第一组件，模型建立装置可以从组件层中的第一组件中调用目标组件。需要说明的是，流程信息中的定制信息可以为用户自定义流程的接口。组件层中的第一组件包括数据吞吐组件、模型构建组件和分布式环境组件。其中，数据吞吐组件包括读取器、解析器和迭代器，读取器、解析器和迭代器用于实现数据并行组件、数据读取组件、数据解析组件、数据预取组件、数据洗牌组件等组件；模型构建组件包括：特征层组件、模型层组件、单一模型组件、损失函数组件、度量尺度组件和优化层组件；分布式环境组件包括PS组件、Allreduce组件和Hybrid组件。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型建立方法，其特征在于，所述方法包括：接收模型配置信息，所述模型配置信息包括特征配置信息、数据配置信息、模型结构配置信息、流程配置信息和分布式配置信息；根据所述特征配置信息、所述数据配置信息、所述模型结构配置信息和所述分布式配置信息在组件层调用目标组件；根据所述流程配置信息在所述流程层调用目标流程；利用所述目标流程对所述目标组件进行组装，得到与所述模型配置信息匹配的深度学习模型。2.根据权利要求1所述的方法，其特征在于，所述根据所述特征配置信息、所述数据配置信息、所述模型结构配置信息和所述分布式配置信息在组件层调用目标组件，包括：根据所述分布式配置信息在所述组件层调用分布式环境组件；根据所述数据配置信息在所述组件层调用数据吞吐组件；根据所述特征配置信息、所述模型结构配置信息在所述组件层调用模型组件；将所述分布式环境组件、所述数据吞吐组件和所述模型组件作为所述目标组件。3.根据权利要求1所述的方法，其特征在于，所述根据所述特征配置信息、所述数据配置信息、所述模型结构配置信息和所述分布式配置信息在组件层调用目标组件之前，所述方法还包括：在后端层获取模型配置组件；根据所述模型配置组件构建第一组件，所述第一组件包括所述目标组件；将所述第一组件添加至所述组件层。4.根据权利要求3所述的方法，其特征在于，所述根据所述模型配置组件构建第一组件，包括：利用所述模型配置组件构建初始组件；对所述初始组件进行封装处理，得到所述第一组件。5.根据权利要求4所述的方法，其特征在于，所述对所述初始组件进行封装处理，得到所述第一组件，包括：从所述初始组件中获取初始模型构建组件、初始吞吐组件和初始分布式组件；对所述初始模型构建组件进行封...

【专利技术属性】
技术研发人员：李震，蒋云江，桑青园，张克丰，王文生，刘倩欣，原武军，包勇军，
申请(专利权)人：北京京东世纪贸易有限公司，
类型：发明
国别省市：