System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请属于人工智能,具体涉及一种深度学习ai平台、模型训练方法和存储介质。
技术介绍
1、深度学习是人工智能的核心技术之一,其对于促进人工智能发展,打造数字经济新优势具有重要作用。在ai体系中,深度学习位于技术层,起到承上接下作用,居于基础核心地位。
2、目前人工智能商业化在算力、算法和技术方面达到阶段性成熟。但ai应用在产品落地过程中经常会遇到无法大规模扩展的瓶颈,现有技术缺少围绕ai开发过程中所需要的数据处理、模型训练等业务需求提供一站式服务,推动算法技术应用。
技术实现思路
1、为了解决现有技术中的上述问题,本申请提供了一种深度学习ai平台、模型训练方法和存储介质。
2、第一方面,本申请提供一种深度学习ai平台,所述平台包括多个可视化模块,分别为:算法模块、数据模块、项目模块和镜像模块,其中:
3、所述算法模块用于提供可供调用的多种算法,其中所述算法用于搭建模型或处理数据;
4、所述数据模块用于将多个数据按照所属的项目类型,分类存储;
5、所述镜像模块用于管理根据项目类型分类存储的多个镜像,其中,所述多个镜像是根据训练后的模型封装得到的,同时所述多个镜像用于调用封装的模型对输入的数据进行预测;
6、所述项目模块用于根据目标项目所属的项目类型从所述数据模块中调用对应的目标数据,并根据所述目标数据训练所述目标项目适配的镜像中封装的模型,并更新获取新的镜像,同时调用所述新的镜像完成数据推理。
7、在
8、所述创建分模块用于创建目标项目,并标注所述目标项目的所属项目类型;
9、所述测试分模块用于导入所述目标项目适配的目标数据,对所述目标数据进行深入处理,并根据深入处理后的终目标数据训练所述目标项目适配的镜像中封装的模型,并更新获取新的镜像,同时调用所述新的镜像完成数据推理。
10、在一种可能的实施方式中,所述测试分模块包含数据集管理块,用于:
11、供用户手动导入所述目标数据,或,根据所述目标项目所属的项目类型从所述数据模块导入所述目标数据;
12、通过挖掘算法从所述目标数据中挖掘候选数据,并对所述候选数据进行标注处理,获取所述终目标数据,其中,所述标注处理可手动标注或根据创建的标注文件自动标注。
13、在一种可能的实施方式中,所述测试分模块还包括模型训练块,用于:
14、根据所述目标项目和所述目标项目所属的项目类型,获取预训练模型;
15、根据所述终目标数据训练所述预训练模型,获取适配所述目标项目的目标模型。
16、在一种可能的实施方式中,所述模型训练块,具体用于:
17、根据所述目标项目所属的项目类型从所述镜像模块中获取适配的目标镜像,以及所述目标镜像中封装的所述预训练模型;
18、根据所述目标项目的项目要求从所述终目标数据中获取训练集、验证集和测试集,根据所述训练集训练所述预训练模型,并根据所述验证集比对所述预训练模型的训练效果后,获取所述目标模型并更新所述目标镜像。
19、在一种可能的实施方式中,所述测试分模块还包括结果分析块,用于:
20、根据所述目标模型推理所述测试集,并通过结果比对分析所述目标模型的在不同数据环境下的效果。
21、第二方面,本申请还提供一种模型训练方法,所述方法包括:
22、对目标项目对应的目标数据进行挖掘和标注处理,并更新训练集;
23、根据更新后的训练集训练所述目标项目对应的目标镜像中封装的预训练模型,并通过验证集获取本次模型的训练效果,根据所述训练效果确定是否需要对训练后的预训练模型继续训练迭代,其中,每个目标镜像的验证集确定后不再变更;
24、若确定无需继续训练,根据最后一次训练过程获取目标模型,并则根据所述目标模型推理测试集,根据推理结果评价所述目标模型的在不同数据环境下的效果。
25、在一种可能的实施方式中,所述对目标项目对应的目标数据进行挖掘和标注处理,并更新训练集之前,所述方法还包括:
26、引入外部数据集,根据所述外部数据集对目标项目对应的目标镜像中封装的预训练模型进行初训练,并根据初训练后的预训练模型输出的数据更新目标数据。
27、在一种可能的实施方式中,所述根据推理结果评价所述目标模型的在不同数据环境下的效果之后,所述方法还包括:
28、若所述目标模型的在不同数据环境下的效果符合要求,则根据所述目标模型更新所述目标镜像,并关联存储。
29、第三方面,本申请还提供一种计算机存储介质,所述计算机存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如第二方面任意一项所述的模型训练方法。
30、第四方面,本申请提供一种电子设备,包括:至少一个处理器和存储器,其中:
31、所述存储器用于存储计算机执行指令;
32、所述至少一个处理器用于执行所述存储器存储的计算机执行指令,使得所述至少一个处理器执行如第二方面任一项所述的模型训练方法。
33、第五方面,本申请还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时,可实现如前述任一项所述的模型训练方法的步骤。
34、本申请提供一种深度学习ai平台、模型训练方法和存储介质,围绕ai开发过程中所需要的数据处理、模型训练等业务,将该过程流程化可视化的通过多个模块展现,提供一站式服务平台。通过上述平台,为算法人员提供端到端的算法研发工具,围绕ai开发过程中所需要数据处理、模型训练等业务需求提供一站式服务,推动算法技术进步。
本文档来自技高网...【技术保护点】
1.一种深度学习AI平台,其特征在于,所述平台包括多个可视化模块,分别为:算法模块、数据模块、项目模块和镜像模块,其中:
2.根据权利要求1所述的平台,其特征在于,所述项目模块包括:创建分模块和测试分模块,其中:
3.根据权利要求2所述的平台,其特征在于,所述测试分模块包含数据集管理块,用于:
4.根据权利要求3所述的平台,其特征在于,所述测试分模块还包括模型训练块,用于:
5.根据权利要求4所述的平台,其特征在于,所述模型训练块,具体用于:
6.根据权利要求5所述的平台,其特征在于,所述测试分模块还包括结果分析块,用于:
7.一种应用于如权利要求1-6任一项所述的深度学习AI平台的模型训练方法,其特征在于,所述方法包括:
8.根据权利要求7所述的方法,其特征在于,所述对目标项目对应的目标数据进行挖掘和标注处理,并更新训练集之前,所述方法还包括:
9.根据权利要求8所述的方法,其特征在于,所述根据推理结果评价所述目标模型的在不同数据环境下的效果之后,所述方法还包括:
10.
...【技术特征摘要】
1.一种深度学习ai平台,其特征在于,所述平台包括多个可视化模块,分别为:算法模块、数据模块、项目模块和镜像模块,其中:
2.根据权利要求1所述的平台,其特征在于,所述项目模块包括:创建分模块和测试分模块,其中:
3.根据权利要求2所述的平台,其特征在于,所述测试分模块包含数据集管理块,用于:
4.根据权利要求3所述的平台,其特征在于,所述测试分模块还包括模型训练块,用于:
5.根据权利要求4所述的平台,其特征在于,所述模型训练块,具体用于:
6.根据权利要求5所述的平台,其特征在于,所述测试分模块还包括结...
【专利技术属性】
技术研发人员:展波,薛莲,闫志飞,盛国军,王勇,闫宗奎,侯珍凯,
申请(专利权)人:卡奥斯物联科技股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。