【技术实现步骤摘要】
基于深度学习框架生成和应用深度学习模型的方法及装置
[0001]本公开涉及计算机
,尤其涉及一种基于深度学习框架生成和应用深度学习模型的方法及装置。
技术介绍
[0002]随着人工智能技术的发展,越来越多的企业使用深度学习框架开发深度学习模型解决各自业务场景的问题。典型流程是:业务需求方根据自身的业务场景提出需求,算法工程师选择合适的基础算法,准备合适的数据,使用深度学习框架经过数据处理、算法优化、参数优化、模型训练等一系列动作训练出符合需求的深度学习模型,并且部署到实际的业务生产环境中,最终业务上线。
[0003]但是采用上述方案解决问题时,人工处理的过程过于繁琐,且经过人工处理后得到的算法,可能会存在业务环境不适配的问题。
[0004]针对上述的问题,目前尚未提出有效的解决方案。
技术实现思路
[0005]本公开提供了一种基于深度学习框架生成和应用深度学习模型的方法及装置。
[0006]根据本公开的一方面,提供了一种基于深度学习框架生成和应用深度学习模型的方法,包括:在目标设 ...
【技术保护点】
【技术特征摘要】
1.一种基于深度学习框架生成和应用深度学习模型的方法,包括:在目标设备上构建基础运行环境,其中,所述基础运行环境为深度学习模型的整体生成过程提供环境准备;按照业务需求和/或硬件需求,在所述基础运行环境中生成所述深度学习模型的基础功能,得到第一处理结果;基于所述第一处理结果在所述基础运行环境中生成所述深度学习模型的扩展功能,得到第二处理结果;利用预设测试脚本对所述第二处理结果进行功能测试,输出测试结果。2.根据权利要求1所述的方法,其中,在所述目标设备上构建所述基础运行环境包括:获取所述目标设备的硬件配置信息;基于所述硬件配置信息,确定所述目标设备的软件配置信息;利用所述硬件配置信息和所述软件配置信息,构建所述基础运行环境。3.根据权利要求2所述的方法,其中,基于所述硬件配置信息,确定所述目标设备的软件配置信息包括:基于所述硬件配置信息,确定所述目标设备的操作系统信息、深度学习框架信息、模型库信息、预训练模型以及所述预训练模型对应的训练数据与预测数据。4.根据权利要求1所述的方法,其中,按照所述业务需求和所述硬件需求,在所述基础运行环境中生成所述深度学习模型的基础功能,得到所述第一处理结果包括:确定所述深度学习模型的整体生成过程中所包含的多个处理环节,其中,所述多个处理环节用于开发、训练和推理所述深度学习模型;按照所述业务需求和/或所述硬件需求,在所述基础运行环境中生成所述多个处理环节中每个处理环节的基础功能,得到所述第一处理结果。5.根据权利要求4所述的方法,其中,按照所述业务需求和/或所述硬件需求,在所述基础运行环境中生成所述多个处理环节中每个处理环节的基础功能,得到所述第一处理结果包括:按照所述业务需求在所述基础运行环境中生成所述多个处理环节中第一部分处理环节的基础功能,得到第三处理结果;按照所述硬件需求在所述基础运行环境中生成所述多个处理环节中第二部分处理环节的基础功能,得到第四处理结果;按照所述业务需求和所述硬件需求在所述基础运行环境中生成所述多个处理环节中第三部分处理环节的基础功能,得到第五处理结果;利用所述第三处理结果、所述第四处理结果和所述第五处理结果生成所述多个处理环节中每个处理环节的基础功能,得到所述第一处理结果。6.根据权利要求5所述的方法,其中,按照所述业务需求在所述基础运行环境中生成所述第一部分处理环节的基础功能,得到所述第三处理结果包括:按照所述业务需求从模型库中选取在所述基础运行环境中待使用的模型算法;按照所述业务需求选取在所述基础运行环境中待使用的模型压缩方式;按照所述业务需求选取在所述基础运行环境中待使用的预测部署方式;将所述模型算法、所述模型压缩方式和所述预测部署方式确定为所述第三处理结果。
7.根据权利要求5所述的方法,其中,按照所述硬件需求在所述基础运行环境中生成所述多个处理环节中第二部分处理环节的基础功能,得到所述第四处理结果包括:按照所述硬件需求配置在所述基础运行环境中待使用的第一软硬件环境和第二软硬件环境,其中,所述第一软硬件环境为模型训练所使用的软硬件环境,所述第二软硬件环境为模型推理部署所使用的软硬件环境;将所述第一软硬件环境与所述第二软硬件环境确定为所述第四处理结果。8.根据权利要求5所述的方法,其中,按照所述业务需求和所述硬件需求在所述基础运行环境中生成所述多个处理环节中第三部分处理环节的基础功能,得到所述第五处理结果包括:按照所述业务需求和所述硬件需求选取在所述基础运行环境中待使用的模型训练方式;将所述模型训练方式确定为所述第五处理结果。9.根据权利要求4所述的方法,其中,所述多个处理环节包括:模型算法选择环节;模型训练软硬件环境配置环节;模型训练方式选择环节;模型压缩方式选择环节;模型训练环节;模型保存环节;模型预测部署方式选择环节;模型推理部署软硬件环境配置环节。10.根据权利要求4所述的方法,其中,基于所述第一处理结果在所述基础运行环境中生成所述深度学习模型的扩展功能,得到所述第二处理结果包括:基于所述第一处理结果,在所述多个处理环节中每个处理环节中添加除所述基础功能之外的所述扩展功能,确定每个处理环节对应的多种待选择功能;分别从每个处理环节对应的多种待选择功能中选取任一种功能进行组合并执行所述深度学习模型的整体生成过程,得到所述第二处理结果。11.根据权利要求10所述的方法,其中,分别从每个处理环节对应的多种待选择功能中选取任一种功能进行组合并执行所述深度学习模型的整体生成过程,得到所述第二处理结果包括:在模型算法选择环节中随机选取待组合模型算法;在模型训练软硬件环境配置环节中随机确定第一待组合软硬件环境;在模型训练方式选择环节中随机选取待组合模型训练方式;在模型压缩方式选择环节中随机选取待组合模型压缩方式;在模型预测部署方式选择环节中随机选取待组合模型预测部署方式;在模型推理部署软硬件环境配置环节中随机确定第二待组合软硬件环境;对所述待组合模型算法、所述第一待组合软硬件环境、所述待组合模型训练方式、所述待组合模型压缩方式、所述待组合模型预测部署方式以及所述第二待组合软硬件环境进行组合并执行模型训练、训练以及推理整个生成过程,得到所述第二处理结果,直至每个处理
环节对应的多种待选择功能中各种组合全部执行完毕。12.根据权利要求4所述的方法,其中,利用所述预设测试脚本对所述第二处理结果进行功能测试,输出所述测试结果包括:利用所述预设测试脚本在所述深度学习模型的整体生成过程中设置至少一个测试点位;基于所述至少一个测试点位对所述第二处理结果进行功能测试,输出所述测试结果。13.根据权利要求12所述的方法,其中,所述第二处理结果包括:所述多个处理环节中每个处理环节对应的多种待选择功能中各种组合,基于所述至少一个测试点位对所述第二处理结果进行功能测试,输出所述测试结果包括:基于所述至少一个测试点位分别对每个处理环节对应的多种待选择功能中各种组合进行功能测试,输出所述测试结果。14.根据权利要求12所述的方法,其中,所述测试结果包括:所述深度学习模型的标识信息;所述深度学习模型关联的软硬件配置信...
【专利技术属性】
技术研发人员:吴甜,马艳军,于佃海,杨烨华,杜宇宁,
申请(专利权)人:北京百度网讯科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。