基于深度学习的应用上线方法、系统、设备及介质技术方案

本发明专利技术公开一种基于深度学习的应用上线方法、系统、设备及介质。该方法包括：部署在生产网络下的数据样本管理系统，获取生产数据；互式代码编写平台，访问生产数据，获取目标项目代码；模型训练流水线平台，调度系统计算资源运行目标项目代码对生产数据进行处理，获取有效深度学习模型；模型检查推送模块将有效深度学习模型和模型版本信息发送给处于测试网络下的测试管理区中的模型仓库；模型仓库基于模型版本信息，对有效深度学习模型进行版本管理；功能测试平台，对有效深度学习模型进行功能测试，获取目标深度学习模型；模型推理服务应用，将目标深度学习模型部署到目标应用中。该方法可保障目标深度学习模型的模型准确率，避免生产数据泄漏。

【技术实现步骤摘要】
基于深度学习的应用上线方法、系统、设备及介质
本专利技术涉及深度学习
，尤其涉及一种基于深度学习的应用上线方法、系统、设备及介质。
技术介绍
众所周知，传统IT架构中，应用程序的部署，依赖于依次上线开发、测试和生成环境的全流程，其根据开发人员在开发环境编写代码，通过代码管理平台提交代码；测试人员在测试环境部署代码，并进行相应的测试；在测试通过之后，由运维人员将测试通过的代码部署在生产环境中。由于生产数据的敏感性和保密性，生产环境的数据和代码只依赖于运维人员根据既定的操作步骤进行更改，开发人员不能进行任何操作。在深度学习项目中，开发人员需要对生产数据进行分析处理，如统计分析和筛选等处理过程需与生产进行交互，使得传统IT架构不能适应深度学习项目，使得当前深度学习项目的应用开发过程，需在生产环境外，构造与生产数据的数据结构一致的伪数据进行模型训练，虽然伪数据与生产数据可以保持数据结构的一致上，但在分布上会存在一定的差异，从而导致训练出的深度学习模型在生产数据上难以达到预期的效果。
技术实现思路
本专利技术实施例提供一种基于深度学习的应用上线方法、系统、设备及介质，以解决当前基于深度学习项目的应用无法在保障生产数据安全的情况下，采用生产数据进行模型训练的效果不佳的问题。一种基于深度学习的应用上线方法，包括：采用部署在生产网络下的生产核心区中的数据样本管理系统，从业务系统中获取与目标学习项目相对应的生产数据，将所述生产数据发送给处于所述生产网络下的生产训练区的模型训练流水线平台；采用部署在生产网络下的生产训练区中的交互式代码编写平台，访问所述生产训练区的模型训练流水线平台中的生产数据，获取所述目标学习项目对应的目标项目代码，将所述目标项目代码发送给所述模型训练流水线平台；采用部署在生产网络下的生产训练区中的模型训练流水线平台，调度系统计算资源运行所述目标项目代码，对所述生产数据进行数据预处理、模型训练和模型验证，获取有效深度学习模型，将所述有效深度学习模型发送给所述生产训练区的模型检查推送模块；采用部署在生产网络下的生产训练区中的模型检查推送模块，基于所述目标项目代码和所述生产数据，确定模型版本信息，将所述有效深度学习模型和所述模型版本信息发送给处于测试网络下的测试管理区中的模型仓库；采用测试网络下的测试管理区中的模型仓库，接收所述生产训练区的模型检查推送模块发送的有效深度学习模型和所述模型版本信息，基于所述模型版本信息，对所述有效深度学习模型进行版本管理；采用部署在测试网络的功能测试区中的功能测试平台，从所述测试管理区的模型仓库中调用所述有效深度学习模型，对所述有效深度学习模型进行功能测试，获取测试成功的目标深度学习模型，将所述目标深度学习模型发送给生产网络下的生产核心区中的模型推理服务应用；采用部署在生产网络下的生产核心区中的模型推理服务应用，将所述目标深度学习模型部署到目标应用中。一种基于深度学习的应用上线系统，包括：数据样本管理系统，部署在生产网络下的生产核心区中，用于从业务系统中获取与目标学习项目相对应的生产数据，将所述生产数据发送给处于所述生产网络下的生产训练区的模型训练流水线平台；交互式代码编写平台，部署在生产网络下的生产训练区中，用于访问所述生产训练区的模型训练流水线平台中的生产数据，获取所述目标学习项目对应的目标项目代码，将所述目标项目代码发送给所述模型训练流水线平台；模型训练流水线平台，部署在生产网络下的生产训练区中，用于调度系统计算资源运行所述目标项目代码，对所述生产数据进行数据预处理、模型训练和模型验证，获取有效深度学习模型，将所述有效深度学习模型发送给所述生产训练区的模型检查推送模块；模型检查推送模块，部署在生产网络下的生产训练区中，用于基于所述目标项目代码和所述生产数据，确定模型版本信息，将所述有效深度学习模型和所述模型版本信息发送给处于测试网络下的测试管理区中的模型仓库；模型仓库，部署在测试网络下的测试管理区中，用于接收所述生产训练区的模型检查推送模块发送的有效深度学习模型和所述模型版本信息，基于所述模型版本信息，对所述有效深度学习模型进行版本管理；功能测试平台，部署在测试网络的功能测试区中，用于从所述测试管理区的模型仓库中调用所述有效深度学习模型，对所述有效深度学习模型进行功能测试，获取测试成功的目标深度学习模型，将所述目标深度学习模型发送给生产网络下的生产核心区中的模型推理服务应用；模型推理服务应用，部署在生产网络下的生产核心区中，用于将所述目标深度学习模型部署到目标应用中。一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于深度学习的应用上线方法。一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于深度学习的应用上线方法。上述基于深度学习的应用上线方法、系统、设备及介质，所述生产网络下的生产核心区中的数据样本管理系统，将生产数据单向传输给生产网络下的生产训练区的模型训练流水线平台，以使生产网络下的生产训练区的交互式代码编写平台，可访问模型训练流水线平台中存储的生产数据，了解生产数据的特征，以编写目标项目代码，保障在了解生产数据的前提下进行编写目标项目代码，提高目标项目代码编写的有效性和后续训练所得的模型准确性。在模型训练流水线平台上调度系统计算资源运行所述目标项目代码，对所述生产数据进行数据预处理、模型训练和模型验证，获取有效深度学习模型，使得数据预处理、模型训练和模型验证过程中，不存在生产数据从生产网络泄漏的问题，以保障生产数据安全。部署在所述生产训练区的模型检查推送模块，只将有效深度学习模型和模型版本信息发送给处于测试网络下的测试管理区中的模型仓库，避免生产数据从生产环境泄漏到测试环境所导致的安全风险。部署在所述测试网络的功能测试区中的功能测试平台，对模型仓库中获取的有效深度学习模型进行功能测试，获取测试成功的目标深度学习模型，再通过生产网络下的生产核心区中的模型推理服务应用，部署到目标应用中，完成目标深度学习模型部署到所述目标应用的处理流程，整个处理流程不存在生产数据流出生产网络所在的生产环境以外的安全风险，又可以保障目标深度学习模型是基于生产数据训练确定的，提高目标深度学习模型的模型准确率。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一实施例中基于深度学习的应用上线系统的一示意图；图2是本专利技术一实施例中基于深度学习的应用上线方法的一流程图；图3是本专利技术一实施例中基于深度学习的应用上线方法的一流程图；图4是本专利技术一实施例中计算机设备的一示意本文档来自技高网...

【技术保护点】
1.一种基于深度学习的应用上线方法，其特征在于，包括：/n采用部署在生产网络下的生产核心区中的数据样本管理系统，从业务系统中获取与目标学习项目相对应的生产数据，将所述生产数据发送给处于所述生产网络下的生产训练区的模型训练流水线平台；/n采用部署在生产网络下的生产训练区中的交互式代码编写平台，访问所述生产训练区的模型训练流水线平台中的生产数据，获取所述目标学习项目对应的目标项目代码，将所述目标项目代码发送给所述模型训练流水线平台；/n采用部署在生产网络下的生产训练区中的模型训练流水线平台，调度系统计算资源运行所述目标项目代码，对所述生产数据进行数据预处理、模型训练和模型验证，获取有效深度学习模型，将所述有效深度学习模型发送给所述生产训练区的模型检查推送模块；/n采用部署在生产网络下的生产训练区中的模型检查推送模块，基于所述目标项目代码和所述生产数据，确定模型版本信息，将所述有效深度学习模型和所述模型版本信息发送给处于测试网络下的测试管理区中的模型仓库；/n采用部署在测试网络下的测试管理区中的模型仓库，接收所述生产训练区的模型检查推送模块发送的有效深度学习模型和所述模型版本信息，基于所述模型版本信息，对所述有效深度学习模型进行版本管理；/n采用部署在测试网络的功能测试区中的功能测试平台，从所述测试管理区的模型仓库中调用所述有效深度学习模型，对所述有效深度学习模型进行功能测试，获取测试成功的目标深度学习模型，将所述目标深度学习模型发送给生产网络下的生产核心区中的模型推理服务应用；/n采用部署在生产网络下的生产核心区中的模型推理服务应用，将所述目标深度学习模型部署到目标应用中。/n...

【技术特征摘要】
1.一种基于深度学习的应用上线方法，其特征在于，包括：
采用部署在生产网络下的生产核心区中的数据样本管理系统，从业务系统中获取与目标学习项目相对应的生产数据，将所述生产数据发送给处于所述生产网络下的生产训练区的模型训练流水线平台；
采用部署在生产网络下的生产训练区中的交互式代码编写平台，访问所述生产训练区的模型训练流水线平台中的生产数据，获取所述目标学习项目对应的目标项目代码，将所述目标项目代码发送给所述模型训练流水线平台；
采用部署在生产网络下的生产训练区中的模型训练流水线平台，调度系统计算资源运行所述目标项目代码，对所述生产数据进行数据预处理、模型训练和模型验证，获取有效深度学习模型，将所述有效深度学习模型发送给所述生产训练区的模型检查推送模块；
采用部署在生产网络下的生产训练区中的模型检查推送模块，基于所述目标项目代码和所述生产数据，确定模型版本信息，将所述有效深度学习模型和所述模型版本信息发送给处于测试网络下的测试管理区中的模型仓库；
采用部署在测试网络下的测试管理区中的模型仓库，接收所述生产训练区的模型检查推送模块发送的有效深度学习模型和所述模型版本信息，基于所述模型版本信息，对所述有效深度学习模型进行版本管理；
采用部署在测试网络的功能测试区中的功能测试平台，从所述测试管理区的模型仓库中调用所述有效深度学习模型，对所述有效深度学习模型进行功能测试，获取测试成功的目标深度学习模型，将所述目标深度学习模型发送给生产网络下的生产核心区中的模型推理服务应用；
采用部署在生产网络下的生产核心区中的模型推理服务应用，将所述目标深度学习模型部署到目标应用中。


2.如权利要求1所述的基于深度学习的应用上线方法，其特征在于，所述采用部署在生产网络下的生产核心区中的数据样本管理系统，从业务系统中获取与所述目标学习项目相对应的生产数据，将所述生产数据发送给处于所述生产网络下的生产训练区的模型训练流水线平台，包括：
采用部署在生产网络下的生产核心区中的数据样本管理系统，从业务系统中获取与所述目标学习项目相对应的生产数据，判断所述生产数据是否包括客户敏感信息；
若所述生产数据包含客户敏感信息，则获取所述生产数据对应的权限验证信息，将所述生产数据和所述权限验证信息发送给处于所述生产网络下的生产训练区的模型训练流水线平台。


3.如权利要求1所述的基于深度学习的应用上线方法，其特征在于，所述采用部署在生产网络下的生产训练区中的交互式代码编写平台，访问所述生产训练区的模型训练流水线平台中的生产数据，获取所述目标学习项目对应的目标项目代码，包括：
采用部署在生产网络下的生产训练区中的交互式代码编写平台，访问所述生产训练区的模型训练流水线平台中的生产数据，获取关注字段对应的字段数值；
对所述关注字段对应的字段数值进行分析，获取所述关注字段对应的字段数值的分布形式；
基于所述关注字段对应的字段数值的分布形式，获取与所述分布形式相对应的数据预处理、模型训练和模型验证的代码，确定为所述目标学习项目的目标项目代码。


4.如权利要求所述的基于深度学习的应用上线方法，其特征在于，所述采用部署在生产网络下的生产训练区中的模型训练流水线平台，调度系统计算资源运行所述目标项目代码，对所述生产数据进行数据预处理、模型训练和模型验证，获取有效深度学习模型，包括：
采用部署在生产网络下的生产训练区中的模型训练流水线平台，调度系统计算资源运行所述目标项目代码，对所述生产数据中每一所述关注字段对应的字段数值进行归一化处理，获取每一所述关注字段对应的归一化数值，根据所有所述关注字段对应的归一化数值，确定训练数据，将所述训练数据划分为训练集和测试集；
将所述训练集中的训练数据输入到目标学习项目对应的深度学习模型网络进行训练，获取原始深度学习模型；
将所述测试集中的训练数据输入到所述原始深度学习模型进行验证，获取有效深度学习模型。


5.如权利要求4所述的基于深度学习的应用上线方法，其特征在于，所述调度系统计算资源运行所述目标项目代码，对所述生产...

【专利技术属性】
技术研发人员：王晟宇，
申请(专利权)人：平安银行股份有限公司，
类型：发明
国别省市：广东;44