业务模型的跨境流转方法、装置及存储介质制造方法及图纸

本说明书实施例涉及大数据技术领域，具有公开了一种业务模型的跨境流转方法、装置及存储介质，通过预先构建实现文件单向流转的文件传输机制，并将该文件传输机制作为代理节点独立部署在开发、测试、生产等对应的业务环境中，从而可以按照最小需求原则，仅开通必要的文件传输端口，即可实现模型文件的跨环境传输。通过本说明书提供的文件传输机制及部署方式，可以避免暴露各业务环境关键节点的地址信息，提高传输的安全性以及准确性。高传输的安全性以及准确性。高传输的安全性以及准确性。

【技术实现步骤摘要】
业务模型的跨境流转方法、装置及存储介质


[0001]本说明书涉及大数据
，特别地，涉及一种业务模型的跨境流转方法、装置及存储介质。

技术介绍

[0002]MLOps(Machine Learning Operations，机器学习操作)系统是一种实现大数据模型全生命周期集成化管理的解决方案。该系统主要包括三部分，分别是为大数据建模分析而准备数据的应用程序、执行计算和分析的工具、以及自动移动大数据模型和生命周期中关联数据的工具，涵盖模型开发、测试、生产等全部流转环节，能够有效降低模型落地成本，缩短建模周期，提升模型交付效率。
[0003]业界内不同业务背景的公司部署模型时会采用不同的MLOps模式。银行等金融机构尤为重视数据与技术安全，使得其模型构建以及交付过程更加复杂、安全性要求更高。通常，金融机构的模型构建以及交付需按照生产建模、开发对接、测试、生产部署四个环节进行，并采用开发、测试、生产三套独立运行的环境分别支撑对应环节的部署任务，模型及关联数据需经过跨环境流转交付到其他环境的模型仓库中。同时，各环境之间的防火墙除开通必要端口外均完全隔离，各环境的火墙开通需遵循最小需求原则，不能暴露关键节点IP信息，以满足安全管控的需求。
[0004]在这种模式下，MLOps系统的自动移动大数据模型和生命周期中关联数据的工具就必须满足模型跨环境安全流转和部署的需要，确保模型以及配套元数据等信息的安全性，避免出现模型泄露等问题。

技术实现思路

[0005]本说明书实施例的目的在于提供一种业务模型的跨境流转方法、装置及存储介质，可以提高业务模型文件跨环境流转的安全性以及准确性。
[0006]本说明书提供一种业务模型的跨境流转方法、装置及存储介质是包括如下方式实现的：
[0007]一种业务模型的跨境流转方法，所述方法应用于跨境流转装置，所述装置部署在业务系统的业务环境中，所述装置至少包括调度模块、关联数据拉取模块、文件传输模块、文件接收模块；以接收模型跨环境转出请求的业务环境作为第一业务环境，以接收模型跨环境转入请求的业务环境作为第二业务环境；所述方法包括：第一业务环境的调度模块接收模型跨环境转出请求；所述转出请求至少包括转出模型的模型参数信息以及第二业务环境的环境参数信息；第一业务环境的调度模块生成所述转出请求的第一任务标识，并将所述模型参数信息以及环境参数信息与所述第一任务标识关联后存储至数据库中，得到第一任务记录；以及将所述第一任务标识传输给第一业务环境的拉取模块；第一业务环境的拉取模块依据接收的所述第一任务标识所关联的第一任务记录，从第一业务环境的模型仓库中拉取对应的模型文件至第一指定目录中；并将所述模型文件的名称以及第一指定目录写
入所述第一任务记录中；以及将所述第一任务标识传输给第一业务环境的文件传输模块；第一业务环境的文件传输模块依据接收的所述第一任务标识所关联的第一任务记录，从所述第一指定目录中调取模型文件并传输给第二业务环境的文件接收模块，以使第二业务环境的文件接收模块将模型文件存储至第二业务环境的模型仓库中。
[0008]另一方面，本说明书实施例还提供一种业务模型的跨境流转装置，所述装置部署在业务系统的业务环境中，所述装置至少包括调度模块、关联数据拉取模块、文件传输模块、文件接收模块；以接收模型跨环境转出请求的业务环境作为第一业务环境，以接收模型跨环境转入请求的业务环境作为第二业务环境；第一业务环境的调度模块用于接收模型跨环境转出请求；所述转出请求至少包括待转出模型的模型参数信息以及第二业务环境的环境参数信息；以及，还用于生成所述转出请求的第一任务标识，并将所述模型参数信息以及环境参数信息与所述第一任务标识关联后存储至数据库中，得到第一任务记录；以及还用于将所述第一任务标识传输给第一业务环境的拉取模块；第一业务环境的拉取模块用于依据接收的所述第一任务标识所关联的第一任务记录，从当前业务环境的模型仓库中拉取对应的模型文件至第一指定目录中；并将所述模型文件的名称以及第一指定目录写入所述第一任务记录中；以及还用于将所述第一任务标识传输给第一业务环境的文件传输模块；第一业务环境的文件传输模块用于依据接收的所述第一任务标识所关联的第一任务记录，从所述第一指定目录中调取模型文件并传输给第二业务环境的文件接收模块，以使第二业务环境的文件接收模块将模型文件存储至第二业务环境的模型仓库中。
[0009]另一方面，本说明书实施例还提供一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现上述任意一个或者多个实施例所述方法的步骤。
[0010]本说明书一个或多个实施例提供的业务模型的跨境流转方法、装置及存储介质，通过预先构建实现文件单向流转的文件传输机制，并将该文件传输机制作为代理节点独立部署在开发、测试、生产等对应的业务环境中，从而可以按照最小需求原则，仅开通必要的文件传输端口，即可实现模型文件的跨环境传输。通过本说明书提供的文件传输机制及部署方式，可以避免暴露各业务环境关键节点的地址信息，提高传输的安全性以及准确性。
附图说明
[0011]为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：
[0012]图1为本说明书提供的业务模型的跨境流转装置的模块结构示意图；
[0013]图2为本说明书提供的业务模型的跨境流转方法的流程示意图；
[0014]图3为本说明书提供的业务模型的跨境流转方法的流程示意图。
具体实施方式
[0015]为了使本
的人员更好地理解本说明书中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是说明书一部分实施例，而不是全部的实施例。基于说
明书一个或多个实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书实施例方案保护的范围。
[0016]本说明书的一个场景示例中，如图1所示，本说明书提供一种业务模型的跨境流转装置，所述装置可以部署在业务系统的业务环境中。所述业务环境如可以为开发环境、测试环境以及生产环境等。
[0017]所述装置可以包括调度模块1、拉取模块2、加密模块3、文件传输模块4、传输通知模块5、文件接收模块6、解密模块7、推送模块8、日志记录模块9，其中调度模块1、拉取模块2、加密模块3、文件传输模块4、传输通知模块5、文件接收模块6、解密模块7、推送模块8均通过总线10与日志记录模块9相连，调度模块1与拉取模块2相连，调度模块1与文件接收模块6相连，拉取模块2与加密模块3相连，加密模块3与文件传输模块4相连，文件传输模块4与传输通知模块5相连，文件接收模块6与解密模块7相连，解密模块7与推送模块8相连本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种业务模型的跨境流转方法，其特征在于，所述方法应用于跨境流转装置，所述装置部署在业务系统的业务环境中，所述装置至少包括调度模块、关联数据拉取模块、文件传输模块、文件接收模块；以接收模型跨环境转出请求的业务环境作为第一业务环境，以接收模型跨环境转入请求的业务环境作为第二业务环境；所述方法包括：第一业务环境的调度模块接收模型跨环境转出请求；所述转出请求至少包括转出模型的模型参数信息以及第二业务环境的环境参数信息；第一业务环境的调度模块生成所述转出请求的第一任务标识，并将所述模型参数信息以及环境参数信息与所述第一任务标识关联后存储至数据库中，得到第一任务记录；以及将所述第一任务标识传输给第一业务环境的拉取模块；第一业务环境的拉取模块依据接收的所述第一任务标识所关联的第一任务记录，从第一业务环境的模型仓库中拉取对应的模型文件至第一指定目录中；并将所述模型文件的名称以及第一指定目录写入所述第一任务记录中；以及将所述第一任务标识传输给第一业务环境的文件传输模块；第一业务环境的文件传输模块依据接收的所述第一任务标识所关联的第一任务记录，从所述第一指定目录中调取模型文件并传输给第二业务环境的文件接收模块，以使第二业务环境的文件接收模块将模型文件存储至第二业务环境的模型仓库中。2.根据权利要求1所述的方法，其特征在于，所述装置还包括传输通知模块，所述方法还包括：第一业务环境的文件传输模块在接收到传输成功的指令后，将所述第一任务标识发送给第一业务环境的传输通知模块；第一业务环境的传输通知模块依据接收的所述第一任务标识所关联的第一任务记录，向第二业务环境的调度模块发送模型跨环境转入请求；所述转入请求至少包括转入模型的模型参数数据以及第一业务环境的环境参数数据；第二业务环境的调度模块在基于第一业务环境的环境参数数据确定所述转入请求合法后，将所述转入模型的模型参数数据传递给第二业务环境的文件接收模块；第二业务环境的文件接收模块将所述转入模型的模型参数数据所对应的模型文件存储至第二业务环境的模型仓库中。3.根据权利要求2所述的方法，其特征在于，所述第一业务环境的环境参数数据包括第一业务环境的跨境流转装置所在的服务器地址；相应的，第二业务环境的调度模块校验所述服务器地址是否属于服务器地址白名单中，如果在白名单中，则确定所述转入请求合法。4.根据权利要求2所述的方法，其特征在于，所述方法还包括：第二业务环境的文件接收模块将接收到的模型文件存储至第二指定目录中；并生成第二任务标识，并将所述接收到的模型文件的名称以及所述第二指定目录与所述第二任务标识关联后存储至数据库中，得到第二任务记录；相应的，第二业务环境的文件接收模块在接收到所述转入模型的模型参数数据后，读取接收的所述模型参数数据所对应的第二任务记录，以基于所述第二任务记录将所述第二指定目录中模型文件存储至第二业务环境的模型仓库中。5.根据权利要求4所述的方法，其特征...

【专利技术属性】
技术研发人员：马超，崔洋，彭岗，殷文莉，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：