本申请实施例提供了一种模型的端侧部署方法、装置、设备及存储介质，涉及人工智能技术领域，该方法包括：云侧接收端侧发送的模型部署请求后，从模型仓库中获取相应的原始模型，然后将原始模型转化为通用格式的目标模型，并对目标模型加密，获得加密模型文件。将加密模型文件、目标模型对应的推理环境依赖和任务调度代码发送至端侧。端侧基于推理环境依赖和任务调度代码，生成目标推理环境；对加密模型文件解密，获得目标模型，并在目标推理环境中运行目标模型进行业务预测，获得业务预测结果，实现模型标准化部署，统一了模型的泛化效果，同时降低模型部署成本。云侧对目标模型加密后再下发至端侧，提高了模型的安全性和防攻击性。性。性。
【技术实现步骤摘要】
一种模型的端侧部署方法、装置、设备及存储介质
[0001]本专利技术涉及人工智能
，尤其涉及一种模型的端侧部署方法、装置、设备及存储介质。
技术介绍
[0002]随着人工智能技术的发展，各类相关模型的应用也越来越广泛。为了提高模型的训练效率，相关技术在云侧对模型进行训练，然后将训练获得的预测模型部署至端侧进行具体的业务预测。
[0003]然而，针对上述由云侧和端侧组成的框架，存在平台间的割裂现象，即各平台框架往往有着自己对应的端侧部署环境，且平台之间并不互通，就导致了最终模型泛化效果的千差万别，且模型部署成本较高。
技术实现思路
[0004]本申请实施例提供了一种模型的端侧部署方法、装置、设备及存储介质，用于统一模型的泛化效果并降低模型部署成本。
[0005]一方面，本申请实施例提供了一种模型的端侧部署方法，应用于云侧，包括：
[0006]接收端侧发送的模型部署请求；
[0007]基于所述模型部署请求，从模型仓库中获取相应的原始模型；
[0008]将所述原始模型转化为通用格式的目标模型，并对所述目标模型加密，获得加密模型文件；
[0009]将所述加密模型文件、所述目标模型对应的推理环境依赖和任务调度代码发送至端侧，以使所述端侧基于所述推理环境依赖和所述任务调度代码，生成目标推理环境；对所述加密模型文件解密，获得所述目标模型，并在所述目标推理环境中运行所述目标模型进行业务预测，获得业务预测结果。
[0010]本申请实施例中，在云侧进行模型训练和转化，可以实现资源的充分利用，减少了端侧的资源消耗。其次，云侧将原始模型转化为通用格式的目标模型，同时将目标模型以及相应的推理环境依赖和任务调度代码，故端侧可以直接基于推理环境依赖和任务调度代码部署推理环境，并运行目标模型，实现模型标准化部署，从而提升了不同平台间的兼容性，以及统一了模型的泛化效果，同时降低模型部署成本。另外，云侧对目标模型加密后再下发至端侧，提高了模型的安全性和防攻击性。
[0011]可选地，所述推理环境依赖包括运行所述目标模型所需的算子列表，所述算子列表是将所述原始模型转化为所述目标模型的过程中记录的。
[0012]可选地，所述对所述目标模型加密，获得加密模型文件，包括：
[0013]将所述目标模型划分为多个文件分片，并采用加密因子对每个文件分片进行加密，获得所述加密模型文件。
[0014]本申请实施例中，将目标模型划分为多个文件分片，对每个分片都进行加密处理，
进一步提升了目标模型的安全性和防攻击性。
[0015]可选地，所述采用加密因子对每个文件分片进行加密，获得所述加密模型文件，包括：
[0016]基于随机数和原始加密串，生成加密密钥；
[0017]针对所述多个文件分片中的第一文件分片，采用所述加密密钥对所述第一文件分片进行加密，获得第一加密文件内容，并在所述第一加密文件内容的头部添加所述随机数，以及在所述第一加密文件内容的尾部添加相应的文件校验码，获得第一加密分片；
[0018]针对除所述第一文件分片之外的每个第二文件分片，采用所述加密密钥对所述第二文件分片进行加密，获得第二加密文件内容，并在所述第二加密文件内容的尾部添加相应的文件校验码，获得第二加密分片；
[0019]基于所述第一加密分片和获得的至少一个第二加密分片，获得所述加密模型文件。
[0020]本申请实施例中，通过对称加密的方式对每个文件分片进行加密，并在每个文件分片的尾部添加文件校验码，在文件校验码校验通过时才可进行解密，使得文件分片的安全性得到了双重提升，从而提升了整体模型的安全性和防攻击性。
[0021]一方面，本申请实施例提供了一种模型的端侧部署方法，应用于端侧，包括：
[0022]向云侧发送模型部署请求，以使所述云侧基于所述模型部署请求，从模型仓库中获取相应的原始模型；以及将所述原始模型转化为通用格式的目标模型，并对所述目标模型加密，获得加密模型文件；
[0023]接收所述云侧发送的所述加密模型文件、所述目标模型对应的推理环境依赖和任务调度代码；
[0024]基于所述推理环境依赖和所述任务调度代码，生成目标推理环境；
[0025]对所述加密模型文件解密，获得所述目标模型，并在所述目标推理环境中运行所述目标模型进行业务预测，获得业务预测结果。
[0026]本申请实施例中，在云侧进行模型训练和转化，可以实现资源的充分利用，减少了端侧的资源消耗。其次，云侧将原始模型转化为通用格式的目标模型，同时将目标模型以及相应的推理环境依赖和任务调度代码，故端侧可以直接基于推理环境依赖和任务调度代码部署推理环境，并运行目标模型，实现模型标准化部署，从而提升了不同平台间的兼容性，以及统一了模型的泛化效果，同时降低模型部署成本。另外，云侧对目标模型加密后再下发至端侧，提高了模型的安全性和防攻击性。
[0027]可选地，所述加密模型文件中包括第一加密分片和至少一个第二加密分片；
[0028]所述对所述加密模型文件解密，获得所述目标模型，包括：
[0029]从所述第一加密分片的头部获得随机数，并基于所述随机数和原始加密串，生成解密密钥；
[0030]对所述第一加密分片的尾部中的文件校验码进行校验，并在校验通过时，采用所述解密密钥对所述第一加密分片中的第一加密文件内容解密，获得第一文件分片；
[0031]针对每个第二加密分片，对所述第二加密分片的尾部中的文件校验码进行校验，并在校验通过时，采用所述解密密钥对所述第二加密分片中的第二加密文件内容解密，获得第二文件分片；
[0032]基于所述第一文件分片和获得的至少一个第二文件分片，获得所述目标模型。
[0033]本申请实施例中，通过先对第一加密分片、第二加密分片进行校验码验证，再决定是否进行解密，进一步提升了目标模型的安全性。
[0034]可选地，所述基于所述推理环境依赖和所述任务调度代码，生成目标推理环境，包括：
[0035]将所述任务调度代码加载于所述端侧的调度容器，将所述推理环境依赖加载于所述端侧的推理引擎，获得目标推理环境。
[0036]本申请实施例中，端侧根据不同的功能加载不同的任务，将任务分开处理，避免了因为功能不同而混淆的问题。
[0037]可选地，所述在所述目标推理环境中运行所述目标模型进行业务预测，获得业务预测结果，包括：
[0038]通过所述调度容器采用标准的模型输入处理流程，对目标业务场景下的推理任务的原始数据进行处理，获得标准格式的模型输入数据，并将所述模型输入数据输入所述推理引擎；
[0039]通过所述推理引擎中的所述目标模型对所述模型输入数据进行预测，获得模型输出结果；
[0040]通过所述调度容器将所述模型输出结果转化为所述目标业务场景下的业务预测结果。
[0041]本申请实施例中，采用调度容器执行模型预测的前处理和后处理。针对不同的任务进行本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种模型的端侧部署方法，应用于云侧，其特征在于,包括：接收端侧发送的模型部署请求；基于所述模型部署请求，从模型仓库中获取相应的原始模型；将所述原始模型转化为通用格式的目标模型，并对所述目标模型加密，获得加密模型文件；将所述加密模型文件、所述目标模型对应的推理环境依赖和任务调度代码发送至端侧，以使所述端侧基于所述推理环境依赖和所述任务调度代码，生成目标推理环境；对所述加密模型文件解密，获得所述目标模型，并在所述目标推理环境中运行所述目标模型进行业务预测，获得业务预测结果。2.根据权利要求1所述的方法，其特征在于，所述推理环境依赖包括运行所述目标模型所需的算子列表，所述算子列表是将所述原始模型转化为所述目标模型的过程中记录的。3.根据权利要求1所述的方法，其特征在于，所述对所述目标模型加密，获得加密模型文件，包括：将所述目标模型划分为多个文件分片，并采用加密因子对每个文件分片进行加密，获得所述加密模型文件。4.根据权利要求3所述的方法，其特征在于，所述采用加密因子对每个文件分片进行加密，获得所述加密模型文件，包括：基于随机数和原始加密串，生成加密密钥；针对所述多个文件分片中的第一文件分片，采用所述加密密钥对所述第一文件分片进行加密，获得第一加密文件内容，并在所述第一加密文件内容的头部添加所述随机数，以及在所述第一加密文件内容的尾部添加相应的文件校验码，获得第一加密分片；针对除所述第一文件分片之外的每个第二文件分片，采用所述加密密钥对所述第二文件分片进行加密，获得第二加密文件内容，并在所述第二加密文件内容的尾部添加相应的文件校验码，获得第二加密分片；基于所述第一加密分片和获得的至少一个第二加密分片，获得所述加密模型文件。5.一种模型的端侧部署方法，应用于端侧，其特征在于,包括：向云侧发送模型部署请求，以使所述云侧基于所述模型部署请求，从模型仓库中获取相应的原始模型；以及将所述原始模型转化为通用格式的目标模型，并对所述目标模型加密，获得加密模型文件；接收所述云侧发送的所述加密模型文件、所述目标模型对应的推理环境依赖和任务调度代码；基于所述推理环境依赖和所述任务调度代码，生成目标推理环境；对所述加密模型文件解密，获得所述目标模型，并在所述目标推理环境中运行所述目标模型进行业务预测，获得业务预测结果。6.根据权利要求5所述的方法，其特征在于，所述加密模型文件中包括第一加密分片和至少一个第二加密分片；所述对所述加密模型文件解密，获得所述目标模型，包括：从所述第一加密分片的头部获得随机数，并基于所述随机数和原始加密串，生成解密密钥；
对所述第一加密分片的尾部中的文件校验码进行校验，并在校验通过时，采用所述解密密钥对所述第一加密分片中的第一加密文件内容解密，获得第一文件分片；针对每个第二加密分片，对所述第二加密分片的尾部中的文件校验码进行校验，并在校验通过时，采用所述解密密钥对所述第二加...
【专利技术属性】
技术研发人员：王伟鹏，卞凯，刘猛，冀乃庚，康家梁，
申请(专利权)人：中国银联股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。