一种多级联动人工智能平台样本模型透明共享装置制造方法及图纸

本发明专利技术提供一种多级联动人工智能平台样本模型透明共享装置，包括：包括：全局目录服务子系统、至少一个样本模型透明共享子系统以及至少一人工智能平台；人工智能平台与所述样本模型透明共享子系统一比一配对部署；每个样本模型透明共享子系统均连接至所述所述全局目录服务子系统；通过全局目录服务子系统维护全部的样本模型目录，确保一致性；通过样本模型透明共享子系统接管来自本地人工智能平台的请求，并通过全局目录服务子系统协同，查询全网数据分布，再通过样本模型透明共享子系统进行样本模型数据的存储以及同步传输，解决跨区域多级人工智能平台海量样本模型数据透明共享、安全共享、高效传输的相关需求。高效传输的相关需求。高效传输的相关需求。

【技术实现步骤摘要】
一种多级联动人工智能平台样本模型透明共享装置


[0001]本专利技术涉及人工智能
，特别涉及一种多级联动人工智能平台样本模型透明共享装置。

技术介绍

[0002]人工智能技术日渐成为推动生产力发展，改变生产作业模式，提高生产效率的关键要素。为支撑人工智能应用的的规模化开发和运行，大型企业也纷纷研发、上线了各自的“人工智能平台”，实现人工智能相关能力的汇总与融合，为包括人脸身份验证、流程机器人、知识检索、风险防控等各类企业人工智能应用场景提供支撑。
[0003]所谓人工智能平台，通常由“两库一平台”构成，及样本库、模型库和运行平台。其中，样本库作为存储和管理各专业、各类型样本资源的组件，依托样本入库、样本预处理、样本标注、样本标签管理和样本服务目录等功能，为人工智能模型训练提供样本资源；模型库作为存储和管理各专业通用和专用模型的组件，提供各类通用及电力专用算法模型，依托模型测试、镜像封装、版本管理、模型上传、模型下载和模型服务目录等功能，为人工智能应用提供智能模型资源；运行平台提供模型导入、模型校验、模型部署、服务发布和云边协同等功能，支撑模型推理和应用集成。
[0004]人工智能平台中包含的各类数据样本、模型，需要投入大量的智力资源和人力劳动制作。无论是外购或自研，都希望能在整个企业范围内集约使用，避免重复采购或研发。另一方面，对于包括中央企业等大型企业而言，其分支生成机构分布在全国乃至全世界，应用人工智能技术的网络环境包括物理隔离的内网、外网及互联网，应用环境包括企业内部和作业现场，从实时访问的性能和应用推广难度等角度考虑，无法靠一套人工智能平台为所有用户提供服务，而需要在不同的分支结构、网络中部署人工智能平台，从而大型企业有很强的意愿打通各个部署点的人工智能平台，实现多级人工智能平台间数据样本和模型文件的透明共享。
[0005]如图1所示，大型企业多级人工智能平台间样本模型透明安全共享需求；针对面向大企业的多级人工智能平台部署及多级平台间样本模型的透明安全共享难点问题，目前存在的技术难点主要包括：
[0006](1)难以透明共享：需要在多级人工智能平台之间(包括总部、地区中心、边缘侧作业现场等)、不同网络之间(内网、外网、互联网)共享所有人工智能模型、样本数据，为所有用户提供统一的目录及访问手段。如何面向大量重复数据存储的情况下，让不同区域的用户可以访问全网的模型和样本，是需要考量的问题；
[0007](2)难以实现安全规范统一遵从：不同级别平台、网络有不同的数据安全规范和特殊装置(防火墙、信息安全隔离装置)，这对实现跨网络级别的模型样本共享带来挑战：不同网络的“密级”要求不同，多级联动的人工智能平台需要满足不同网络区域的密级规范，提供一致、完整的支持。大型企业的网络一般会涉及三种：物理隔离的专有信息网络(内网)、逻辑隔离的专有信息网络(外网)和互联网。在三种网络中，互联网区域不能以任何形式存
储使用涉密数据、外网可以使用及缓存低密级的文件、内网则可以使用及长期保存所有密级文件；
[0008](3)对数据传输的传输性能传输及完整性校验：多级人工智能平台需要传输的数据分两类，一是单体GB级别的模型大文件，二是数量众多但单个文件较小的数据样本文件(如图片、音频等)。在不同级别平台，不同网络环境之间，如何充分利用网络带宽和信息安全隔离装置带宽，实现GB级别大模型和KB级别小样本文件的高效传输共享，也是需要整体考虑的问题。
[0009]因此，大型企业多级人工智能平台间样本模型透明安全共享需要解决的技术问题主要是：如何在多级机构、多类型网络之间，实现超大容量的人工智能模型数据和样本数据的高性能传输、透明共享，并支持通用的安全设备、符合企业安全规定。
[0010]目前，尚未见公开文献有针对大型企业多级人工智能平台间样本模型透明安全共享问题给出整体解决方案。但针对其中涉及的技术问题，包括大文件高性能传输、网络间数据传输等都存在有技术方案。分析如下：
[0011]现有技术方案主要针对大文件，通过文件数据分片及多线程并行传输，解决大文件高性能传输问题。典型的对比文件是专利技术名称为：一种大文件传输方法、装置及系统，申请号为：202011337777.9，其将大文件传输分解为文件分片、多线程传输、基于文件标识的合并三个环节完成；该方案较好提升了大文件传输的性能、降低失败率。但没有解决文件完整性保证，或完整性保证所涉及的数字摘要计算较为耗时的问题。
[0012]综上所述，目前尚未见公开文献有针对大型企业多级人工智能平台间样本模型透明安全共享问题给出整体解决方案；涉及的海量文件的高性能传输技术、网间数据双向交换技术等，不能完全满足本专利技术背景中指出的数据高效传输、安全合规、透明共享方面存在的问题现状，对大型企业人工智能平台多级部署的相关问题均不完全适用。

技术实现思路

[0013]本专利技术要解决的技术问题，在于提供一种多级联动人工智能平台样本模型透明共享装置，解决跨区域多级人工智能平台海量样本模型数据透明共享、安全共享、高效传输的相关需求。
[0014]本专利技术提供了一种多级联动人工智能平台样本模型透明共享装置，包括：全局目录服务子系统、至少一个样本模型透明共享子系统以及至少一人工智能平台；人工智能平台与所述样本模型透明共享子系统一比一配对部署；每个样本模型透明共享子系统均连接至所述所述全局目录服务子系统；
[0015]通过全局目录服务子系统维护全部的样本模型目录，确保一致性；通过样本模型透明共享子系统接管来自本地人工智能平台的请求，并通过全局目录服务子系统协同，查询全网数据分布，再通过样本模型透明共享子系统进行样本模型数据的存储以及同步传输。
[0016]进一步地，所述样本模型透明共享子系统包括本地目录服务、全局同步服务以及数据存储服务；具体包括样本模型更新以及样本模型跨平台共享；
[0017]所述样本模型更新包括：人工智能平台调用部署在同一个网络区域的样本模型透明共享系统的本地目录服务，提交文件数据；本地目录服务调用本地的数据存储服务存储
文件数据，同时将新增的文件数据的目录作为消息文本提交到全局目录服务子系统；全局目录服务子系统进行目录更新；
[0018]所述样本模型跨平台共享包括：所述本地目录服务每间隔设定时间发起对全局目录服务子系统的查询，全局目录服务子系统将过去设定时间内发生的目录数据变动返回给全局同步服务；获取变更的全局目录数据后，全局同步服务调用本地目录服务进行本地目录合并更新。
[0019]进一步地，所述数据存储服务中设有网络隔离设备适配插件，所述网络隔离设备适配插件是将网络隔离设备适配功能单独提取出，设计形成统一接口的形式，用于适配不同网络环境中防火墙以及信息安全隔离装置。
[0020]进一步地，所述数据存储服务中设有一存储资源读写模块；所述存储资源读写模块是Java语言针对主流的云存储协议，将块数据读写接口进行统一，并支持通过配置文件修改所采用的具体实现，实现插件化管理。
[002本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多级联动人工智能平台样本模型透明共享装置，其特征在于：包括：全局目录服务子系统、至少一个样本模型透明共享子系统以及至少一人工智能平台；人工智能平台与所述样本模型透明共享子系统一比一配对部署；每个样本模型透明共享子系统均连接至所述所述全局目录服务子系统；通过全局目录服务子系统维护全部的样本模型目录，确保一致性；通过样本模型透明共享子系统接管来自本地人工智能平台的请求，并通过全局目录服务子系统协同，查询全网数据分布，再通过样本模型透明共享子系统进行样本模型数据的存储以及同步传输。2.根据权利要求1所述的一种多级联动人工智能平台样本模型透明共享装置，其特征在于：所述样本模型透明共享子系统包括本地目录服务、全局同步服务以及数据存储服务；具体包括样本模型更新以及样本模型跨平台共享；所述样本模型更新包括：人工智能平台调用部署在同一个网络区域的样本模型透明共享系统的本地目录服务，提交文件数据；本地目录服务调用本地的数据存储服务存储文件数据，同时将新增的文件数据的目录作为消息文本提交到全局目录服务子系统；全局目录服务子系统进行目录更新；所述样本模型跨平台共享包括：所述本地目录服务每间隔设定时间发起对全局目录服务子系统的查询，全局目录服务子系统将过去设定时间内发生的目录数据变动返回给全局同步服务；获取变更的全局目录数据后，全局同步服务调用本地目录服务进行本地目录合并更新。3.根据权利要求2所述的一种多级联动人工智能平台样本模型透明共享装置，其特征在于：所述数据存储服务中设有网络隔离设备适配插件，所述网络隔离设备适配插件是将网络隔离设备适配功能单独提取出，设计形成统一...

【专利技术属性】
技术研发人员：宋立华，邱镇，苏江文，黄晓光，吴佩颖，
申请(专利权)人：国网信息通信产业集团有限公司国网四川省电力公司国家电网有限公司，
类型：发明
国别省市：