模型分布式加载方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及人工智能技术，揭露了一种模型分布式加载方法，包括：获取模型集合，对所述模型集合进行主机集群映射处理，得到原始映射信息，接收待上线模型，基于所述原始映射信息对所述待上线模型进行集群更新，得到标准模型集群，接收模型加载服务，基于预设的订阅发布系统对所述标准模型集群中各节点的模型进行分布式加载，并将加载结果反馈至所述模型加载服务的发出端。此外，本发明专利技术还涉及区块链技术，所述原始映射信息可存储在区块链的节点中。本发明专利技术还提出一种模型分布式加载装置、电子设备以及可读存储介质。本发明专利技术可以解决模型加载效率较低的问题。较低的问题。较低的问题。

【技术实现步骤摘要】
模型分布式加载方法、装置、设备及存储介质


[0001]本专利技术涉及人工智能
，尤其涉及一种模型分布式加载方法、装置、电子设备及可读存储介质。

技术介绍

[0002]随着人工智能的发展，在线训练系统训练处的意图识别模型的数目在急剧膨胀，模型主要通过单服务器进行加载，但现有模型总数的内存早已超过宿主机单机内存的上限，例如，单服务器内存32G大约支持500个意图模型，单服务器内存64G大约支持1000个意图模型。
[0003]现有技术在模型数量很多的情况下模型的支持上限受限于部署服务器的内存上限，使得模型加载不稳定，容易出现错误，严重制约了模型加载的效率。

技术实现思路

[0004]本专利技术提供一种模型分布式加载方法、装置、电子设备及可读存储介质，其主要目的在于解决模型加载效率较低的问题。
[0005]为实现上述目的，本专利技术提供的一种模型分布式加载方法，包括：
[0006]获取模型集合，对所述模型集合进行主机集群映射处理，得到原始映射信息；
[0007]接收待上线模型，基于所述原始映射信息对所述待上线模型进行集群更新，得到标准模型集群；
[0008]接收模型加载服务，基于预设的订阅发布系统对所述标准模型集群中各节点的模型进行分布式加载，并将加载结果反馈至所述模型加载服务的发出端。
[0009]可选地，所述对所述模型集合进行主机集群映射处理之前，所述方法还包括：
[0010]构建原始主机集群，对所述原始主机集群进行主机节点配置及模型分配配置，得到标准主机集群。
[0011]可选地，所述对所述模型集合进行主机集群映射处理，得到原始映射信息，包括：
[0012]初始化清理所述标准主机集群的注册目录，基于所述模型分配配置对所述模型集合中的模型进行副本复制，得到副本集合；
[0013]利用所述主机节点配置及所述模型分配配置将所述副本集合分配至所述标准主机集群的节点中；
[0014]将分配后的节点写入所述注册目录中，并生成所述副本集合和所述标准主机集群的映射关系，得到所述原始映射信息。
[0015]可选地，所述基于所述原始映射信息对所述待上线模型进行集群更新，得到标准模型集群，包括：
[0016]查询所述待上线模型是否在所述原始映射信息中存在数据记录；
[0017]若所述待上线模型在所述原始映射信息中存在数据记录，则不对所述原始映射信息进行更新；
[0018]若所述待上线模型在所述原始映射信息中不存在数据记录，则重新使用所述主机节点配置及所述模型分配配置对所述待上线模型进行模型分配，得到所述标准模型集群，并利用所述待上线模型和所述标准主机集群的映射关系更新所述原始映射信息，得到标准映射信息。
[0019]可选地，所述接收模型加载服务，基于预设的订阅发布系统对所述标准模型集群中各节点的模型进行分布式加载，并将加载结果反馈至所述模型加载服务的发出端，包括：
[0020]利用所述订阅发布系统接收所述模型加载服务，并基于所述订阅发布系统将所述模型加载服务发送至所述标准模型集群的各节点中；
[0021]对所述标准模型集群的各节点进行模型监控，并基于监控结果对所述标准模型集群各节点中的模型进行模型加载，将所有节点的加载结果反馈至所述模型加载服务的发出端。
[0022]可选地，所述对所述标准模型集群的各节点进行模型监控，并基于监控结果对所述标准模型集群各节点中的模型进行模型加载，包括：
[0023]对所述标准模型集群各节点中的模型进行模型检测处理；
[0024]若节点中的模型检测不正确，则监控结果为异常，对节点中的模型不进行加载；
[0025]若节点中的模型检测正确，则监控结果为正常，对节点中的模型进行加载。
[0026]可选地，所述基于所述原始映射信息对所述待上线模型进行集群更新，得到标准模型集群之后，所述方法还包括：
[0027]接收模型删除服务，并基于所述模型删除服务确定待删除模型；
[0028]基于所述订阅发布系统将所述模型删除服务发送至所述标准模型集群的各节点中；
[0029]若所述节点中不存在所述待删除模型，则对节点中的模型不进行处理；
[0030]若所述节点中存在所述待删除模型，则将节点中的待删除模型进行删除，并将所有节点的删除结果反馈至所述模型删除服务的发出端。
[0031]为了解决上述问题，本专利技术还提供一种模型分布式加载装置，所述装置包括：
[0032]主机集群映射模块，用于获取模型集合，对所述模型集合进行主机集群映射处理，得到原始映射信息；
[0033]集群更新模块，用于接收待上线模型，基于所述原始映射信息对所述待上线模型进行集群更新，得到标准模型集群；
[0034]模型加载模块，用于接收模型加载服务，基于预设的订阅发布系统对所述标准模型集群中各节点的模型进行分布式加载，并将加载结果反馈至所述模型加载服务的发出端。
[0035]为了解决上述问题，本专利技术还提供一种电子设备，所述电子设备包括：
[0036]存储器，存储至少一个计算机程序；及
[0037]处理器，执行所述存储器中存储的计算机程序以实现上述所述的模型分布式加载方法。
[0038]为了解决上述问题，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个计算机程序，所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的模型分布式加载方法。
[0039]本专利技术通过模型集合进行主机集群映射处理，得到原始映射信息，基于原始映射信息对待上线模型进行集群更新，可以通过主机数目和模型数目灵活快速的进行集群配置，得到标准模型集群，解决了线上日益增长的模型超过单机内存上限的限制，提高了模型服务的稳定性。同时，基于预设的订阅发布系统对标准模型集群中各节点的模型进行分布式加载，大幅提升了模型加载效率，并且加载结果会反馈至模型加载服务的发出端，也提高了对模型加载监控的效率。因此本专利技术提出的模型分布式加载方法、装置、电子设备及计算机可读存储介质，可以解决模型加载效率较低的问题。
附图说明
[0040]图1为本专利技术一实施例提供的模型分布式加载方法的流程示意图；
[0041]图2为图1中其中一个步骤的详细实施流程示意图；
[0042]图3为图1中另一个步骤的详细实施流程示意图；
[0043]图4为本专利技术一实施例提供的模型分布式加载装置的功能模块图；
[0044]图5为本专利技术一实施例提供的实现所述模型分布式加载方法的电子设备的结构示意图。
[0045]本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0046]应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0047]本专利技术实施例提供一种模型分布式加载方法。所述模型分布式加载方法的执行主体包括但不限于服务端、终端等能本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型分布式加载方法，其特征在于，所述方法包括：获取模型集合，对所述模型集合进行主机集群映射处理，得到原始映射信息；接收待上线模型，基于所述原始映射信息对所述待上线模型进行集群更新，得到标准模型集群；接收模型加载服务，基于预设的订阅发布系统对所述标准模型集群中各节点的模型进行分布式加载，并将加载结果反馈至所述模型加载服务的发出端。2.如权利要求1所述的模型分布式加载方法，其特征在于，所述对所述模型集合进行主机集群映射处理之前，所述方法还包括：构建原始主机集群，对所述原始主机集群进行主机节点配置及模型分配配置，得到标准主机集群。3.如权利要求2中所述的模型分布式加载方法，其特征在于，所述对所述模型集合进行主机集群映射处理，得到原始映射信息，包括：初始化清理所述标准主机集群的注册目录，基于所述模型分配配置对所述模型集合中的模型进行副本复制，得到副本集合；利用所述主机节点配置及所述模型分配配置将所述副本集合分配至所述标准主机集群的节点中；将分配后的节点写入所述注册目录中，并生成所述副本集合和所述标准主机集群的映射关系，得到所述原始映射信息。4.如权利要求3所述的模型分布式加载方法，其特征在于，所述基于所述原始映射信息对所述待上线模型进行集群更新，得到标准模型集群，包括：查询所述待上线模型是否在所述原始映射信息中存在数据记录；若所述待上线模型在所述原始映射信息中存在数据记录，则不对所述原始映射信息进行更新；若所述待上线模型在所述原始映射信息中不存在数据记录，则重新使用所述主机节点配置及所述模型分配配置对所述待上线模型进行模型分配，得到所述标准模型集群，并利用所述待上线模型和所述标准主机集群的映射关系更新所述原始映射信息，得到标准映射信息。5.如权利要求1所述的模型分布式加载方法，其特征在于，所述接收模型加载服务，基于预设的订阅发布系统对所述标准模型集群中各节点的模型进行分布式加载，并将加载结果反馈至所述模型加载服务的发出端，包括：利用所述订阅发布系统接收所述模型加载服务，并基于所述订阅发布系统将所述模型加载服务发送至所述标准模型集群的各节点中；对所述标准模型集群的各节点进行模型监控，并...

【专利技术属性】
技术研发人员：刘涛，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：