模型训练处理方法、装置、计算机设备及介质制造方法及图纸

本申请涉及数据处理技术，提供一种模型训练处理方法、装置、计算机设备与存储介质，包括：获取目标服务器对应的附属服务器；计算附属服务器的最优训练数量，并向每一附属服务器分配模型训练请求；检测附属服务器是否输出训练应答消息；当检测结果为否时，确定附属模型训练请求，并将附属模型训练请求输出至对应目标从属节点中；采集每一附属服务器的模型训练结果，并检测模型训练结果中是否存在异常项；当检测结果为是时，基于异常项修改目标训练模型，并根据模型训练结果动态调整附属服务器的训练数量以重新训练目标训练模型。本申请能够提高模型训练效率，促进智慧医疗及智慧城市的建设。

【技术实现步骤摘要】
模型训练处理方法、装置、计算机设备及介质
本申请涉及数据处理
，尤其涉及一种模型训练处理方法、装置、计算机设备及介质。
技术介绍
深度神经网络已成功应用于很多领域，包括图像识别、纹理分类、语音识别等领域。近年来，深度神经网络由于采用更深的网络架构和更大的训练样本集来进行训练，所以在性能上有了显著的提升。针对深度神经网络训练的情况，在实现本申请的过程中，专利技术人发现现有技术至少存在如下问题：深度神经网络学习需要花费太高的时间成本，深度神经网络学习动辄就几个小时甚至花费几天时间来进行，一旦算法出现问题，就要重新训练深度神经网络学习模型，模型训练的效率极低。因此，有必要提供一种模型训练处理方法，能够减少模型训练所需时间，提高模型训练效率。
技术实现思路
鉴于以上内容，有必要提出一种模型训练处理方法、模型训练处理装置、计算机设备及介质，能够减少模型训练所需时间，提高模型训练效率。本申请实施例第一方面提供一种模型训练处理方法，所述模型训练处理方法包括：当接收到模型训练请求时，获取目标服务器对应的附属服务器；计算所述附属服务器的最优训练数量，并基于所述最优训练数量向每一所述附属服务器分配所述模型训练请求；检测所述附属服务器是否输出训练应答消息；当检测结果为所述附属服务器未输出训练应答消息时，确定分配至未输出训练应答消息的目标附属服务器的附属模型训练请求，并将所述附属模型训练请求输出至对应所述目标附属服务器的目标从属节点中；采集每一所述附属服务器的模型训练结果，并检测所述模型训练结果中是否存在异常项；当检测结果为所述模型训练结果中存在异常项时，基于所述异常项修改目标训练模型，并根据所述模型训练结果动态调整所述附属服务器的训练数量以重新训练所述目标训练模型。进一步地，在本申请实施例提供的上述模型训练处理方法中，所述当接收到模型训练请求时，获取目标服务器对应的附属服务器包括：解析所述模型训练请求，得到对应所述模型训练请求的目标路由信息；根据所述目标路由信息确定目标应用；获取对应所述目标应用的目标服务器集群；获取所述目标服务器集群中的目标服务器与附属服务器。进一步地，在本申请实施例提供的上述模型训练处理方法中，所述获取目标服务器对应的附属服务器还包括：解析所述模型训练请求，得到对应目标训练模型的训练数量；确定所述训练数量对应的训练数量级；根据所述训练数量级确定附属服务器的数量。进一步地，在本申请实施例提供的上述模型训练处理方法中，所述计算所述附属服务器的最优训练数量包括：获取对应每一附属服务器的数据处理能力；获取所述模型训练请求携带的对应目标训练模型的训练数量；根据所述数据处理能力与所述训练数量计算每一所述附属服务器的最优训练数量。进一步地，在本申请实施例提供的上述模型训练处理方法中，所述基于所述最优训练数量分配所述模型训练请求包括：获取所述附属服务器的数量与每一所述附属服务器的最优训练数量；基于所述附属服务器的数量与所述最优训练数量拆分所述模型训练请求，得到若干个附属模型训练请求；将所述附属模型训练请求分配至对应的附属服务器。进一步地，在本申请实施例提供的上述模型训练处理方法中，所述检测所述附属服务器是否输出训练应答消息包括：获取对应各个所述附属服务器的运行日志；检测所述运行日志中是否存在每一所述附属服务器对应的目标应答数据；当检测结果为所述运行日志中存在每一所述附属服务器对应的目标应答数据时，确定所述附属服务器输出训练应答消息；当检测结果为所述运行日志中不存在所述附属服务器对应的目标应答数据时，确定所述附属服务器未输出训练应答消息。进一步地，在本申请实施例提供的上述模型训练处理方法中，所述方法还包括：获取所述目标服务器与所述附属服务器的关联关系；根据所述关联关系确定可视化的模型训练逻辑图，其中，每一服务器对应所述模型训练逻辑图中的目标按钮；在所述可视化的模型训练逻辑图中，获取每一所述附属服务器的模型训练进度与训练速率；根据所述训练进度与所述训练速率确定每一所述目标按钮的实化显示面积与实化显示速率。本申请实施例第二方面提供的上述一种模型训练处理装置，所述模型训练处理装置包括：请求接收模块，用于当接收到模型训练请求时，获取目标服务器对应的附属服务器；数量计算模块，用于计算所述附属服务器的最优训练数量，并基于所述最优训练数量向每一所述附属服务器分配所述模型训练请求；消息检测模块，用于检测所述附属服务器是否输出训练应答消息；节点确定模块，用于当检测结果为所述附属服务器未输出训练应答消息时，确定分配至未输出训练应答消息的目标附属服务器的附属模型训练请求，并将所述附属模型训练请求输出至对应所述目标附属服务器的目标从属节点中；异常检测模块，用于采集每一所述附属服务器的模型训练结果，并检测所述模型训练结果中是否存在异常项；数量调整模块，用于当检测结果为所述模型训练结果中存在异常项时，基于所述异常项修改目标训练模型，并根据所述模型训练结果动态调整所述附属服务器的训练数量以重新训练所述目标训练模型。本申请实施例第三方面还提供一种计算机设备，所述计算机设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如上述任意一项所述模型训练处理方法。本申请实施例第四方面还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任意一项所述模型训练处理方法。本申请实施例提供的上述模型训练处理方法、模型训练处理装置、计算机设备以及计算机可读存储介质，将单台服务器单线程的训练任务处理扩展为多台服务器并行处理，使得模型训练时间大幅降低，提高模型训练效率；且本申请针对每台附属服务器的最优训练数量分配模型训练请求，使得每台附属服务器的训练时间间隔差距较小，使得整体模型训练时间降低，提高模型训练效率；此外，本申请基于异常项修改目标训练模型后，根据此前的模型训练结果动态调整附属服务器的训练数量，进一步优化模型训练过程，提高模型训练效率；此外，本申请通过对集群从属节点的配置，使得从属节点支持逻辑匹配查询，增加了系统的并发查询能力，加强了系统的可靠性。本申请可应用于智慧政务、智慧交通等智慧城市的各个功能模块中，比如智慧政务的模型训练处理模块等，能够促进智慧城市的快速发展。附图说明图1是本申请实施例一提供的模型训练处理方法的流程图。图2是本申请实施例二提供的模型训练处理装置的结构图。图3是本申请实施例三提供的计算机设备的结构示意图。如下具体实施方式将结合上述附图进一步说明本申请。具体实施方式为了能够更清楚地理解本申请的上述目的、特征和优点，下面结合附图和具体实施例对本申请进行详细描述。需要说明的是，在本文档来自技高网...

【技术保护点】
1.一种模型训练处理方法，其特征在于，所述模型训练处理方法包括：/n当接收到模型训练请求时，获取目标服务器对应的附属服务器；/n计算所述附属服务器的最优训练数量，并基于所述最优训练数量向每一所述附属服务器分配所述模型训练请求；/n检测所述附属服务器是否输出训练应答消息；/n当检测结果为所述附属服务器未输出训练应答消息时，确定分配至未输出训练应答消息的目标附属服务器的附属模型训练请求，并将所述附属模型训练请求输出至对应所述目标附属服务器的目标从属节点中；/n采集每一所述附属服务器的模型训练结果，并检测所述模型训练结果中是否存在异常项；/n当检测结果为所述模型训练结果中存在异常项时，基于所述异常项修改目标训练模型，并根据所述模型训练结果动态调整所述附属服务器的训练数量以重新训练所述目标训练模型。/n

【技术特征摘要】
1.一种模型训练处理方法，其特征在于，所述模型训练处理方法包括：
当接收到模型训练请求时，获取目标服务器对应的附属服务器；
计算所述附属服务器的最优训练数量，并基于所述最优训练数量向每一所述附属服务器分配所述模型训练请求；
检测所述附属服务器是否输出训练应答消息；
当检测结果为所述附属服务器未输出训练应答消息时，确定分配至未输出训练应答消息的目标附属服务器的附属模型训练请求，并将所述附属模型训练请求输出至对应所述目标附属服务器的目标从属节点中；
采集每一所述附属服务器的模型训练结果，并检测所述模型训练结果中是否存在异常项；
当检测结果为所述模型训练结果中存在异常项时，基于所述异常项修改目标训练模型，并根据所述模型训练结果动态调整所述附属服务器的训练数量以重新训练所述目标训练模型。


2.根据权利要求1所述的模型训练处理方法，其特征在于，所述当接收到模型训练请求时，获取目标服务器对应的附属服务器包括：
解析所述模型训练请求，得到对应所述模型训练请求的目标路由信息；
根据所述目标路由信息确定目标应用；
获取对应所述目标应用的目标服务器集群；
获取所述目标服务器集群中的目标服务器与附属服务器。


3.根据权利要求1所述的模型训练处理方法，其特征在于，所述获取目标服务器对应的附属服务器还包括：
解析所述模型训练请求，得到对应目标训练模型的训练数量；
确定所述训练数量对应的训练数量级；
根据所述训练数量级确定附属服务器的数量。


4.根据权利要求1所述的模型训练处理方法，其特征在于，所述计算所述附属服务器的最优训练数量包括：
获取对应每一附属服务器的数据处理能力；
获取所述模型训练请求携带的对应目标训练模型的训练数量；
根据所述数据处理能力与所述训练数量计算每一所述附属服务器的最优训练数量。


5.根据权利要求1所述的模型训练处理方法，其特征在于，所述基于所述最优训练数量分配所述模型训练请求包括：
获取所述附属服务器的数量与每一所述附属服务器的最优训练数量；
基于所述附属服务器的数量与所述最优训练数量拆分所述模型训练请求，得到若干个附属模型训练请求；
将所述附属模型训练请求分配至对应的附属服务器。


6.根据权利要求1所述的模型训...

【专利技术属性】
技术研发人员：张山，
申请(专利权)人：深圳壹账通智能科技有限公司，
类型：发明
国别省市：广东;44