【技术实现步骤摘要】
基于深度学习的分布式异构数据处理方法、装置和设备
[0001]本公开的实施例涉及计算机
，具体涉及基于深度学习的分布式异构数据处理方法、装置和设备。
技术介绍
[0002]模型训练是指对初始模型进行训练，以使得训练得到的模型具有预测或分类能力。目前，再进模型分类时，通常采用的方式为：通过固定的分布式训练方式对模型进行训练。
[0003]然而，当采用上述方式时，经常会存在如下技术问题：
[0004]第一、由于分布式包含的各个节点的节点配置往往不同，以及多次训练的模型的模型结构往往不同，采用固定的分布式训练方式对模型进行训练，往往会导致分布式中的节点的节点使用效率低下；
[0005]第二、当模型包含多个子模型，且模型结构复杂时，直接对整体模型进行训练，模型的训练周期较长，导致模型训练效率低下。
技术实现思路
[0006]本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用...
【技术保护点】
【技术特征摘要】
1.一种基于深度学习的分布式异构数据处理方法，包括：确定节点信息组序列，其中，所述节点信息组序列中的每个节点信息组对应的节点组部署有初始模型包括的各个子模型中的一个子模型；根据所述节点信息组序列中的每个节点信息组对应的节点配置信息和模型结构信息，确定所述节点信息组对应的训练样本集合，其中，模型结构信息表征节点信息组对应的子模型的模型结构；对于所述节点信息组序列中的每个节点信息组，根据所述节点信息组对应的模型结构信息，对所述节点信息组对应的训练样本集合中的训练样本进行样本重构，以生成目标训练样本集合；对于所述各个子模型中的每个子模型，通过所述子模型对应的目标训练样本集合，对所述子模型进行模型训练，以生成子训练结果；响应于确定得到的多个子训练结果均收敛，根据所述各个子模型中的子模型对应的当前模型参数信息，生成训练完成的初始模型。2.根据权利要求1所述的方法，其中，所述确定节点信息组序列，包括：获取初始节点信息序列；确定所述各个子模型中的每个子模型对应的算力需求信息；对于所述各个子模型中的每个子模型，根据所述子模型对应的算力需求信息，从所述初始节点信息序列中筛选出与所述子模型对应的初始节点信息子集，作为节点信息组。3.根据权利要求2所述的方法，其中，节点配置信息包括：任务调度器配置信息、内存配置信息和数据处理器配置信息，内存配置信息包括：内存大小信息，内存读写速度信息；以及所述根据所述节点信息组序列中的每个节点信息组对应的节点配置信息和模型结构信息，确定所述节点信息组对应的训练样本集合，包括：根据所述节点信息组对应的节点配置信息包括的任务调度器配置信息，确定所述节点信息组对应的节点组的任务调度能力信息；根据所述节点信息组对应的节点配置信息包括的内存配置信息包括的内存大小信息和内存读写速度信息，确定所述节点信息组对应的节点组的内存缓存能力信息；根据所述节点信息组对应的节点配置信息包括的数据处理器配置信息，确定所述节点信息组对应的节点组的数据处理能力信息；根据所述任务调度能力信息、所述内存缓存能力信息、所述数据处理能力信息和所述模型结构信息，确定所述节点信息组对应的节点组的训练样本需求信息；根据所述训练样本需求信息，确定所述节点信息组对应的训练样本集合。4.根据权利要求3所述的方法，其中，所述各个子模型包括：人脸识别模型、人种识别模型和姿态识别模型；以及所述对于所述各个子模型中的每个子模型，通过所述子模型对应的目标训练样本集合，对所述子模型进行模型训练，以生成子训练结果，包括：响应于确定所述子模型为所述人脸识别模型，通过所述人脸识别模型对应的目标训练样本集合，对所述人脸识别模型进行模型训练，以生成所述人脸识别模型对应的子训练结果；
响应于确定所述子模型为所述人种识别模型，通过所述人种识别模型对应的目标训练样本集合，对所述人种识别模型进行模型训练，以生成所述人种识别模型对应的子训练结果；响应于确定所述子模型为所述姿态识别模型，通过所述...
【专利技术属性】
技术研发人员：刘东升，刘礼芳，陈亚辉，刘彦妮，
申请(专利权)人：浙江工商大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。