神经网络结构搜索方法、装置、电子设备和介质制造方法及图纸

本申请实施例公开了一种神经网络结构搜索方法、装置、电子设备和介质，涉及神经网络技术领域。具体实现方案为：控制器依据预设通信协议，将搜索得到的候选网络结构信息向训练器发送；训练器依据候选网络结构信息以及样本数据训练神经网络模型，并依据预设通信协议，将基于神经网络模型生成的指标信息向控制器反馈；控制器依据指标信息进行重新搜索，若搜索得到的候选网络结构信息收敛，则将结构信息收敛的候选网络结构确定为最终搜索得到的目标神经网络结构。基于预设的通信机制，实现了控制器与训练器之间基于预设通信协议进行信息交互，克服了控制器与训练器必须基于同一开发框架导致的强耦合性的技术问题，实现将控制器与训练器之间解耦。

Neural network structure search methods, devices, electronic equipment and media

The embodiment of the application discloses a neural network structure search method, device, electronic device and medium, and relates to the technical field of neural network. The specific implementation scheme is as follows: the controller sends the candidate network structure information to the trainer according to the preset communication protocol; the trainer trains the neural network model according to the candidate network structure information and sample data, and feeds back the index information generated based on the neural network model to the controller according to the preset communication protocol; the controller searches again according to the index information If the structure information of the candidate network is convergent, the structure of the candidate network is determined as the final structure of the target neural network. Based on the preset communication mechanism, the information interaction between the controller and the trainer is realized based on the preset communication protocol, which overcomes the technical problem that the controller and the trainer must be based on the same development framework, and decouples the controller and the trainer.

【技术实现步骤摘要】
神经网络结构搜索方法、装置、电子设备和介质
本申请实施例涉及计算机
，尤其涉及神经网络
，具体涉及一种神经网络结构搜索方法、装置、电子设备和介质。
技术介绍
通过神经网络结构搜索(NeuralArchitectureSearch，NAS)，可以帮助模型调参等开发人员自动搜索出最优的神经网络结构。目前，在神经网络结构自动搜索的过程中，控制器(controller)和训练器(trainer)必须基于同样的开发框架，才能通过结构搜索、模型构建和训练等循环的过程实现最优网络结构的获取。因此，现有技术中控制器与训练器之间的耦合性太强，不仅无法作为独立的进程进行单独调试，而且在开发框架不同的情况下，需要对训练器进行二次开发和指标对齐，增加了开发难度和时间消耗，对开发者技术能力要求较高。
技术实现思路
本申请实施例提供了一种神经网络结构搜索方法、装置、电子设备和介质，能够解除控制器与训练器之间的耦合性，便于控制器和训练器的独立调试和运行。第一方面，本申请实施例提供了一种神经网络结构搜索方法，包括：控制器依据预设通信协议，将搜索得到的候选网络结构信息向训练器发送；所述训练器依据所述候选网络结构信息以及样本数据训练神经网络模型，并依据所述预设通信协议，将基于所述神经网络模型生成的指标信息向所述控制器反馈；所述控制器依据所述指标信息进行重新搜索，若搜索得到的候选网络结构信息收敛，则将结构信息收敛的候选网络结构确定为最终搜索得到的目标神经网络结构。上述申请中的一个实施例具有如下优点或有益效果：基于预设的通信机制，实现了控制器与训练器之间基于预设通信协议进行信息交互，克服了控制器与训练器必须基于同一开发框架导致的强耦合性的技术问题，实现将控制器与训练器之间解耦，进而达到控制器与训练器可以独立调试和运行，以使控制器与训练器无需采用同样的开发框架进行网络结构搜索，避免了对训练器的二次开发，降低了开发难度、时间消耗以及对开发者技术能力要求技术效果。可选的，所述控制器依据预设通信协议，将搜索得到的候选网络结构信息向训练器发送，包括：所述控制器采用所述预设通信协议中与所述控制器的开发框架关联的信息读取方式，从所述控制器搜索得到的信息中提取网络结构子信息；所述控制器依据所述预设通信协议中的格式封装方式，将所述网络结构子信息封装为格式统一的候选网络结构信息，并将所述候选网络结构信息向训练器发送。可选的，所述训练器依据所述预设通信协议，将基于所述神经网络模型生成的指标信息向所述控制器反馈，包括：所述训练器采用所述预设通信协议中与所述训练器的开发框架关联的信息读取方式，从所述训练器生成的信息中提取指标子信息；所述训练器依据所述预设通信协议中的格式封装方式，将所述指标子信息封装为格式统一的指标信息，并将所述指标信息向所述控制器反馈。上述申请中的一个实施例具有如下优点或有益效果：无论控制器的开发框架与训练器的开发框架是否相同，都可以基于预设的通信机制对双方产生的数据和指标统一转换，解除了控制器与训练器之间的耦合性。可选的，所述控制器依据预设通信协议，将搜索得到的候选网络结构信息向训练器发送，包括：所述控制器基于搜索策略在搜索空间中进行神经网络结构搜索，得到候选网络结构信息；所述控制器依据预设通信协议，将所述候选网络结构信息向所述训练器发送。上述申请中的一个实施例具有如下优点或有益效果：控制器通过对网络结构信息的自动化搜索，以此确定网络最大层数、每一层的运算类型、激活函数以及运算相关的超参数等，解决了人工调参的技术问题，提高模型构建效果。可选的，所述训练器依据所述候选网络结构信息以及样本数据训练神经网络模型，并依据预设通信协议，将基于所述神经网络模型生成的指标信息向所述控制器反馈，包括：所述训练器依据预设通信协议，对接收到的候选网络结构信息进行解析；所述训练器依据解析得到的候选网络结构信息构建神经网络模型，并基于所述样本数据对所述神经网络模型进行训练和测试，以生成所述神经网络模型的指标信息；所述训练器依据预设通信协议，将所述指标信息向所述控制器反馈。可选的，所述控制器依据所述指标信息进行重新搜索，包括：所述控制器依据所述训练器的开发框架，对所述指标信息进行标准化处理；所述控制器依据标准化处理后的指标信息进行重新搜索。上述申请中的一个实施例具有如下优点或有益效果：通过对指标信息进行标准化处理，克服不同开发框架下指标标准不一致的缺陷，以使控制器能够与基于不同开发框架的训练器进行交互，实现网络结构的搜索。可选的，所述控制器依据所述指标信息进行重新搜索，包括：所述控制器依据解析得到的指标信息，以及预设的与所述训练器的开发框架关联的指标期望值进行重新搜索。上述申请中的一个实施例具有如下优点或有益效果：对于控制器所交互的训练器，控制器中通过预先设置与所述训练器的开发框架关联的指标期望值，与克服不同开发框架下指标标准不一致的缺陷。可选的，所述控制器依据预设通信协议，将搜索得到的候选网络结构信息向训练器发送，包括：所述控制器基于预设基础网络模型进行神经网络结构搜索，得到候选网络结构信息；所述控制器依据预设通信协议，将所述候选网络结构信息向所述训练器发送。可选的，在所述控制器依据所述指标信息进行重新搜索之前，还包括：所述控制器若依据所述训练器反馈的指标信息，确定基于所述候选网络结构信息训练的神经网络模型的指标信息低于所述预设基础网络模型的指标信息，则将所述预设基础模型确定为最终搜索得到的目标神经网络结构。上述申请中的一个实施例具有如下优点或有益效果：控制器通过基于预设基础网络模型进行搜索，避免了从最低级的网络结构开始搜索的缺陷，进而减少了搜索初始阶段的无用搜索操作，提高搜索效率。可选的，所述样本数据包括图像分类样本、语音识别样本以及语义理解样本中的至少一类。可选的，若所述样本数据为图像分类样本，则基于所述目标神经网络结构构建的神经网络模型用于图像分类。上述申请中的一个实施例具有如下优点或有益效果：训练器通过样本数据进行模型的训练和测试，以使神经网络模型能够应用于样本数据所属的
当中，提高了领域内基于神经网络模型的数据处理效率和准确性。可选的，所述控制器的开发框架与所述训练器的开发框架不同。上述申请中的一个实施例具有如下优点或有益效果：基于不同开发框架开发而来的控制器和训练器，基于预设通信机制能够实现控制器和训练器的独立调试、运行和交互，解除控制器与训练器之间基于开发框架的限制导致的强耦合性。第二方面，本申请实施例提供了一种神经网络结构搜索装置，包括：网络结构搜索模块，用于控制器依据预设通信协议，将搜索得到的候选网络结构信息向训练器发送；模型训练模块，用于所述训练器依据所述候选网络结构信息以及样本数据训练神经网络模型，并依据所述预设通信协议，将基于本文档来自技高网...

【技术保护点】
1.一种神经网络结构搜索方法，其特征在于，包括：/n控制器依据预设通信协议，将搜索得到的候选网络结构信息向训练器发送；/n所述训练器依据所述候选网络结构信息以及样本数据训练神经网络模型，并依据所述预设通信协议，将基于所述神经网络模型生成的指标信息向所述控制器反馈；/n所述控制器依据所述指标信息进行重新搜索，若搜索得到的候选网络结构信息收敛，则将结构信息收敛的候选网络结构确定为最终搜索得到的目标神经网络结构。/n

【技术特征摘要】
1.一种神经网络结构搜索方法，其特征在于，包括：
控制器依据预设通信协议，将搜索得到的候选网络结构信息向训练器发送；
所述训练器依据所述候选网络结构信息以及样本数据训练神经网络模型，并依据所述预设通信协议，将基于所述神经网络模型生成的指标信息向所述控制器反馈；
所述控制器依据所述指标信息进行重新搜索，若搜索得到的候选网络结构信息收敛，则将结构信息收敛的候选网络结构确定为最终搜索得到的目标神经网络结构。


2.根据权利要求1所述的方法，其特征在于，所述控制器依据预设通信协议，将搜索得到的候选网络结构信息向训练器发送，包括：
所述控制器采用所述预设通信协议中与所述控制器的开发框架关联的信息读取方式，从所述控制器搜索得到的信息中提取网络结构子信息；
所述控制器依据所述预设通信协议中的格式封装方式，将所述网络结构子信息封装为格式统一的候选网络结构信息，并将所述候选网络结构信息向训练器发送。


3.根据权利要求1所述的方法，其特征在于，所述训练器依据所述预设通信协议，将基于所述神经网络模型生成的指标信息向所述控制器反馈，包括：
所述训练器采用所述预设通信协议中与所述训练器的开发框架关联的信息读取方式，从所述训练器生成的信息中提取指标子信息；
所述训练器依据所述预设通信协议中的格式封装方式，将所述指标子信息封装为格式统一的指标信息，并将所述指标信息向所述控制器反馈。


4.根据权利要求1所述的方法，其特征在于，所述控制器依据预设通信协议，将搜索得到的候选网络结构信息向训练器发送，包括：
所述控制器基于搜索策略在搜索空间中进行神经网络结构搜索，得到候选网络结构信息；
所述控制器依据预设通信协议，将所述候选网络结构信息向所述训练器发送。


5.根据权利要求1所述的方法，其特征在于，所述训练器依据所述候选网络结构信息以及样本数据训练神经网络模型，并依据预设通信协议，将基于所述神经网络模型生成的指标信息向所述控制器反馈，包括：
所述训练器依据预设通信协议，对接收到的候选网络结构信息进行解析；
所述训练器依据解析得到的候选网络结构信息构建神经网络模型，并基于所述样本数据对所述神经网络模型进行训练和测试，以生成所述神经网络模型的指标信息；
所述训练器依据预设通信协议，将所述指标信息向所述控制器反馈。


6.根据权利要求1所述的方法，其特征在于，所述控制器依据所述指标信息进行重新搜索，包括：
所述控制器依据所述训练器的开发框架，对所述指标信息进行标准化处理；
所述控制器依据标准化处理...

【专利技术属性】
技术研发人员：温圣召，希滕，张刚，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11