【技术实现步骤摘要】
一种生成神经网络的方法、装置、计算机设备和存储介质
[0001]本公开涉及深度学习
，具体而言，涉及一种生成神经网络的方法、装置、计算机设备和存储介质。
技术介绍
[0002]经过大规模数据集进行训练的预训练模型往往具有很好的泛化能力。因此，人们尝试将训练好的预训练模型迁移到下游的目标任务中，以提升目标任务的处理效果。
[0003]但是，实际应用中，由于目标任务为特定领域中特定任务，比如街道上行人的检测任务等，需要运行速度较高的轻量模型结构，从而提高目标任务的执行效率。然而，预训练模型往往是具有特定结构的大规模神经网络，因此，将预训练模型迁移到目标任务中，利用该预训练模型处理目标任务，效率低。
技术实现思路
[0004]本公开实施例至少提供一种生成神经网络的方法、装置、计算机设备和存储介质。
[0005]第一方面，本公开实施例提供了一种生成神经网络的方法，包括：
[0006]获取利用第一训练样本集训练得到的教师神经网络，以及获取第二训练样本集；其中，所述第一训练样本集包括与多个预...
【技术保护点】
【技术特征摘要】
1.一种生成神经网络的方法，其特征在于，包括：获取利用第一训练样本集训练得到的教师神经网络，以及获取第二训练样本集；其中，所述第一训练样本集包括与多个预设图像处理任务对应的训练样本，所述第二训练样本集包括与目标任务对应的训练样本，所述多个预设图像处理任务包括所述目标任务；将所述第二训练样本集输入所述教师神经网络和待训练的学生神经网络中，经过所述教师神经网络对所述第二训练样本集中的第二训练样本进行处理，得到所述第二训练样本对应的第一图像特征信息，经过所述待训练的学生神经网络对所述第二训练样本集中的第二训练样本进行处理，得到所述第二训练样本对应的第二图像特征信息；基于得到的所述第一图像特征信息和所述第二图像特征信息，生成第一预测损失，并基于所述第一预测损失训练所述待训练的学生神经网络，直到满足第一预设训练截止条件，得到训练完成的学生神经网络，其中，所述第一预测损失表征所述待训练的学生网络在所述目标任务中的预测误差。2.根据权利要求1所述的方法，其特征在于，所述获取第二训练样本集，包括：获取所述目标任务对应的第三训练样本集，所述第三训练样本集包括真实样本数据；通过用于生成衍生图像的衍生神经网络对所述第三训练样本集进行处理，得到所述目标任务对应的第二训练样本集；其中，所述第二训练样本集中的第二训练样本的分布与所述第三训练样本集中的第三训练样本的分布相似。3.根据权利要求2所述的方法，其特征在于，所述通过用于生成衍生图像的衍生神经网络对所述第三训练样本集进行处理，得到所述目标任务对应的第二训练样本集，包括：将所述第三训练样本集中的至少部分第三训练样本进行掩膜处理；将进行掩膜处理后的第三训练样本输入到所述衍生神经网络中，得到所述目标任务对应的第二训练样本集。4.根据权利要求1～3任一项所述的方法，其特征在于，所述第一预设训练截止条件包括第一训练截止子条件和第二训练截止子条件；所述基于所述第一预测损失训练所述待训练的学生神经网络，直到满足第一预设训练截止条件，得到训练完成的学生神经网络，包括：基于所述第一预测损失对所述待训练的学生神经网络进行训练，直到满足第一训练截止子条件，得到初步训练完成的学生神经网络；基于第三训练样本对应于所述目标任务的标签信息和所述初步训练完成的学生神经网络对所述第三训练样本的处理结果之间的差异，生成第二预测损失，其中，所述第二预测损失表征所述初步训练完成的学生神经网络在所述目标任务中的预测误差；基于所述第二预测损失，对所述初步训练完成的学生神经网络进行训练，直到满足第二训练截止子条件，得到最终训练完成的学生神经网络。5.根据权利要求2所述的方法，其特征在于，衍生神经网络按照如下方式生成：将所述第三训练样本集作为条件生成网络的条件信息，基于所述第一训练样本集，对所述条件生成网络进行训练，其中，所述条件生成网络包括用于生成图像数据的生成器；将经过训练的所述条件生成网络中的生成器作为所述衍生神经网络。6.根据权利要求5所述的方法，其特征在于，将所述第三训练样本集作为条件生成网络的条件信息，基于所述第一训练样本集，对所述条件生成网络进行训练，包括：
基于所述条件生成网络中的生成器在所述第一训练样本集中的第一训练样本监督下生成的多个虚拟图像数据的分布，和所述第三训练样本集中的多个第三训练样本的分布，确定所述生成器的第三预测损失；根据所述第三预测损失训练所述条件生成网络。7.根据权利要求6所述的方法，其特征在于...
【专利技术属性】
技术研发人员：黄俊钦，高梦雅，王宇杰，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。