训练神经网络的方法、图像处理的方法、设备及存储介质技术

本申请公开了一种训练神经网络的方法、图像处理的方法、设备及存储介质，属于机器学习技术领域。训练神经网络的方法包括：将密集特征进行局部像素加权和全局通道加权，得到自适应密集特征；基于自适应密集特征进行对抗训练，得到对抗损失，基于对抗损失更新初始神经网络的参数，直至得到满足要求的目标神经网络。图像处理的方法包括：基于目标神经网络对目标图像进行处理。基于源域图像和目标域图像的所有层，提取密集特征，充分利用了网络底层和高层的特征，避免丢失重要特征。将密集特征进行局部像素加权和全局通道加权，得到的自适应密集特征代表性更强，提高用于图像处理的神经网络的训练精度，提高基于目标神经网络进行图像处理的效果。

Method of Training Neural Network, Method of Image Processing, Equipment and Storage Media

【技术实现步骤摘要】
训练神经网络的方法、图像处理的方法、设备及存储介质
本申请实施例涉及机器学习
，特别涉及一种训练神经网络的方法、图像处理的方法、设备及存储介质。
技术介绍
目前，随着深度学习的发展，衍生出越来越多的神经网络用于图像处理。当图像来自不同设备时，由于设备厂商的不同，得到的图像分布也不同。在图像处理过程中，对来自一个设备的图像进行精心标注，将通过该标注训练所获得的神经网络用于处理另一个设备的图像时会造成图像处理效果的大幅度下降。因此，如何训练神经网络以及如何基于训练得到的神经网络进行图像处理，是保证跨设备图像的图像处理效果稳定的关键。相关技术在训练用于图像处理的神经网络的过程中，从源域图像和目标域图像的倒数第一个和第二个层中提取图像特征，将图像特征赋予相同的权重。然后将提取的图像特征输入域适应模块进行对抗训练，获得神经网络。在实现本申请的过程中，专利技术人发现相关技术至少存在以下问题：相关技术中，在训练用于图像处理的神经网络过程中，仅从源域图像和目标域图像的倒数两层提取图像特征，可能会丢失部分重要的特征。此外，将图像特征赋予相同的权重，可能会降低用于图像处理的神经网络的训练精度，进而降低基于训练得到的神经网络进行图像处理的效果。
技术实现思路
本申请实施例提供了一种训练神经网络的方法、图像处理的方法、设备及存储介质，可用于解决相关技术中的问题。所述技术方案如下：一方面，本申请实施例提供了一种训练神经网络的方法，所述方法包括：获取对初始神经网络进行训练的训练集和测试集，所述训练集中包括多张源域图像，所述测试集中包括多张目标域图像；基于所述初始神经网络获取第一源域图像的密集特征和第一目标域图像的密集特征，所述第一源域图像为所述训练集的子集所包括的图像，所述第一目标域图像为所述测试集的子集所包括的图像；对所述第一源域图像的密集特征进行局部像素加权和全局通道加权，得到所述第一源域图像的自适应密集特征，对所述第一目标域图像的密集特征进行局部像素加权和全局通道加权，得到所述第一目标域图像的自适应密集特征；基于所述第一源域图像的自适应密集特征和所述第一目标域图像的自适应密集特征进行对抗训练，得到对抗损失，基于得到的对抗损失更新所述初始神经网络的参数，直至得到满足要求的目标神经网络。还提供了一种图像处理的方法，所述方法包括：获取待处理的目标图像；基于上述训练得到的目标神经网络对所述目标图像进行处理。另一方面，提供了一种训练神经网络的装置，所述装置包括：第一获取模块，用于获取对初始神经网络进行训练的训练集和测试集，所述训练集中包括多张源域图像，所述测试集中包括多张目标域图像；第二获取模块，用于基于所述初始神经网络获取第一源域图像的密集特征和第一目标域图像的密集特征，所述第一源域图像为所述训练集的子集所包括的图像，所述第一目标域图像为所述测试集的子集所包括的图像；加权模块，用于对所述第一源域图像的密集特征进行局部像素加权和全局通道加权，得到所述第一源域图像的自适应密集特征，对所述第一目标域图像的密集特征进行局部像素加权和全局通道加权，得到所述第一目标域图像的自适应密集特征；训练模块，用于基于所述第一源域图像的自适应密集特征和所述第一目标域图像的自适应密集特征进行对抗训练，得到对抗损失，基于得到的对抗损失更新所述初始神经网络的参数，直至得到满足要求的目标神经网络。还提供了一种图像处理的装置，所述装置包括：获取模块，用于获取待处理的目标图像；处理模块，用于基于训练得到的目标神经网络对所述目标图像进行处理。另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令在被所述处理器执行时实现上述任一所述的训练神经网络的方法，或上述任一所述的图像处理的方法。另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令，所述至少一条指令在被执行时实现上述任一所述的训练神经网络的方法，或上述任一所述的图像处理的方法。本申请实施例提供的技术方案至少带来如下有益效果：在训练用于图像处理的神经网络的过程中，基于源域图像和目标域图像的所有层，提取源域图像和目标域图像的密集特征，充分利用了网络底层和高层的特征，避免丢失部分重要的特征。将源域图像和目标域图像的密集特征进行局部像素加权和全局通道加权，获取源域图像的自适应密集特征和目标域图像的自适应密集特征，得到的自适应密集特征代表性更强，能够提高用于图像处理的目标神经网络的训练精度，进而提高基于目标神经网络进行图像处理的效果。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本申请实施例提供的一种实施环境的示意图；图2是本申请实施例提供的一种训练神经网络的方法流程图；图3是本申请实施例提供的一种基于神经网络进行图像处理的效果示意图；图4是本申请实施例提供的一种神经网络训练过程的框架图；图5是本申请实施例提供的一种图像处理的方法流程图；图6是本申请实施例提供的一种训练神经网络的装置示意图；图7是本申请实施例提供的一种训练神经网络的装置示意图；图8是本申请实施例提供的一种图像处理的装置示意图；图9是本申请实施例提供的一种服务器的结构示意图；图10是本申请实施例提供的一种终端的结构示意图。具体实施方式为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。目前，随着深度学习的发展，衍生出越来越多的神经网络用于图像处理。当图像来自不同设备时，由于设备厂商的不同，得到的图像分布也不同。在图像处理过程中，对来自一个设备的图像进行精心标注，将通过该标注训练所获得的神经网络用于处理另一个设备的图像时会造成图像处理效果的大幅度下降。因此，如何训练神经网络以及如何基于训练得到的神经网络进行图像处理，是保证跨设备图像的图像处理效果稳定的关键。对此，本申请实施例提供了一种训练神经网络的方法和一种图像处理的方法，请参考图1，其示出了本申请实施例提供的方法实施环境的示意图。该实施环境可以包括：至少一个终端11和服务器12。其中，终端11安装有基于神经网络的图像处理系统，当该图像处理系统启动后，可应用本申请实施例提供的方法训练神经网络以及基于训练得到的神经网络进行图像处理。终端11可以采集待处理的目标图像，将该待处理的目标图像发送至服务器12上进行存储。当然，终端11上也可以待处理的目标图像进行存储。从而在需要对目标图像进行处理时，采用本申请实施例提供的方法训练神经网络，然后基于训练得到的神经网络进行图像处理。可选地，终端11可以是任何一种可与用户通过键盘、触摸板、触摸屏、遥控器、语音交互或手写设备等一种或多种方式进行人机交互的电子产品，例如PC(PersonalComputer，个人计算机)、手机、智能手机、PDA(PersonalDigitalAssistant，个人数字助手)、可穿戴设备、掌上电脑PPC(PocketPC)、平板电脑、智能车机、智能电视、智能音箱等。服务器12可以是一台服务器，也可以是由多台本文档来自技高网...

【技术保护点】
1.一种训练神经网络的方法，其特征在于，所述方法包括：获取对初始神经网络进行训练的训练集和测试集，所述训练集中包括多张源域图像，所述测试集中包括多张目标域图像；基于所述初始神经网络获取第一源域图像的密集特征和第一目标域图像的密集特征，所述第一源域图像为所述训练集的子集所包括的图像，所述第一目标域图像为所述测试集的子集所包括的图像；对所述第一源域图像的密集特征进行局部像素加权和全局通道加权，得到所述第一源域图像的自适应密集特征，对所述第一目标域图像的密集特征进行局部像素加权和全局通道加权，得到所述第一目标域图像的自适应密集特征；基于所述第一源域图像的自适应密集特征和所述第一目标域图像的自适应密集特征进行对抗训练，得到对抗损失，基于得到的对抗损失更新所述初始神经网络的参数，直至得到满足要求的目标神经网络。

【技术特征摘要】
1.一种训练神经网络的方法，其特征在于，所述方法包括：获取对初始神经网络进行训练的训练集和测试集，所述训练集中包括多张源域图像，所述测试集中包括多张目标域图像；基于所述初始神经网络获取第一源域图像的密集特征和第一目标域图像的密集特征，所述第一源域图像为所述训练集的子集所包括的图像，所述第一目标域图像为所述测试集的子集所包括的图像；对所述第一源域图像的密集特征进行局部像素加权和全局通道加权，得到所述第一源域图像的自适应密集特征，对所述第一目标域图像的密集特征进行局部像素加权和全局通道加权，得到所述第一目标域图像的自适应密集特征；基于所述第一源域图像的自适应密集特征和所述第一目标域图像的自适应密集特征进行对抗训练，得到对抗损失，基于得到的对抗损失更新所述初始神经网络的参数，直至得到满足要求的目标神经网络。2.根据权利要求1所述的方法，其特征在于，所述基于所述初始神经网络获取第一源域图像的密集特征和第一目标域图像的密集特征，包括：基于所述初始神经网络对所述第一源域图像和所述第一目标域图像进行分割，得到所述第一源域图像的图像特征和所述第一目标域图像的图像特征；对所述第一源域图像的图像特征进行上采样和连接处理，得到所述第一源域图像的密集特征；对所述第一目标域图像的图像特征进行上采样和连接处理，得到所述第一目标域图像的密集特征。3.根据权利要求2所述的方法，其特征在于，所述基于所述第一源域图像的自适应密集特征和所述第一目标域图像的自适应密集特征进行对抗训练，得到对抗损失，包括：基于所述第一源域图像的自适应密集特征获取所述第一源域图像的第一预测结果，将所述第一预测结果与所述第一源域图像的第一标注计算第一对抗损失；基于所述第一目标域图像的自适应密集特征获取所述第一目标域图像的第二预测结果，将所述第二预测结果与所述第一目标域图像的第二标注计算第二对抗损失。4.根据权利要求3所述的方法，其特征在于，所述得到所述第一源域图像的图像特征之后，还包括：基于所述第一源域图像的图像特征获取所述第一源域图像的第三预测结果，将所述第三预测结果与所述第一源域图像的第三标注计算交叉熵损失；所述基于得到的对抗损失更新所述初始神经网络的参数，包括：基于所述第一对抗损失、所述第二对抗损失与所述交叉熵损失更新所述初始神经网络的参数。5.根据权利要求1-4任一所述的方法，其特征在于，所述对所述第一源域图像的密集特征进行局部像素加权和全局通道加权，得到所述第一源域图像的自适应密集特征，对所述第一目标域图像的密集特征进行局部像素加权和全局通道加权，得到所述第一目标域图像的自适应密集特征，包括：获取注意力模型；基于所述注意力模型对所述第一源域图像的密集特征进行局部像素加权...

【专利技术属性】
技术研发人员：边成，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44