神经网络的训练方法、数据获取方法和装置制造方法及图纸

本申请公开了人工智能领域中的一种神经网络的训练方法、数据获取方法和装置。该神经网络的训练方法包括：获取训练数据；使用训练数据对所述神经网络进行训练，使得神经网络从训练数据中学习分解域不变特征和域特定特征。通过从训练数据中分解域不变特征和域特定特征，使得域不变特征能够与域特定特征解耦；其中，所述域特定特征为表征所述训练数据所属的领域的特征，所述域不变特征为与所述训练数据所属领域无关的特征。由于本申请的方法训练的神经网络使用特征解耦得到的域不变特征来执行任务，避免了域特定特征对于神经网络的影响，从而提升了神经网络在不同领域之间的迁移性能。

【技术实现步骤摘要】
神经网络的训练方法、数据获取方法和装置
本申请涉及人工智能领域，具体涉及一种神经网络的训练方法、数据获取方法和装置。
技术介绍
人工智能(artificialintelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能领域的研究包括机器人，自然语言处理，计算机视觉，决策与推理，人机交互，推荐与搜索，AI基础理论等。例如，在计算机视觉相关的应用场景中，以机器学习方式训练的神经网络可用于完成目标分类/检测/识别/分割/预测等多种任务。在很多应用场景下，训练样本和测试样本很可能来自不同的域，这会为神经网络的实际应用带来问题。例如，在车辆检测的应用场景下，源域数据可能是晴天拍摄的交通场景图像，而目标域数据却是雾天拍摄的交通场景本文档来自技高网...

【技术保护点】
1.一种神经网络的训练方法，其特征在于，包括：/n获取训练数据；/n使用所述训练数据对神经网络进行训练，使得所述神经网络从所述训练数据中学习分解域不变特征和域特定特征；/n其中，所述域特定特征为表征所述训练数据所属的领域的特征，所述域不变特征为与所述训练数据所属领域无关的特征。/n

【技术特征摘要】
1.一种神经网络的训练方法，其特征在于，包括：
获取训练数据；
使用所述训练数据对神经网络进行训练，使得所述神经网络从所述训练数据中学习分解域不变特征和域特定特征；
其中，所述域特定特征为表征所述训练数据所属的领域的特征，所述域不变特征为与所述训练数据所属领域无关的特征。


2.根据权利要求1所述的方法，其特征在于，所述使用所述训练数据对神经网络进行训练包括：
从所述训练数据的特征中分解出域不变特征和域特定特征；
使用所述域不变特征执行任务，得到任务损失，并计算所述域不变特征和所述域特定特征之间的互信息损失，所述任务损失用于表征使用所述域不变特征执行任务所得到的结果与任务标签之间的差距，所述互信息损失用于表示所述域不变特征和所述域特定特征之间的差异；
根据所述任务损失和所述互信息损失，训练所述神经网络。


3.根据权利要求2所述的方法，其特征在于，还包括：
使用所述域特定特征进行域分类，得到域分类损失；
其中，所述根据所述任务损失和所述互信息损失，训练所述神经网络，包括：
根据所述任务损失、所述互信息损失和所述域分类损失训练所述神经网络。


4.根据权利要求2或3所述的方法，其特征在于，所述从所述训练数据的特征中分解出域不变特征和域特定特征，包括：
从所述训练数据中提取初始特征；
将所述初始特征分解成所述域不变特征和所述域特定特征，
其中，所述方法，还包括：
训练所述神经网络，以减小所述初始特征所包含的信息与所述域不变特征和所述域特定特征共同包含的信息之间的差异。


5.根据权利要求4所述的方法，其特征在于，在所述训练所述神经网络，以减小所述初始特征所包含的信息与所述域不变特征和所述域特定特征共同包含的信息之间的差异之前，还包括：
使用所述域不变特征和所述域特定特征对所述初始特征进行重建，得到重建特征；
比较所述初始特征和所述重建特征，以确定所述初始特征所包含的信息与所述域不变特征和所述域特定特征共同包含的信息之间的差异。


6.根据权利要求2所述的方法，其特征在于，还包括：
使用所述域不变特征和所述域特定特征对初始特征进行重建，得到重建特征，其中所述域不变特征和所述域特定特征是从所述初始特征中分解出的特征；
比较所述初始特征和所述重建特征以获取重建损失，所述重建损失用于表征所述初始特征所包含的信息与所述域不变特征和所述域特定特征共同包含的信息之间的差异，
其中，所述根据所述任务损失和所述互信息损失，训练所述神经网络，包括：
根据所述任务损失，对所述神经网络进行第一阶段的训练；
根据所述互信息损失，对所述神经网络进行第二阶段的训练，
其中，所述方法还包括：
根据所述重建损失，对所述神经网络进行第三阶段的训练。


7.根据权利要求2或3所述的方法，其特征在于，所述神经网络包括第一解耦器和第二解耦器，所述从所述训练数据的特征中分解出域不变特征和域特定特征，包括：
从所述训练数据中提取所述训练数据的第一特征；
采用所述第一解耦器从所述第一特征中提取初步域不变特征和初步域特定特征；
将所述初步域不变特征与所述第一特征融合，得到第二特征；
从所述第二特征中提取所述训练数据的第三特征；
采用第二解耦器从所述第三特征中提取所述域不变特征和所述域特定特征。


8.根据权利要求7所述的方法，其特征在于，还包括：
训练所述神经网络，以减小所述第三特征所包含的信息与所述域不变特征和所述域特定特征共同所包含的信息之间的差异。


9.根据权利要求1至8中的任一项所述的方法，其特征在于，所述神经网络用于进行域自适应学习，所述训练数据包括不同领域的图像数据。


10.一种数据获取方法，其特征在于，包括：
获取源域的数据和/或目标域的数据；
将所述源域的数据和/或所述目标域的数据输入神经网络进行训练，以获取损失函数的梯度信息；
根据所述梯度信息，对所述源域的数据和/或所述目标域的数据进行扰动，得到中间域的数据；
其中，所述源域和所述目标域为数据特征存在差异的两个领域，所述中间域与所述源域和所述目标域中的任一领域之间的数据特征的差异小于所述源域和所述目标域之间的数据特征的差异。


11.根据权利要求10所述的方法，其特征在于，所述将所述源域的数据和/或所述目标域的数据输入神经网络进行训练，以获取损失函数的梯度信息，包括：
将所述源域的带有标签的数据输入第一神经网络，进行训练，得到第一梯度信息，其中，所述第一神经网络是基于所述目标域的带有标签的数据训练生成的。


12.根据权利要求10所述的方法，其特征在于，所述将所述源域的数据和/或所述目标域的数据输入神经网络进行训练，以获取损失函数的梯度信息，包括：
将所述目标域的没有标签的数据输入第二神经网络，以虚拟对抗训练的方式进行训练，得到第二梯度信息，其中，所述第二神经网络是基于带有标签的数据训练生成的。


13.一种神经网络的训练装置，其特征在于，包括：
获取模块，配置为获取训练数据；
训练模块，配置为使用所述训练数据对神经网络进行训练，使得所述神经网络从所述训练数据中学习分解域不变特征和域特定特征；
其中，所述域特定特征为表征所述训练数据所属的领域的特征，所述域不变特征为与所述训练数据所属领域无关的特征。


14.根据权利要求13所述的装置，其特征在于，所述训练模块配置为，从所述训练数据的特征中分解出域不变特征和域特定特征；使用所述域不变特征执行任务，得到任务损失，并计算所述域不变特征和所述域特定特征之间的互信息损失，所述任务损失用于表征使用所述域不变特征执行任务所得到的结果与任务标签之间的差距，所述互信息损失用于表示所述域不变特征和所述域特定特征之间的差异；根据所述任务损失和所述互信息损失，训练所述神经网络。


15.根据权利要求14所述的装置，其特征在于，所述训练模块进一步配置为，使用所述域特定特征进行域分类，得到域分类损失；根据所述任务损失、所述互信息损失和所述域分类损失训练所述神经网络。


16.根据权利要求14或15所述的装置，其特征在于，所述训练模块进一步配置为，从所述训练数据中提取初始特征；将所述初始特征分解成所述域不变特征和所述域特定特征；训练所述神经网络，以减小所述初始特征所包含的信息与所述域不变特征和所述域特定特...

【专利技术属性】
技术研发人员：韩亚洪，姜品，武阿明，邵云峰，齐美玉，李秉帅，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44