一种数据的处理方法、神经网络的训练方法以及相关设备技术

本申请实施例公开一种数据的处理方法、神经网络的训练方法以及相关设备，该方法可用于人工智能领数据域中，方法包括：获取与待处理样本对应的目标指示信息，目标指示信息用于指示待处理样本在R个不同的数据域中的至少一个归属数据域；从R组第一参数值中获取与至少一个归属数据域对应的至少一组第一参数值；根据至少一组第一参数值确定至少一个第一神经网络，每个第一神经网络采用的为R组中的一组第一参数值；通过至少一个第一神经网络，生成与待处理样本对应的第一预测结果。配置有与R个数据域一一对应的R组第一参数值，提高神经网络输出的预测结果的精度；由于该R组第一参数值是预先训练好的，避免了对用户端的计算资源的占用。的占用。的占用。

【技术实现步骤摘要】
一种数据的处理方法、神经网络的训练方法以及相关设备
[0001]技术领数据域
[0002]本申请涉及人工智能领数据域，尤其涉及一种数据的处理方法、神经网络的训练方法以及相关设备。

技术介绍

[0003]人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
[0004]利用神经网络进行数据处理是人工智能常见的一个应用方式，但由于用户端的数据具有多样性，训练好的神经网络不能很好的对用户端的数据进行个性化适应。
[0005]为了解决上述问题，目前，在将训练好的神经网络配置于用户端后，可以收集用户端的数据，并利用用户端的数据对神经网络进行再次训练，但由于需要在用户端执行训练操作，导致该方案需要占用用户端大量的计算资源。

技术实现思路

[0006]本申请实施例提供了一种数据的处理方法、神经网络的训练方法以及相关设备，用于配置有与R个数据域一一对应的R组第一参数值，从而R组第一参数值分别能够适应R个不同的数据域的数据特性，以提高神经网络输出的预测结果的精度；此外，由于该R组第一参数值是预先训练好的，也即不需要在用户端进行再次训练，避免了对用户端的计算资源的占用。
[0007]为解决上述技术问题，本申请实施例提供以下技术方案：
[0008]第一方面，本申请实施例提供一种数据的处理方法，可用于人工智能领域中，执行设备中配置有R组第一参数值，R组第一参数值和R个数据域一一对应，也即R组第一参数值分别通过来自于R个不同的数据域的数据训练得到，R个数据域中不同的数据域中的数据所对应的数据分布特性不同，也可以称为R个数据域中不同的数据域中的数据所对应的数据分布规律不同，R为大于1的整数。作为示例，例如第一神经网络用于进行图像分类，也即训练样本具体表现为图像，则不同的数据域的图像可以为来源于不同的图像采集装置，或者，不同的数据域的图像所对应的图像采集时刻为不同的时刻，或者，不同的数据域的图像来自于不同的图像采集地点，或者，不同的数据域的图像中拍摄对象的对象类型不同。方法包括：执行设备获取与待处理样本对应的目标指示信息，目标指示信息用于指示待处理样本在R个不同的数据域中的至少一个归属数据域；目标指示信息可以包括与R个不同的数据域一一对应的R个值，R个值分别用于指示目标训练样本归属于R个不同的数据域的概率。执行设备从R组第一参数值中获取与至少一个归属数据域对应的至少一组第一参数值；在一种情况下，目标指示信息用于指示目标训练样本在R个不同的数据域中的一个归属数据域，在
另一种情况下，目标指示信息用于指示目标训练样本在R个不同的数据域中的多个归属数据域。执行设备根据至少一组第一参数值确定至少一个第一神经网络，每个第一神经网络采用的为R组中的一组第一参数值，不同的第一神经网络的功能相同；通过至少一个第一神经网络，对待处理样本进行处理，以生成与待处理样本对应的第一预测结果。
[0009]本实现方式中，执行设备上配置有R组第一参数值，R组第一参数值与R个数据域一一对应，在获取到待处理样本后，会先确定待处理样本在R个不同的数据域中的至少一个归属数据域，进而从R组第一参数值中选取至少一个组第一参数值，并根据该至少一组第一参数值确定至少一个第一神经网络，进而利用前述至少一个第一神经网络确定与待处理样本对应的预测结果；也即该R组不同的第一参数值是基于R个不同的数据域的训练样本训练得到的，从而R组第一参数值分别能够适应R个不同的数据域的数据特性，能够根据待处理样本所处的数据域，来灵活的获取对应的神经网络，以提高获取到的神经网络对用户端的待处理样本的适应性，以提高神经网络输出的预测结果的精度；此外，由于该R组第一参数值是预先训练好的，也即不需要在用户端进行再次训练，避免了对用户端的计算资源的占用。
[0010]在第一方面的一种可能实现方式中，执行设备还配置有第二参数值，第一参数值为第一神经网络中的第一神经网络层采用的参数值，第二参数值为第一神经网络中的第二神经网络层采用的参数值，第一神经网络层为第一神经网络中用于执行归一化操作的神经网络层，或者，第一神经网络层也可以称为第一神经网络中用于执行标准化操作的神经网络层等。作为示例，例如第一神经网络层具体可以表现为批正则化层(batch normalization layer，BN)、用于进行层归一化(layer normalization，LN)的神经网络层、用于进行实例正常化(instance normalization，IN)的神经网络层或其他能够执行归一化操作的神经网络层等，此处不做穷举。第二神经网络层为第一神经网络中除第一神经网络层之外的神经网络层，至少一个第一神经网络中不同的第一神经网络采用的为相同的第二参数值。执行设备根据至少一组第一参数值确定至少一个第一神经网络，可以包括：训练设备将至少一组中目标组的第一参数值和该一组第二参数值代入第三神经网络中，得到一个第一神经网络；其中，目标组的第一参数值是至少一组第一参数值中任意一组第一参数值，第三神经网络与第一神经网络的网络架构完全相同，第三神经网络与第一神经网络区别在于第三神经网络中的参数没有参数值，而第一神经网络中的参数有参数值。训练设备对至少一组中每组第一参数值均执行前述操作，从而得到与至少一组第一参数值一一对应的至少一个第一神经网络。
[0011]本实现方式中，由于技术人员在研究中发现不同数据域的数据影响最大的是神经网络中用于执行归一化操作的神经网络层，则仅配置与R个数据域一一对应的R组第一参数值，也即R个第一神经网络中不同之处在于用于执行归一化操作的神经网络层的参数的取值不同，减少了需要发送给用户端的参数量，有利于提高网络资源的利用率，且训练后的R组第一参数值分别与R个数据域适配，从而可以利用R组第一参数值对R个不同数据域的待处理样本有很好的适配，以提高第一神经网络输出的预测结果的准确率。
[0012]在第一方面的一种可能实现方式中，执行设备获取与待处理样本对应的目标指示信息，包括：执行设备将待处理样本输入至第二神经网络，得到第二神经网络输出的目标指示信息。其中，第一神经网络的功能与第二神经网络的功能不同，第二神经网络包括第一特征提取网络，第一神经网络包括第二特征提取网络，第一特征提取网络和第二特征提取网
络的网络架构相同，第一特征提取网络和第二特征提取网络采用为相同的第二参数值。需要说明的是，第二参数值是一个泛指的概念，第二参数值泛指第一神经网络中第二神经网络层所采用的参数值，和，第二特征提取网络中第二神经网络层所采用的参数值；执行设备配置的一组第二参数值中不仅包括第一特征提取网络中第二神经网络层的参数值，还包括第一分类网络中第二神经网络层的参数值，从而本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据的处理方法，其特征在于，所述方法应用于执行设备，所述执行设备中配置有R组第一参数值，所述R组第一参数值和R个数据域一一对应，R个数据域中不同的数据域中的数据所对应的数据分布特性不同，R为大于1的整数，所述方法包括：获取与待处理样本对应的目标指示信息，所述目标指示信息用于指示所述待处理样本在所述R个不同的数据域中的至少一个归属数据域；从所述R组第一参数值中获取与所述至少一个归属数据域对应的至少一组第一参数值；根据所述至少一组第一参数值确定至少一个第一神经网络，每个第一神经网络采用的为所述R组中的一组第一参数值，不同的第一神经网络的功能相同；通过所述至少一个第一神经网络，对所述待处理样本进行处理，以生成与所述待处理样本对应的第一预测结果。2.根据权利要求1所述的方法，其特征在于，所述执行设备还配置有第二参数值，所述第一参数值为所述第一神经网络中的第一神经网络层采用的参数值，所述第二参数值为所述第一神经网络中的第二神经网络层采用的参数值，所述第一神经网络层为所述第一神经网络中用于执行归一化操作的神经网络层，所述第二神经网络层为所述第一神经网络中除所述第一神经网络层之外的神经网络层，所述至少一个第一神经网络中不同的第一神经网络采用的为相同的第二参数值。3.根据权利要求2所述的方法，其特征在于，所述获取与待处理样本对应的目标指示信息，包括：将所述待处理样本输入至第二神经网络，得到所述第二神经网络输出的所述目标指示信息；其中，所述第一神经网络的功能与所述第二神经网络的功能不同，所述第二神经网络包括第一特征提取网络，所述第一神经网络包括第二特征提取网络，所述第一特征提取网络和所述第二特征提取网络的网络架构相同，所述第一特征提取网络和所述第二特征提取网络采用为相同的第二参数值。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述通过所述至少一个第一神经网络，对所述待处理样本进行处理，以生成与所述待处理样本对应的第一预测结果，包括：通过所述至少一个第一神经网络中不同的第一神经网络，分别对所述待处理样本进行处理，以生成与所述待处理样本对应的至少一个第二预测结果；根据所述至少一个第二预测结果，确定所述第一预测结果。5.根据权利要求1至3中任一项所述的方法，其特征在于，所述待处理样本包括N组支撑样本和查询样本，N为大于或等于1的整数，所述N组支撑样本和所述查询样本与元任务对应。6.根据权利要求1所述的方法，其特征在于，所述第一神经网络用于执行分类操作或回归操作。7.一种神经网络的训练方法，其特征在于，所述方法包括：获取目标训练样本，并获取与所述目标训练样本对应的目标指示信息，所述目标指示信息用于指示所述目标训练样本在R个不同的数据域中归属数据域；
根据所述目标指示信息，从所述R组第一参数值中获取至少一组第一参数值；根据所述至少一组第一参数值确定至少一个第一神经网络，所述至少一个第一神经网络中每个第一神经网络采用的为所述R组中的一组第一参数值，不同的所述第一神经网络的功能相同；通过所述至少一个第一神经网络，对所述目标训练样本进行处理，以生成与所述目标训练样本对应的第一预测结果；根据与所述目标训练样本对应的第一期望结果和所述第一预测结果，生成第一损失函数的函数值，并根据所述第一损失函数的函数值，对所述至少一个第一神经网络进行训练，以对所述至少一组第一参数值进行更新，直至满足预设条件，其中，所述第一损失函数指示所述期望结果和所述第一预测结果之间的相似度。8.根据权利要求7所述的方法，其特征在于，所述获取与所述目标训练样本对应的目标指示信息，包括：将所述目标训练样本输入至第二神经网络，以通过所述第二神经网络输出所述目标指示信息，所述第一神经网络的功能与所述第二神经网络的功能不同；所述方法还包括：根据与所述目标训练样本对应的第二期望结果和所述目标指示信息，生成第二损失函数的函数值，其中，所述第二期望结果指示所述目标训练样本在所述R个不同的数据域中正确的归属数据域，所述第二损失函数指示所述第二期望结果和所述目标指示信息之间的相似度；所述根据所述第一损失函数的函数值，对所述至少一个第一神经网络进行训练，包括：根据所述第一损失函数的函数值和所述第二损失函数的函数值，对所述第二神经网络和所述至少一个第一神经网络进行训练。9.根据权利要求7所述的方法，其特征在于，所述根据所述第一损失函数的函数值，对所述至少一个第一神经网络进行训练，以对所述至少一组第一参数值进行更新，包括：根据所述第一损失函数的函数值，对所述至少一个第一神经网络进行训练，以对所述至少一组第一参数值和第二参数值进行更新；其中，所述第一参数值为所述第一神经网络中的第一神经网络层采用的参数值，所述第二参数值为所述第一神经网络中的第二神经网络层采用的参数值，所述第一神经网络层为所述第一神经网络中用于执行归一化操作的神经网络层，所述第二神经网络层为所述第一神经网络中除所述第一神经网络层之外的神经网络层，所述至少一个第一神经网络中不同的第一神经网络采用的为相同的第二参数值。10.根据权利要求9所述的方法，其特征在于，所述方法还包括：根据与所述目标训练样本对应的第二期望结果和所述目标指示信息，生成第二损失函数的函数值，其中，所述第二期望结果指示所述目标训练样本在所述R个不同的数据域中正确的归属数据域，所述第二损失函数指示所述第二期望结果和所述目标指示信息之间的相似度；所述根据所述第一损失函数的函数值，对所述至少一个第一神经网络进行训练，以对所述至少一组第一参数值和第二参数值进行更新，包括：根据所述第一损失函数的函数值和所述第二损失函数的函数值，对所述第二神经网络
和所述至少一个第一神经网络进行训练，以对所述至少一组第一参数值、所述第二参数值和第三参数值进行更新；其中，所述第二神经网络包括第一特征提取网络，所述第一神经网络包括第二特征提取网络，所述第一特征提取网络和所述第二特征提取网络的网络架构相同，所述第一特征提取网络和所述第二特征提取网络采用为相同的第二参数值，所述第二神经网络中用于进行归一化处理的神经网络层采用的为所述第三参数值。11.根据权利要求7至10任一项所述的方法，其特征在于，所述通过所述至少一个第一神经网络，对所述待处理样本进行处理，以生成与所述待处理样本对应的第一预测结果，包括：通过所述至少一个第一神经网络中不同的第一神经网络，分别对所述待处理样本进行处理，以生成与所述待处理样本对应的至少一个第二预测结果；根据所述至少一个第二预测结果，确定所述第一预测结果。12.根据权利要求7至10任一项所述的方法，其特征在于，所述目标训练样本包括N组支撑样本和查询样本，N为大于或等于1的整数，所述N组支撑样本和所述查询样本与元任务对应。13.一种数据的处理装置，其特征在于，所述数据的处理装置中配置有R组第一参数值，所述R组第一参数值和R个数据域一一对应，R个数据域中不同的数据域中的数据所对应的数据分布特性不同，R为大于1的整数，所述装置包括：获取模块，用于获取与待处理样本对应的目标指示信息...

【专利技术属性】
技术研发人员：黎嘉伟，洪蓝青，鞠园，杨扩，李震国，叶翰嘉，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：