网络训练方法及装置、图像识别方法及装置制造方法及图纸

本公开涉及一种网络训练方法及装置、图像识别方法及装置，该网络训练方法包括：将第n个任务的多个第一样本图像输入第n‑1个任务训练后的神经网络处理，得到多个第一处理结果；将前n‑1个任务的n‑1组第二样本图像输入神经网络中处理，得到n‑1组第二处理结果；根据多个第一样本图像的标注结果及第一处理结果，n‑1组第二样本图像的标注结果及第二处理结果，确定神经网络针对第n个任务的第一梯度、前n‑1个任务的共享梯度及前n‑1个任务中每个任务的场景梯度；根据第一梯度、共享梯度及场景梯度确定第n个任务的目标梯度；根据目标梯度，训练神经网络。本公开实施例可提高神经网络的训练效果。

Network training method and device, image recognition method and device

【技术实现步骤摘要】
网络训练方法及装置、图像识别方法及装置
本公开涉及计算机
，尤其涉及一种网络训练方法及装置、图像识别方法及装置。
技术介绍
在计算机视觉等领域，经常需要对图像中的目标(例如人脸)进行识别。例如，在智能视频监控系统中，可通过对图像中的目标样本与候选样本之间的相似性进行度量，从大量候选样本中找出目标样本。随着监控设备的快速发展，每天会产生大量的目标(例如人脸)数据，利用这些数据来进行持续训练模型成为业界的紧迫需求。然而在相关技术中，通常利用大量数据进行一次性的多任务模型训练，训练时效性较差，无法满足精度需求。
技术实现思路
本公开提出了一种网络训练及图像识别技术方案。根据本公开的一方面，提供了一种网络训练方法，包括：将N个任务的第n个任务的多个第一样本图像输入第n-1个任务训练后的神经网络中处理，得到多个第一处理结果，1＜n≤N，n，N为整数；将所述N个任务的前n-1个任务的n-1组第二样本图像输入所述神经网络中处理，得到n-1组第二处理结果；根据所述多个第一样本图像的标注结果及所述多个第一处理结果，所述n-1组第二样本图像的标注结果及所述n-1组第二处理结果，分别确定所述神经网络针对所述第n个任务的第一梯度、针对所述前n-1个任务的第一共享梯度以及针对所述前n-1个任务中每个任务的第一场景梯度；根据所述第n个任务的第一梯度、所述前n-1个任务的第一共享梯度及所述前n-1个任务中每个任务的第一场景梯度，确定所述第n个任务的第一目标梯度；根据所述第n个任务的第一目标梯度，训练所述神经网络。在一种可能的实现方式中，根据所述多个第一样本图像的标注结果及所述多个第一处理结果，所述n-1组第二样本图像的标注结果及所述n-1组第二处理结果，分别确定所述神经网络针对所述第n个任务的第一梯度、针对所述前n-1个任务的第一共享梯度以及针对所述前n-1个任务中每个任务的第一场景梯度，包括：根据所述多个第一样本图像的标注结果及所述多个第一处理结果，确定所述神经网络针对所述第n个任务的第一梯度；根据所述n-1组第二样本图像的标注结果及所述n-1组第二处理结果，确定所述神经网络针对所述前n-1个任务的第二梯度；根据所述前n-1个任务的第二梯度，确定所述前n-1个任务的第一共享梯度以及所述前n-1个任务中每个任务的第一场景梯度。在一种可能的实现方式中，根据所述前n-1个任务的第二梯度，确定所述前n-1个任务的第一共享梯度以及所述前n-1个任务中每个任务的第一场景梯度，包括：根据所述前n-1个任务的第二梯度的平均值，确定所述前n-1个任务的第一共享梯度；根据所述前n-1个任务中各个所述任务的第二梯度与所述第一共享梯度之间的差值，确定各个所述任务的第一场景梯度。在一种可能的实现方式中，所述第一目标梯度与所述第一共享梯度的方向相同，且所述第一目标梯度与所述前n-1个任务的第一场景梯度正交。在一种可能的实现方式中，根据所述第n个任务的第一梯度、所述前n-1个任务的第一共享梯度及所述前n-1个任务中每个任务的第一场景梯度，确定所述第n个任务的第一目标梯度，包括：对所述前n-1个任务的第一场景梯度进行主成分分析，从所述前n-1个任务的第一场景梯度中确定出q个第一场景梯度，q为正整数且q＜n-1；根据所述第n个任务的第一梯度、所述前n-1个任务的第一共享梯度及所述q个第一场景梯度，确定所述第n个任务的第一目标梯度，其中，所述第一目标梯度与所述第一共享梯度的方向相同，且所述第一目标梯度与所述q个第一场景梯度正交。在一种可能的实现方式中，所述神经网络包括多个网络层，所述方法还包括：根据所述多个第一样本图像的标注结果及所述多个第一处理结果，所述n-1组第二样本图像的标注结果及所述n-1组第二处理结果，分别确定各个所述网络层针对所述第n个任务的第三梯度、针对所述前n-1个任务的第二共享梯度以及针对所述前n-1个任务中每个任务的第二场景梯度；根据所述第n个任务的第三梯度、所述前n-1个任务的第二共享梯度及所述前n-1个任务中每个任务的第二场景梯度，确定各个所述网络层针对所述第n个任务的第二目标梯度；根据各个所述网络层针对所述第n个任务的第二目标梯度，训练所述神经网络的各个所述网络层。在一种可能的实现方式中，根据所述多个第一样本图像的标注结果及所述多个第一处理结果，所述n-1组第二样本图像的标注结果及所述n-1组第二处理结果，分别确定各个所述网络层针对所述第n个任务的第三梯度、针对所述前n-1个任务的第二共享梯度以及针对所述前n-1个任务中每个任务的第二场景梯度，包括：根据所述多个第一样本图像的标注结果及所述多个第一处理结果，分别确定所述神经网络的各个网络层针对所述第n个任务的第三梯度；根据所述n-1组第二样本图像的标注结果及所述n-1组第二处理结果，分别确定所述神经网络的各个网络层针对所述前n-1个任务的第四梯度；根据所述前n-1个任务的第四梯度，分别确定各个所述网络层针对所述前n-1个任务的第二共享梯度以及针对所述前n-1个任务中每个任务的第二场景梯度。在一种可能的实现方式中，根据所述前n-1个任务的第四梯度，分别确定各个所述网络层针对所述前n-1个任务的第二共享梯度以及针对所述前n-1个任务中每个任务的第二场景梯度，包括：将各个所述网络层针对所述前n-1个任务的第四梯度的平均值，确定为各个所述网络层针对所述前n-1个任务的第二共享梯度；将各个所述网络层针对所述前n-1个任务中各个任务的第四梯度与所述第二共享梯度之间的差值，确定为各个所述网络层针对各个所述任务的第二场景梯度。在一种可能的实现方式中，各个所述网络层的所述第二目标梯度与所述第二共享梯度的方向相同，且各个所述网络层的所述第二目标梯度与所述前n-1个任务的第二场景梯度正交。在一种可能的实现方式中，根据所述第n个任务的第三梯度、所述前n-1个任务的第二共享梯度及所述前n-1个任务中每个任务的第二场景梯度，确定各个所述网络层针对所述第n个任务的第二目标梯度，包括：对任一网络层针对所述前n-1个任务的第二场景梯度进行主成分分析，从所述前n-1个任务的第二场景梯度中确定出r个第二场景梯度，r为正整数且r＜n-1；根据所述网络层针对所述第n个任务的第三梯度、所述前n-1个任务的第二共享梯度及所述r个第二场景梯度，确定所述网络层针对所述第n个任务的第二目标梯度，其中，所述第二目标梯度与所述第二共享梯度的方向相同，且所述第二目标梯度与所述r个第二场景梯度正交。根据本公开的一方面，提供了一种图像识别方法，包括：将待处理图像输入神经网络中处理，得到所述待处理图像的图像识别结果，所述神经网络是根据上述的网络训练方法训练得到的。根据本公开的一方面，提供了一种网络训练装置，包括：第一处理模块，用于将N个任务的第n个任务的多个第一样本图像输入第n-1个任务训练后的神经网络中处理，得到多个第一处理结果，1＜n≤N，n，N为整数；第二处理模块，用于将所述N个任务的前n-1个任务的n-1组第二样本图像输入所述神经网络中处理，得到n-1组第二处理结果；第一本文档来自技高网...

【技术保护点】
1.一种网络训练方法，其特征在于，包括：/n将N个任务的第n个任务的多个第一样本图像输入第n-1个任务训练后的神经网络中处理，得到多个第一处理结果，1＜n≤N，n，N为整数；/n将所述N个任务的前n-1个任务的n-1组第二样本图像输入所述神经网络中处理，得到n-1组第二处理结果；/n根据所述多个第一样本图像的标注结果及所述多个第一处理结果，所述n-1组第二样本图像的标注结果及所述n-1组第二处理结果，分别确定所述神经网络针对所述第n个任务的第一梯度、针对所述前n-1个任务的第一共享梯度以及针对所述前n-1个任务中每个任务的第一场景梯度；/n根据所述第n个任务的第一梯度、所述前n-1个任务的第一共享梯度及所述前n-1个任务中每个任务的第一场景梯度，确定所述第n个任务的第一目标梯度；/n根据所述第n个任务的第一目标梯度，训练所述神经网络。/n

【技术特征摘要】
1.一种网络训练方法，其特征在于，包括：
将N个任务的第n个任务的多个第一样本图像输入第n-1个任务训练后的神经网络中处理，得到多个第一处理结果，1＜n≤N，n，N为整数；
将所述N个任务的前n-1个任务的n-1组第二样本图像输入所述神经网络中处理，得到n-1组第二处理结果；
根据所述多个第一样本图像的标注结果及所述多个第一处理结果，所述n-1组第二样本图像的标注结果及所述n-1组第二处理结果，分别确定所述神经网络针对所述第n个任务的第一梯度、针对所述前n-1个任务的第一共享梯度以及针对所述前n-1个任务中每个任务的第一场景梯度；
根据所述第n个任务的第一梯度、所述前n-1个任务的第一共享梯度及所述前n-1个任务中每个任务的第一场景梯度，确定所述第n个任务的第一目标梯度；
根据所述第n个任务的第一目标梯度，训练所述神经网络。


2.根据权利要求1所述的方法，其特征在于，根据所述多个第一样本图像的标注结果及所述多个第一处理结果，所述n-1组第二样本图像的标注结果及所述n-1组第二处理结果，分别确定所述神经网络针对所述第n个任务的第一梯度、针对所述前n-1个任务的第一共享梯度以及针对所述前n-1个任务中每个任务的第一场景梯度，包括：
根据所述多个第一样本图像的标注结果及所述多个第一处理结果，确定所述神经网络针对所述第n个任务的第一梯度；
根据所述n-1组第二样本图像的标注结果及所述n-1组第二处理结果，确定所述神经网络针对所述前n-1个任务的第二梯度；
根据所述前n-1个任务的第二梯度，确定所述前n-1个任务的第一共享梯度以及所述前n-1个任务中每个任务的第一场景梯度。


3.根据权利要求2所述的方法，其特征在于，根据所述前n-1个任务的第二梯度，确定所述前n-1个任务的第一共享梯度以及所述前n-1个任务中每个任务的第一场景梯度，包括：
根据所述前n-1个任务的第二梯度的平均值，确定所述前n-1个任务的第一共享梯度；
根据所述前n-1个任务中各个所述任务的第二梯度与所述第一共享梯度之间的差值，确定各个所述任务的第一场景梯度。


4.根据权利要求1-3中任意一项所述的方法，其特征在于，所述第一目标梯度与所述第一共享梯度的方向相同，且所述第一目标梯度与所述前n-1个任务的第一场景梯度正交。


5.根据权利要求1-3中任意一项所述的方法，其特征在于，根据所述第n个任务的第一梯度、所述前n-1个任务的第一共享梯度及所述前n-1个任务中每个任务的第一场景梯度，确定所述第n个任务的第一目标梯度，包括：
对所述前n-1个任务的第一场景梯度进行主成分分析，从所述前n-1个任务的第一场景梯度中确定出q个第一场景梯度，q为正整数且q＜n-1；
根据所述第n个任务的第一梯度、所述前n-1个任务的第一共享梯度及所述q个第一场景梯度，确定所述第n个任务的第一目标梯度，
其中，所述第一目标梯度与所述第一共享梯度的方向相同，且所述第一目标梯度与所述q个第一场景梯度正交。


6.根据权利要求1-5中任意一项所述的方法，其特征在于，所述神经网络包括多个网络层，所述方法还包括：
根据所述多个第一样本图像的标注结果及所述多个第一处理结果，所述n-1组第二样本图像的标注结果及所述n-1组第二处理结果，分别确定各个所述网络层针对所述第n个任务的第三梯度、针对所述前n-1个任务的第二共享梯度以及针对所述前n-1个任务中每个任务的第二场景梯度；
根据所述第n个任务的第三梯度、所述前n-1个任务的第二共享梯度及所述前n-1个任务中每个任务的第二场景梯度，确定各个所述网络层针对所述第n个任务的第二目标梯度；
根据各个所述网络层针对所述第n个任务的第二目标梯度，训练所述神经网络的各个所述网络层。


7.根据权利要求6所述的方法，其特征在于，根据所述多个第一样本图像的标注结果及所述多个第一处理结果，所述n-1组第二样本图像的标注结果及所...

【专利技术属性】
技术研发人员：唐诗翔，陈大鹏，赵瑞，陈肇康，艾春伶，
申请(专利权)人：深圳市商汤科技有限公司，
类型：发明
国别省市：广东;44