用于定位多目标特征点的深度学习模型的构建方法及装置制造方法及图纸

本申请实施例提供一种用于定位多目标特征点的深度学习模型的构建方法及装置，涉及人工智能领域，包括获取堆叠沙漏网络、检测网络、定位网络以及输出网络；组合堆叠沙漏网络、检测网络、定位网络以及输出网络得到多任务学习网络模型；在多任务学习网络模型中设置加权目标函数、预设训练条件以及与输入数据对应的超参数，得到第一训练模型；对第一训练模型进行训练，得到第二训练模型和与第二训练模型相对应的训练信息；在训练信息满足预设训练条件时，保存第二训练模型为用于定位目标特征点的深度学习模型。实施这种实施方式，能够通过建立一种新的深度学习模型来提高对多目标特征点(或称为关键点)的识别精度。

Construction Method and Device of Deep Learning Model for Locating Multi-target Feature Points

【技术实现步骤摘要】
用于定位多目标特征点的深度学习模型的构建方法及装置
本申请涉及人工智能
，具体而言，涉及一种用于定位多目标特征点的深度学习模型的构建方法及装置。
技术介绍
目前，随着信息技术的不断发展，人们在图像识别这一方面的要求变得越来越高，其中，通过人工智能的方法来进行图像识别的方法因为具有较高的准确度而被人们所重视与研究。在目前的研究结果当中，使用人工智能识别图像的方法通常为优先使用检测器将待检测图像中所有关键点检测出来，然后采用某种算法(如聚类)将预测的关键点进行分组划分，从而将多个关键点划分至多个目标上，进而完成多目标的关键点预测。然而，在实践中发现，该方法虽然具有较高检测效率，但是由于上述关键点的划分是基于某种算法的而非基于目标本身的，这就导致了该方法对多个关键点的划分精度较低，进而影响了多关键点在多目标中的定位精度。
技术实现思路
本申请实施例的目的在于提供一种用于定位多目标特征点的深度学习模型的构建方法及装置，能够通过建立一种新的深度学习模型来提高对目标特征点(或称为关键点)的识别精度。本申请实施例提供了一种用于定位多目标特征点的深度学习模型的构建方法，包括：获取用于提取输入数据包括的特征数据的堆叠沙漏网络、用于根据所述特征数据进行目标检测得到目标位置信息的检测网络、用于根据所述特征数据进行关键点检测得到关键点信息的定位网络以及用于组合所述目标位置信息和所述关键点信息得到目标特征点并输出所述目标特征点的输出网络；组合所述堆叠沙漏网络、所述检测网络、所述定位网络以及所述输出网络得到多任务学习网络模型；在所述多任务学习网络模型中设置加权目标函数、预设训练条件以及与所述输入数据对应的超参数，得到第一训练模型；对所述第一训练模型进行训练，得到第二训练模型和与所述第二训练模型相对应的训练信息；在所述训练信息满足所述预设训练条件时，保存所述第二训练模型为用于定位目标特征点的深度学习模型。在上述实现过程中，能够优先获取具有特定功能的堆叠沙漏网络、检测网络、定位网络以及输出网络，并在获取到这些网络的基础上根据其相应的功能进行输入输出组合，得到多任务学习网络模型，同时在该多任务学习网络模型中设置加权目标函数、预设训练条件以及与输入数据对应的超参数得到第一训练模型，再通过对第一训练模型进行训练得到第二训练模型和训练信息以使在训练信息满足预设的训练条件时，存储第二训练模型为用于定位目标特征点的深度学习模型，从而完成该深度学习模型的构建。实施这种实施方式，能够结合多个人工智能网络得到一个能够定位目标特征点的深度学习模型，再通过设置加权目标函数、预设训练条件以及超参数来对上述的深度学习模型进行训练，得到训练后的深度学习模型，并在满足想要达到的训练条件时，确定训练后的深度学习模型为用于定位目标特征点的深度学习模型，从而实现该用于定位多目标特征点的深度学习模型的构建，同时，在该用于定位目标特征点的深度学习模型构建完成之后，可以通过使用该深度学习模型来有效地提高对目标特征点(或称为关键点)的识别精度。进一步地，所述检测网络为YOLO网络。在上述实现过程中，确定上述用于根据所述特征数据进行目标检测得到目标位置信息的检测网络为YOLO网络，其中，YOLO网络用于图像内的目标检测，另外，该YOLO网络可以为YOLOv1、YOLOv2或者YOLOv3中的任意一种或基于YOLO思想的任意一种网络。可见，实施这种实施方式可以通过限定检测网络的具体类型与结构来提高用于定位目标特征点的深度学习模型内在的目标检测精度，从而提高用于定位目标特征点的深度学习模型的定位精度。另外，在上述描述的基础上，选取YOLO网络作为该用于定位目标特征点的深度学习模型的检测网络，可以更好地兼容整个深度学习模型，从而提高整个深度学习模型的工作能力与定位精度。进一步地，所述获取用于提取输入数据包括的特征数据的堆叠沙漏网络、用于根据所述特征数据进行目标检测得到目标位置信息的检测网络、用于根据所述特征数据进行关键点检测得到关键点信息的定位网络以及用于组合所述目标位置信息和所述关键点信息得到目标特征点并输出所述目标特征点的输出网络的步骤之前，所述方法还包括：通过预处理网络获取预设的训练集，并对所述训练集进行预处理得到输入数据。在上述实现过程中，在上述的堆叠沙漏网络、检测网络、定位网络以及输出网络的基础上，再通过预处理网络获取预设的训练集，并对该训练集进行预处理得到输入数据。其中，训练集是用于训练的数据集，在经过预处理网络的预处理之后可以输入进堆叠沙漏网络进行特征提取处理，从而使得特征提取的效果更好，进而提高了用于定位目标特征点的深度学习模型的特征点定位效果。进一步地，在所述多任务学习网络模型中设置加权目标函数、预设训练条件以及与所述输入数据对应的超参数，得到第一训练模型的步骤之前，所述方法还包括：获取关键点定位目标函数和边界检测目标函数；根据所述关键点定位目标函数和所述边界检测目标函数进行加权计算得到加权目标函数。在上述实现过程中，关键点定位目标函数是与定位网络对应的目标函数，而便捷检测目标函数是与检测网络对应的目标函数，此处的加权是对两种网络的融合进行函数加权处理，得到加权目标函数，从而使得用于定位目标特征点的深度学习模型能够直接设置该加权目标函数，从而提高了该深度学习模型的整体融合度，进而提高了深度学习模型的定位精度。进一步地，所述与所述输入数据对应的超参数至少包括与所述输入数据对应的数据要求、所述堆叠沙漏网络的堆叠次数、所述的堆叠沙漏网络的阶数、训练批尺寸、网络优化器、学习率初始值以及学习率调整要求。在上述实现过程中，确定了与输入数据对应的超参数至少包括对输入数据的数据要求，该部分可以识别无意义的数据并拒绝处理，从而提高数据的输入准确率；同时，上述超参数还包括对堆叠沙漏网络的限定，该限定可以提高堆叠沙漏网络的特征提取能力，并且可以使得最后构建成的深度学习模型在实践中更加有效；另外，训练批尺寸、网络优化器、学习率初始值以及学习率调整要求等超参数的设置可以为多任务学习网络模型进行详尽的参数设定，从而使得训练的过程更符合预期，得到训练的结果，进而该训练的结果在实践中对目标特征点的定位效果可以更好。进一步地，所述对所述第一训练模型进行训练，得到第二训练模型和与所述第二训练模型相对应的训练信息的步骤包括：获取预设的训练集和预设的验证集；通过所述训练集对所述第一训练模型进行训练，得到第二训练模型；通过所述验证集对所述第二训练模型进行测试，并通过所述训练集对所述第二训练模型进行测试，得到与所述验证集对应的第一测试结果以及与所述训练集对应的第二测试结果；根据所述第一测试结果和所述第二测试结果进行计算，得到与所述第二训练模型相对应的训练信息。在上述实现过程中，获取了训练集和验证集，并且使用训练集来完成训练的过程，并在完成训练之后，使用训练集和验证集进行测试，得到两种测试结果，进而通过该两种测试结果计算得到训练的信息，该训练信息用于表示第二训练模型的训练程度。可见，实施这种实施方式，可以实时监控或者周期性监控第二模型的训练成果，从而可以在训练成果达到预期时将构建出的深度学习模型投入使用，从而提高深度学习模型的目标特征点定位准确度。进一步地，所述与所述第二训练模型相对应的训练信息本文档来自技高网...

【技术保护点】
1.一种用于定位多目标特征点的深度学习模型的构建方法，其特征在于，包括：获取用于提取输入数据包括的特征数据的堆叠沙漏网络、用于根据所述特征数据进行目标检测得到目标位置信息的检测网络、用于根据所述特征数据进行关键点检测得到关键点信息的定位网络以及用于组合所述目标位置信息和所述关键点信息得到目标特征点并输出所述目标特征点的输出网络；组合所述堆叠沙漏网络、所述检测网络、所述定位网络以及所述输出网络得到多任务学习网络模型；在所述多任务学习网络模型中设置加权目标函数、预设训练条件以及与所述输入数据对应的超参数，得到第一训练模型；对所述第一训练模型进行训练，得到第二训练模型和与所述第二训练模型相对应的训练信息；在所述训练信息满足所述预设训练条件时，保存所述第二训练模型为用于定位目标特征点的深度学习模型。

【技术特征摘要】
1.一种用于定位多目标特征点的深度学习模型的构建方法，其特征在于，包括：获取用于提取输入数据包括的特征数据的堆叠沙漏网络、用于根据所述特征数据进行目标检测得到目标位置信息的检测网络、用于根据所述特征数据进行关键点检测得到关键点信息的定位网络以及用于组合所述目标位置信息和所述关键点信息得到目标特征点并输出所述目标特征点的输出网络；组合所述堆叠沙漏网络、所述检测网络、所述定位网络以及所述输出网络得到多任务学习网络模型；在所述多任务学习网络模型中设置加权目标函数、预设训练条件以及与所述输入数据对应的超参数，得到第一训练模型；对所述第一训练模型进行训练，得到第二训练模型和与所述第二训练模型相对应的训练信息；在所述训练信息满足所述预设训练条件时，保存所述第二训练模型为用于定位目标特征点的深度学习模型。2.根据权利要求1所述的用于定位多目标特征点的深度学习模型的构建方法，其特征在于，所述检测网络为YOLO网络。3.根据权利要求1所述的用于定位多目标特征点的深度学习模型的构建方法，其特征在于，所述获取用于提取输入数据包括的特征数据的堆叠沙漏网络、用于根据所述特征数据进行目标检测得到目标位置信息的检测网络、用于根据所述特征数据进行关键点检测得到关键点信息的定位网络以及用于组合所述目标位置信息和所述关键点信息得到目标特征点并输出所述目标特征点的输出网络的步骤之前，所述方法还包括：通过预处理网络获取预设的训练集，并对所述训练集进行预处理得到输入数据。4.根据权利要求1所述的用于定位多目标特征点的深度学习模型的构建方法，其特征在于，在所述多任务学习网络模型中设置加权目标函数、预设训练条件以及与所述输入数据对应的超参数，得到第一训练模型的步骤之前，所述方法还包括：获取关键点定位目标函数和边界检测目标函数；根据所述关键点定位目标函数和所述边界检测目标函数进行加权计算得到加权目标函数。5.根据权利要求1所述的用于定位多目标特征点的深度学习模型的构建方法，其特征在于，所述与所述输入数据对应的超参数至少包括与所述输入数据对应的数据要求、所述堆叠沙漏网络的堆叠次数、所述的堆叠沙漏网络的阶数、训练批尺寸、网络优化器、学习率初始值以及学习率调整要求。6.根据权利要求1所述的用于定位多目标特征点的深度学习模型的构建方法，其特征在于，所述对所述第一训练模型进行训练，得到第二训练模型和与...

【专利技术属性】
技术研发人员：邹昆，王伟灿，董帅，侯卫东，李蓉，
申请(专利权)人：电子科技大学中山学院，
类型：发明
国别省市：广东,44