关键点检测模型的训练方法、关键点检测方法及装置制造方法及图纸

本公开提供了一种关键点检测模型的训练方法、关键点检测方法及装置，涉及人工智能技术领域，尤其涉及计算机视觉、深度学习、增强现实技术领域。实现方案为：获取目标对象的样本图像，所述目标对象包括多个关键点和与所述多个关键点具有预设位置关系的至少一个辅助点；将所述样本图像输入所述关键点检测模型，以得到所述关键点检测模型输出的多个预测关键点；基于所述多个预测关键点和所述预设位置关系，确定至少一个预测辅助点；基于所述多个关键点、所述至少一个辅助点、所述多个预测关键点和所述至少一个预测辅助点，确定所述关键点检测模型的损失值；以及基于所述损失值，调整所述关键点检测模型的参数。述关键点检测模型的参数。述关键点检测模型的参数。

【技术实现步骤摘要】
关键点检测模型的训练方法、关键点检测方法及装置


[0001]本公开涉及人工智能
，尤其涉及计算机视觉、深度学习、增强现实
，具体涉及一种关键点检测模型的训练方法及装置、关键点检测方法及装置、电子设备、计算机可读存储介质和计算机程序产品。

技术介绍

[0002]人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术：人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
[0003]关键点检测是计算机视觉领域的一种计算任务，用于检测图像中的目标对象的关键点，例如人体关节点、障碍物的轮廓点等。关键点检测技术被广泛应用于诸如姿态估计、目标跟踪、自动驾驶等场景中。
[0004]在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

技术实现思路

[0005]本公开提供了一种关键点检测模型的训练方法及装置、关键点检测方法及装置、电子设备、计算机可读存储介质和计算机程序产品。
[0006]根据本公开的一方面，提供了一种关键点检测模型的训练方法，包括：获取目标对象的样本图像，所述目标对象包括多个关键点和与所述多个关键点具有预设位置关系的至少一个辅助点；将所述样本图像输入所述关键点检测模型，以得到所述关键点检测模型输出的多个预测关键点；基于所述多个预测关键点和所述预设位置关系，确定至少一个预测辅助点；基于所述多个关键点、所述至少一个辅助点、所述多个预测关键点和所述至少一个预测辅助点，确定所述关键点检测模型的损失值；以及基于所述损失值，调整所述关键点检测模型的参数。
[0007]根据本公开的一方面，提供了一种关键点检测方法，包括：将目标对象的待检测图像输入关键点检测模型，所述关键点检测模型是根据上述关键点检测模型的训练方法得到的；以及获取所述关键点检测模型输出的所述目标对象的多个关键点。
[0008]根据本公开的一方面，提供了一种关键点检测模型的训练装置，包括：获取模块，被配置为获取目标对象的样本图像，所述目标对象包括多个关键点和与所述多个关键点具有预设位置关系的至少一个辅助点；输入输出模块，被配置为将所述样本图像输入所述关键点检测模型，以得到所述关键点检测模型输出的多个预测关键点；第一确定模块，被配置为基于所述多个预测关键点和所述预设位置关系，确定至少一个预测辅助点；第二确定模
块，被配置为基于所述多个关键点、所述至少一个辅助点、所述多个预测关键点和所述至少一个预测辅助点，确定所述关键点检测模型的损失值；以及调整模块，被配置为基于所述损失值，调整所述关键点检测模型的参数。
[0009]根据本公开的一方面，提供了一种关键点检测装置，包括：输入模块，被配置为将目标对象的待检测图像输入关键点检测模型，所述关键点检测模型是根据上述关键点检测模型的训练装置得到的；以及获取模块，被配置为获取所述关键点检测模型输出的所述目标对象的多个关键点。
[0010]根据本公开的一方面，提供了一种电子设备，包括：至少一个处理器；以及与上述至少一个处理器通信连接的存储器，该存储器存储有可被上述至少一个处理器执行的指令，该指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行上述任一方面的方法。
[0011]根据本公开的一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行上述任一方面的方法。
[0012]根据本公开的一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现上述任一方面的方法。
[0013]根据本公开的一个或多个实施例，能够提高关键点检测的准确性。
[0014]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0015]附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。
[0016]图1示出了根据本公开实施例的可以在其中实施本文描述的各种方法的示例性系统的示意图；
[0017]图2示出了根据本公开实施例的关键点检测模型的训练方法的流程图；
[0018]图3示出了根据本公开实施例的样本图像的示意图；
[0019]图4A
‑
4D示出了四种不同预设位置关系下的关键点和辅助点的示意图；
[0020]图5示出了根据本公开实施例的关键点检测方法的流程图；
[0021]图6示出了根据本公开实施例的关键点检测模型的训练装置的结构框图；
[0022]图7示出了根据本公开实施例的关键点检测装置的结构框图；以及
[0023]图8示出了能够用于实现本公开实施例的示例性电子设备的结构框图。
具体实施方式
[0024]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0025]在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意
图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个元件与另一元件区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。
[0026]在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。此外，本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。
[0027]关键点检测技术被广泛应用于多种场景中。例如，在增强现实(Augmented Reality，AR)的虚拟试鞋场景中，可以采集用户脚部的图像，对该图像进行关键点检测，从中识别出脚部关键点，然后基于识别出的脚部关键点并确定用户脚部的姿态，将用户感兴趣的鞋渲染至用户脚部图像上，以向用户展示该鞋的穿着效果。又例如，在自动驾驶场景中，可以对车辆采集到的图像进行关键点检测，从中识别出车道导向箭头、停车位、障碍物等目标对象的关键点，然后基于识本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种关键点检测模型的训练方法，包括：获取目标对象的样本图像，其中，所述目标对象包括多个关键点和与所述多个关键点具有预设位置关系的至少一个辅助点；将所述样本图像输入所述关键点检测模型，以得到所述关键点检测模型输出的多个预测关键点；基于所述多个预测关键点和所述预设位置关系，确定至少一个预测辅助点；基于所述多个关键点、所述至少一个辅助点、所述多个预测关键点和所述至少一个预测辅助点，确定所述关键点检测模型的损失值；以及基于所述损失值，调整所述关键点检测模型的参数。2.根据权利要求1所述的方法，其中，所述至少一个辅助点中的任一辅助点位于由所述多个关键点中的相应的两个关键点所形成的直线上。3.根据权利要求2所述的方法，其中，所述至少一个辅助点中的任一辅助点位于由所述多个关键点中的相应的两个关键点所形成的线段的预设位置处。4.根据权利要求2所述的方法，其中，所述至少一个辅助点为将所述多个关键点两两相连所形成的多条线段上的、不同于所述多个关键点的像素点。5.根据权利要求2所述的方法，其中，所述样本图像标注有所述多个关键点之间的相邻关系，并且其中，所述至少一个辅助点为将所述多个关键点中的相邻的关键点相连所形成的多条线段上的、不同于所述多个关键点的像素点。6.根据权利要求1
‑
5中任一项所述的方法，其中，基于所述多个关键点、所述至少一个辅助点、所述多个预测关键点和所述至少一个预测辅助点，确定所述关键点检测模型的损失值包括：基于所述多个关键点和所述至少一个辅助点，生成所述样本图像对应的标签图像；基于所述多个预测关键点和所述至少一个预测辅助点，生成所述样本图像对应的预测图像；以及基于所述标签图像和所述预测图像，确定所述关键点检测模型的损失值。7.根据权利要求6所述的方法，其中，在所述标签图像中，所述多个关键点和所述至少一个辅助点的像素值为第一预设值，除所述多个关键点和所述至少一个辅助点之外的其他像素点的像素值为第二预设值；在所述预测图像中，所述多个预测关键点和所述至少一个预测辅助点的像素值为所述第一预设值，除所述多个预测关键点和所述至少一个预测辅助点之外的其他像素点的像素值为所述第二预设值。8.根据权利要求3所述的方法，其中，基于所述多个关键点、所述至少一个辅助点、所述多个预测关键点和所述至少一个预测辅助点，确定所述关键点检测模型的损失值包括：基于每个关键点与相应的预测关键点的第一距离和每个辅助点与相应的预测辅助点的第二距离，确定所述关键点检测模型的损失值。9.一种关键点检测方法，包括：将目标对象的待检测图像输入关键点检测模型，其中，所述关键点检测模型是根据权利要求1
‑
8中任一项所述的方法得到的；以及获取所述关键点检测模型输出的所述目...

【专利技术属性】
技术研发人员：宫延河，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：