一种关键点检测方法、装置、终端设备及存储介质制造方法及图纸

本发明专利技术公开了一种关键点检测方法、装置、终端设备及存储介质。所述方法包括：获取待检测图像；将所述待检测图像输入至特征模型，获得所述特征模型输出的热图和偏移量，所述热图为所述特征模型将所述待检测图像经过缩小处理后得到的图像，所述偏移量用于指示所述热图中像素点与所述像素点在所述待检测图像上对应关键点的坐标偏差；基于所述热图和所述偏移量，确定所述待检测图像上关键点的图像位置信息。利用该方法，能够在保证复杂场景下鲁棒性的情况下，提升关键点检测的准确度。

【技术实现步骤摘要】
一种关键点检测方法、装置、终端设备及存储介质
本专利技术实施例涉及图像处理
，尤其涉及一种关键点检测方法、装置、终端设备及存储介质。
技术介绍
关键点检测是一项很重要的技术，如人脸识别，三维(3-dimension，3D)人脸重建，人脸表情识别，人脸姿态估计等技术都严重依赖人脸关键点检测的精度。目前常见的关键点检测有两类方法：基于回归的方法和基于热图的方法。基于回归的方法直接预测t(t为正整数)个关键点的坐标位置，计算量较小，但是对于复杂场景不够鲁棒。基于热图的方法预测的是t张关键点的热图，然后将峰值点的坐标乘以相应的放大倍数得到该热图对应的关键点坐标，该方法在复杂场景下较鲁棒，但是很难达到像素级别的准确度。
技术实现思路
本专利技术实施例提供了一种关键点检测方法、装置、终端设备及存储介质，在保证复杂场景下鲁棒性的情况下，提升了关键点检测的准确度。第一方面，本专利技术实施例提供了一种关键点检测方法，包括：获取待检测图像；将所述待检测图像输入至特征模型，获得所述特征模型输出的热图和偏移量，所述热图为所述特征模型将所述待检测图像经过缩小处理后得到的图像，所述偏移量用于指示所述热图中像素点与所述像素点在所述待检测图像上对应关键点的坐标偏差；基于所述热图和所述偏移量，确定所述待检测图像上关键点的图像位置信息。进一步地，所述特征模型的训练操作包括：基于训练样本集对预先建立的神经网络模型进行训练，得到特征模型，其中，所述训练样本集包括训练用图像、训练用偏移量和训练用热图，所述训练用热图为所述训练用图像进行缩小处理后的图像。进一步地，所述训练用偏移量包括所述训练用热图的峰值点与所述峰值点在训练用图像上对应的关键点的坐标偏差。进一步地，所述训练用偏移量包括所述训练用热图中非零像素点与各所述非零像素点在所述训练用图像对应的关键点的坐标偏差。进一步地，所述基于所述热图和所述偏移量，确定所述待检测图像上关键点的图像位置信息，包括：确定所述热图中峰值点的峰值位置信息；将所述峰值位置信息与对应的偏移量的和乘以放大倍数后的结果，确定为所述待检测图像上关键点的图像位置信息，所述放大倍数为所述待检测图像经过缩小处理得到所述热图时所缩小比例的倒数。第二方面，本专利技术实施例还提供了一种关键点检测装置，包括：获取模块，用于获取待检测图像；输入模块，用于将所述待检测图像输入至特征模型，获得所述特征模型输出的热图和偏移量，所述热图为所述特征模型将所述待检测图像经过缩小处理后得到的图像，所述偏移量用于指示所述热图中像素点与所述像素点在所述待检测图像上对应关键点的坐标偏差；确定模块，用于基于所述热图和所述偏移量，确定所述待检测图像上关键点的图像位置信息。进一步地，所述特征模型的训练操作包括：基于训练样本集对预先建立的神经网络模型进行训练，得到特征模型，其中，所述训练样本集包括训练用图像、训练用偏移量和训练用热图，所述训练用热图为所述训练用图像进行缩小处理后的图像。进一步地，确定模块，具体用于：确定所述热图中峰值点的峰值位置信息；将所述峰值位置信息与对应的偏移量的和乘以放大倍数后的结果，确定为所述待检测图像上关键点的图像位置信息，所述放大倍数为所述待检测图像经过缩小处理得到所述热图时所缩小比例的倒数。第三方面，本专利技术实施例还提供了一种终端设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本专利技术实施例提供的关键点检测方法。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本专利技术实施例提供的关键点检测方法。本专利技术实施例提供了一种关键点检测方法、装置、终端设备及存储介质，首先获取待检测图像；其次将所述待检测图像输入至特征模型，获得所述特征模型输出的热图和偏移量，所述热图为所述特征模型将所述待检测图像经过缩小处理后得到的图像，所述偏移量用于指示所述热图中像素点与所述像素点在所述待检测图像上对应关键点的坐标偏差；然后基于所述热图和所述偏移量，确定所述待检测图像上关键点的图像位置信息。利用上述技术方案，能够在保证复杂场景下鲁棒性的情况下，提升关键点检测的准确度。附图说明图1为本专利技术实施例一提供的一种关键点检测方法的流程示意图；图1a为本专利技术实施例一提供的一种关键点检测的场景示意图；图1b为本专利技术实施例一提供的一种热图和偏移量的示意图；图2为本专利技术实施例二提供的一种关键点检测装置的结构示意图；图3为本专利技术实施例三提供的一种终端设备的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。此外，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。本专利技术使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”。需要注意，本专利技术中提及的“第一”、“第二”等概念仅用于对相应内容进行区分，并非用于限定顺序或者相互依存关系。需要注意，本专利技术中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。实施例一图1为本专利技术实施例一提供的一种关键点检测方法的流程示意图，该方法可适用于关键点检测的情况，该方法可以由关键点检测装置来执行，其中该装置可由软件和/或硬件实现，并一般集成在终端设备上，在本实施例中终端设备包括但不限于：电脑。本专利技术不限定关键检测的适用场景，可以对任意场景下的图像进行关键点检测，示例性的，可以对人脸进行关键点检测。如图1所示，本专利技术实施例一提供的一种关键点检测方法，包括如下步骤：S110、获取待检测图像。在本实施例中，待检测图像可以认为是一种待进行关键点检测的图像，如人脸图像，即包含人脸的图像。待检测图像的获取手段不作限定可以基于实际情况确定。如通过人机交互界面获取用户输入的待检测图像，该人机交互界面可以供用户上传待检测图像；又如直接获取图像采集设备采集的待检测图像，图像采集设备可以为进行图像采集的设备。本文档来自技高网...

【技术保护点】
1.一种关键点检测方法，其特征在于，包括：/n获取待检测图像；/n将所述待检测图像输入至特征模型，获得所述特征模型输出的热图和偏移量，所述热图为所述特征模型将所述待检测图像经过缩小处理后得到的图像，所述偏移量用于指示所述热图中像素点与所述像素点在所述待检测图像上对应关键点的坐标偏差；/n基于所述热图和所述偏移量，确定所述待检测图像上关键点的图像位置信息。/n

【技术特征摘要】
1.一种关键点检测方法，其特征在于，包括：
获取待检测图像；
将所述待检测图像输入至特征模型，获得所述特征模型输出的热图和偏移量，所述热图为所述特征模型将所述待检测图像经过缩小处理后得到的图像，所述偏移量用于指示所述热图中像素点与所述像素点在所述待检测图像上对应关键点的坐标偏差；
基于所述热图和所述偏移量，确定所述待检测图像上关键点的图像位置信息。


2.根据权利要求1所述的方法，其特征在于，所述特征模型的训练操作包括：
基于训练样本集对预先建立的神经网络模型进行训练，得到特征模型，其中，所述训练样本集包括训练用图像、训练用偏移量和训练用热图，所述训练用热图为所述训练用图像进行缩小处理后的图像。


3.根据权利要求2所述的方法，其特征在于，所述训练用偏移量包括所述训练用热图的峰值点与所述峰值点在训练用图像上对应的关键点的坐标偏差。


4.根据权利要求2所述的方法，其特征在于，所述训练用偏移量包括所述训练用热图中非零像素点与各所述非零像素点在所述训练用图像对应的关键点的坐标偏差。


5.根据权利要求1所述的方法，其特征在于，所述基于所述热图和所述偏移量，确定所述待检测图像上关键点的图像位置信息，包括：
确定所述热图中峰值点的峰值位置信息；
将所述峰值位置信息与对应的偏移量的和乘以放大倍数后的结果，确定为所述待检测图像上关键点的图像位置信息，所述放大倍数为所述待检测图像经过缩小处理得到所述热图时所缩小比例的倒数。


6.一种关键点检测装置...

【专利技术属性】
技术研发人员：胡慧，
申请(专利权)人：广州视源电子科技股份有限公司，
类型：发明
国别省市：广东;44