角点检测方法、装置、电子设备及存储介质制造方法及图纸

公开还提供了一种角点检测方法、装置、电子设备及存储介质。本公开实施例的角点检测方法可以包括：获取第一图像；利用第一角点检测模型获取第一图像的3D角点特征图，3D角点特征图具有两个或多个通道，每个通道维度的特征图包含一个预定方向的角点特征，预定方向表示角点沿结构边缘的朝向；针对3D角点特征图中各个通道维度的特征图分别执行NMS处理，以获得第一图像的第一角点数据；通过聚类的方式修正第一角点数据以获得第一图像的第二角点数据。本公开实施例能够有效避免紧邻角点被合并或融合等情况，提高角点检测的准确性和精确度。提高角点检测的准确性和精确度。提高角点检测的准确性和精确度。

【技术实现步骤摘要】
角点检测方法、装置、电子设备及存储介质


[0001]本公开涉及一种角点检测方法、装置、电子设备及存储介质。

技术介绍

[0002]角点检测是基于图像的检测任务中的基础任务，诸如车道线检测、人体关键点检测、线段检测、结构重构等需检测角点的基本语义才能完成整体工作的任务均包含角点检测。
[0003]目前，角点检测在不同领域都有针对性的解决方案。在车道线检测任务中，可以根据每条车道线从始至终独立的特点把紧邻的角点回归到独立的车道线中。在人体关键点检测中，可以先验地知道每个人体关键点具有5个位置，从而可以设计针对性的角点检测模型。然而，基于图像的结构重构中，紧邻角点的检测存在困难。
[0004]图1a～图1c示出了结构重构中的角点检测示例图。图1a为图像中的真实角点示意图，图1b为角点检测的中间结果示意图，图1c为经过非极大抑制(Non Maximum Suppression，NMS)处理后得到的角点示意图。通过图1a～图1c可见，由于角点检测任务通过高斯核将结构边缘的真实角点放大作为目标检测方式，经过NMS后，角点会由于相邻过近而被融合成一个角点，造成角点检测偏差，导致角点检测结果准确性较低。

技术实现思路

[0005]为了解决上述技术问题中的至少一个，本公开提供了一种角点检测方法、装置、电子设备及存储介质。
[0006]根据本公开的第一方面，提供了一种角点检测方法，包括：
[0007]获取第一图像；
[0008]利用第一角点检测模型获取第一图像的3D角点特征图，所述3D角点特征图具有两个或多个通道，每个通道维度的特征图包含一个预定方向的角点特征，所述预定方向表示角点沿结构边缘的朝向；
[0009]针对所述3D角点特征图中各个通道维度的特征图分别执行NMS处理，以获得第一图像的第一角点数据；
[0010]通过聚类的方式修正第一角点数据以获得第一图像的第二角点数据。
[0011]一些实施例中，所述3D角点特征图中，每个通道维度的特征图中像素点的像素值指示所述像素点属于预定角点的概率，所述预定角点沿结构边缘的朝向与所述通道维度对应的预定方向相同。
[0012]一些实施例中，所述预定方向包括：表示角点沿结构边缘朝上的第一方向；表示角点沿结构边缘朝下的第二方向；表示角点沿结构边缘朝左的第三方向；表示角点沿结构边缘朝右的第四方向。
[0013]一些实施例中，通过聚类的方式修正所述第一图像的第一角点数据，包括：对所述第一角点数据进行聚类处理以获得一个或多个蔟，每个蔟对应一个角点且每个蔟中的像素
点数量小于或等于第一预定值；根据蔟中像素点的位置信息确定该蔟所对应角点的位置信息。
[0014]一些实施例中，不同蔟的蔟中心间距大于第二预定值。
[0015]一些实施例中，所述第一角点检测模型通过第二图像训练得到，所述第二图像的标注数据包括第二图像中真实角点的位置信息和方向信息，真实角点的方向信息表示真实角点沿结构边缘的朝向。
[0016]根据本公开的第二方面，提供了一种角点检测方法，包括：
[0017]获取第三图像；
[0018]利用第二角点检测模型获取第三图像的第一角点特征图和中间点特征图，所述第一角点特征图中像素点的像素值指示像素点属于角点的概率，所述中间点特征图中像素点的像素值指示像素点属于预定中间点簇的概率；
[0019]利用所述中间点特征图消除所述第一角点特征图中的中间点特征，以获得第二角点特征图；
[0020]对所述第二角点特征图执行NMS处理，以获得第三图像的角点数据。
[0021]一些实施例中，所述第二角点特征图中属于所述预定中间点蔟的像素点的像素值小于或等于第三预定值。
[0022]一些实施例中，利用所述中间点特征图消除所述第一角点特征图中的中间点特征，包括：对第一角点特征图和中间点特征图执行逐点像素值相减，获得所述第二角点特征图。
[0023]一些实施例中，利用所述中间点特征图消除所述第一角点特征图中的中间点特征之前，还包括：预处理所述中间点特征图以增强所述中间点特征图中的中间点特征。
[0024]一些实施例中，预处理所述中间点特征图以增强所述中间点特征图中的中间点特征，包括：将所述中间点特征图中像素值大于第四预定值的各个像素点的像素值调整为预定的最大值；和/或，将所述中间点特征图中像素值小于或等于第四预定值的各个像素点的像素值调整为预定的最小值。
[0025]一些实施例中，所述预定中间点蔟符合非标准的正态分布，预定中间点蔟的长轴与结构边缘的线段垂直，预定中间点蔟的短轴在所述结构边缘的线段上，预定中间点蔟的中心为结构边缘线段的预定中间点，预定中间点蔟的短轴端点与其相邻角点的距离大于第五预定值。。
[0026]一些实施例中，所述第二角点检测模型通过第四图像训练得到，所述第四图像的标注数据包括第四图像的真实中间点蔟的位置信息和真实角点的位置信息。
[0027]根据本公开的第三方面，提供了一种角点检测装置，包括：
[0028]第一获取单元，用于获取第一图像；
[0029]第一角点检测单元，用于利用第一角点检测模型获取第一图像的3D角点特征图，所述3D角点特征图具有两个或多个通道，每个通道维度的特征图包含一个预定方向的角点特征，所述预定方向表示角点沿结构边缘的朝向；
[0030]第一NMS处理单元，用于针对所述3D角点特征图中各个通道维度的特征图分别执行NMS处理，以获得第一图像的第一角点数据；
[0031]数据修正单元，用于通过聚类的方式修正第一角点数据以获得第一图像的第二角
点数据。
[0032]一些实施例中，所述3D角点特征图中，每个通道维度的特征图中像素点的像素值指示所述像素点属于预定角点的概率，所述预定角点沿结构边缘的朝向与所述通道维度对应的预定方向相同。
[0033]一些实施例中，所述预定方向包括：表示角点沿结构边缘朝上的第一方向；表示角点沿结构边缘朝下的第二方向；表示角点沿结构边缘朝左的第三方向；表示角点沿结构边缘朝右的第四方向。
[0034]一些实施例中，所述数据修正单元，用于：对所述第一角点数据进行聚类处理以获得一个或多个蔟，每个蔟对应一个角点且每个蔟中的像素点数量小于或等于第一预定值；根据蔟中像素点的位置信息确定该蔟所对应角点的位置信息。
[0035]一些实施例中，所述第一角点检测模型通过第二图像训练得到，所述第二图像的标注数据包括第二图像中真实角点的位置信息和方向信息，真实角点的方向信息表示真实角点沿结构边缘的朝向。
[0036]根据本公开的第四方面，提供了一种角点检测装置，包括：
[0037]第二获取单元，用于获取第三图像；
[0038]第二角点检测单元，用于利用第二角点检测模型获取第三图像的第一角点特征图和中间点特征图，所述第一角点特征图中像素点的像素值指示像素点属于角点的概率，所述中间点特征图中像素点的像素值指示像素点属于预定中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种角点检测方法，其特征在于，包括：获取第一图像；利用第一角点检测模型获取第一图像的3D角点特征图，所述3D角点特征图具有两个或多个通道，每个通道维度的特征图包含一个预定方向的角点特征，所述预定方向表示角点沿结构边缘的朝向；针对所述3D角点特征图中各个通道维度的特征图分别执行NMS处理，以获得第一图像的第一角点数据；通过聚类的方式修正第一角点数据以获得第一图像的第二角点数据。2.根据权利要求1所述的角点检测方法，其特征在于，所述3D角点特征图中，每个通道维度的特征图中像素点的像素值指示所述像素点属于预定角点的概率，所述预定角点沿结构边缘的朝向与所述通道维度对应的预定方向相同；优选地，所述预定方向包括：表示角点沿结构边缘朝上的第一方向；表示角点沿结构边缘朝下的第二方向；表示角点沿结构边缘朝左的第三方向；表示角点沿结构边缘朝右的第四方向。3.根据权利要求1所述的角点检测方法，其特征在于，通过聚类的方式修正所述第一图像的第一角点数据，包括：对所述第一角点数据进行聚类处理以获得一个或多个蔟，每个蔟对应一个角点且每个蔟中的像素点数量小于或等于第一预定值；根据蔟中像素点的位置信息确定该蔟所对应角点的位置信息；优选地，不同蔟的蔟中心间距大于第二预定值；优选地，所述第一角点检测模型通过第二图像训练得到，所述第二图像的标注数据包括第二图像中真实角点的位置信息和方向信息，真实角点的方向信息表示真实角点沿结构边缘的朝向。4.一种角点检测方法，其特征在于，包括：获取第三图像；利用第二角点检测模型获取第三图像的第一角点特征图和中间点特征图，所述第一角点特征图中像素点的像素值指示像素点属于角点的概率，所述中间点特征图中像素点的像素值指示像素点属于预定中间点簇的概率；利用所述中间点特征图消除所述第一角点特征图中的中间点特征，以获得第二角点特征图；对所述第二角点特征图执行NMS处理，以获得第三图像的角点数据。5.根据权利要求4所述的角点检测方法，其特征在于，所述第二角点特征图中属于所述预定中间点蔟的像素点的像素值小于或等于第三预定值；优选地，利用所述中间点特征图消除所述第一角点特征图中的中间点特征，包括：对第一角点特征图和中间点特征图执行逐点像素值相减，获得所述第二角点特征图；优选地，利用所述中间点特征图消除所述第一角点特征图中的中间点特征之前，还包括：预处理所述中间点特征图以增强所述中间点特征图中的中间点特征；优选地，预处理所述中间点特征图以增强所述中间点特征图中的中间点特征，包括：将所述中间点特征图中像素值大于第四预定值的各个像素点的像素值调整为预定的最大值；
和/或，将所述中间点特征图中像素值小于或等于第四预定值的各个像素点的像素值调整为预定的最小值；优选地，所述预定中间点蔟符合非标准的正态分布，预定中间点蔟的长轴与结构边缘的线段垂直，预定中间点蔟的短轴在所述结构边缘的线段上，预定中间点蔟的中心为结构边缘线段的预定中间点，预定中间点蔟的短轴端点与其相邻角点的距离大于第五预定值；优选地，所述第二角点检测模型通过第四图像训练得到，所述第四图像的标注数据包括第四图像的真实中间点蔟的位置信息和真实角点的位置信息。6.一种角点检测装置，其特征在于，包括：第一获取单元，用于获取第一图像；第一角点检测单元，用于利用第一角点检测模型获取第一图像的3D角点特征图，所述3D角点特征图具有两个或多个通道，每个通道维度的特征图包含一个预定方向的角点特征，所述预定方向表示...

【专利技术属性】
技术研发人员：李雨龙，杨跃，
申请(专利权)人：贝壳找房北京科技有限公司，
类型：发明
国别省市：