图像中灭点的检测方法、检测模型训练方法和电子设备技术

本公开实施例涉及一种图像中灭点的检测方法、检测模型训练方法和电子设备，其中，检测方法包括：获取待检测图像；对待检测图像进行预处理，得到预处理图像；基于分割检测网络对预处理图像进行分割，得到多层图像分割结果；基于多层图像分割结果，对预处理图像进行投影；基于投影的极值确定灭点位置。本公开实施例通过分割检测网络将图像进行分割，可得到多层图像分割结果，进而基于多层图像分割结果对图像进行投影，利用投影的极值确定灭点位置，即使图像中直线存在遮挡、扭曲等情况时，仍然可以得到灭点位置，适用更多场景。

Detection method of vanishing point in image, training method of detection model and electronic equipment

【技术实现步骤摘要】
图像中灭点的检测方法、检测模型训练方法和电子设备
本公开实施例涉及机器视觉
，具体涉及一种图像中灭点的检测方法、图像中灭点的检测模型训练方法、电子设备和非暂态计算机可读存储介质。
技术介绍
在透视投影中，一束平行于投影面的平行线的投影可以保持平行，而不平行于投影面的平行线的投影会聚集到一个点，这个点称为灭点(VanishingPoint)。目前，检测图像中灭点的多个方案中，一些方案需要对图像进行轮廓提取，而轮廓提取需要针对不同的光照、摄影机内参等图像特征选择不同的参数，此过程需要人工调整，普适性差；一些方案需要对图像进行霍夫变换，而霍夫变换需要依赖图像中的直线，若图像存在遮挡、扭曲、变形时效果不佳。另外，目前检测图形中灭点的方案依赖图像中的直线等细节，忽略了图像中更高维度的全局信息。上述对问题的发现过程的描述，仅用于辅助理解本公开的技术方案，并不代表承认上述内容是现有技术。
技术实现思路
为了解决现有技术存在的至少一个问题，本公开的至少一个实施例提供了一种图像中灭点的检测方法、检测模型训练方法、电子设备和非暂态计算机可读存储介质。第一方面，本公开实施例提出一种图像中灭点的检测方法，所述方法包括：获取待检测图像；对所述待检测图像进行预处理，得到预处理图像；基于分割检测网络对所述预处理图像进行分割，得到多层图像分割结果；基于所述多层图像分割结果，对所述预处理图像进行投影；基于所述投影的极值确定灭点位置。第二方面，本公开实施例还提出一种图像中灭点的检测模型训练方法，所述检测模型包括分割检测网络，所述方法包括：获取样本图像，所述样本图像中标注有灭点位置；对所述样本图像进行预处理，得到预处理图像；基于分割检测网络对所述预处理图像进行分割，得到多层图像分割结果；基于所述多层图像分割结果，对所述预处理图像进行投影；基于所述投影的极值确定灭点位置；基于确定的灭点位置和标注的灭点位置训练所述分割检测网络的参数。在一些实施例中，本公开实施例还提出一种电子设备，包括：处理器和存储器；所述处理器通过调用所述存储器存储的程序或指令，用于执行如第一方面或第二方面所述方法的步骤。在一些实施例中，本公开实施例还提出一种非暂态计算机可读存储介质，用于存储程序或指令，所述程序或指令使计算机执行如如第一方面或第二方面所述方法的步骤。可见，本公开的至少一个实施例中，通过分割检测网络将图像进行分割，可得到多层图像分割结果，进而基于多层图像分割结果对图像进行投影，利用投影的极值确定灭点位置，即使图像中直线存在遮挡、扭曲等情况时，仍然可以得到灭点位置，适用更多场景。附图说明为了更清楚地说明本公开实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。图1是本公开实施例提供的一种智能驾驶车辆的示例性架构图；图2是本公开实施例提供的一种智能驾驶系统的示例性框图；图3是本公开实施例提供的一种灭点检测模块的示例性框图；图4是本公开实施例提供的一种灭点检测模型训练模块的示例性框图；图5是本公开实施例提供的一种电子设备的示例性框图；图6是本公开实施例提供的一种图像中灭点的检测方法示例性流程图；图7是本公开实施例提供的一种图像中灭点的检测模型训练方法示例性流程图；图8是本公开实施例提供的一种分割网络的示例性结构图；图9是本公开实施例提供的一种多层图像分割结果的示意图；图10是本公开实施例提供的一种图像中灭点检测的流程示例图。具体实施方式为了能够更清楚地理解本公开的上述目的、特征和优点，下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。此处所描述的具体实施例仅仅用于解释本公开，而非对本公开的限定。基于所描述的本公开的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本公开保护的范围。需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。本公开实施例提供了一种图像中灭点的检测方法、图像中灭点的检测模型训练方法、电子设备或存储介质，通过分割检测网络将图像进行分割，可得到多层图像分割结果，进而基于多层图像分割结果对图像进行投影，利用投影的极值确定灭点位置，即使图像中直线存在遮挡、扭曲等情况时，仍然可以得到灭点位置，适用更多场景，可以应用于智能驾驶车辆，还可以应用于电子设备。所述智能驾驶车辆搭载不同等级智能驾驶系统的车辆，智能驾驶系统例如包括：无人驾驶系统、辅助驾驶系统、驾驶辅助系统、高度自动驾驶系统、完全自动驾驶车辆等等。所述电子设备安装有智能驾驶系统，例如电子设备可用于测试智能驾驶算法，又例如电子设备可以为车载设备，在一些实施例中，电子设备还可以应用到其他领域。应当理解的是，本申请的方法的应用场景仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以将本申请应用于其他类似情景。以下为了能够更清楚无误的阐述，本公开实施例以智能驾驶车辆为例对所述图像中灭点的检测方法、图像中灭点的检测模型训练方法、电子设备或存储介质进行说明。图1为本公开实施例提供的一种智能驾驶车辆的示例性整体架构图。如图1所示，智能驾驶车辆包括：传感器组、智能驾驶系统100、车辆底层执行系统以及其他可用于驱动车辆和控制车辆运行的部件，例如制动踏板、方向盘和油门踏板。传感器组，用于采集车辆外界环境的数据和探测车辆的位置数据。传感器组例如包括但不限于摄像头、激光雷达、毫米波雷达、超声波雷达、GPS(GlobalPositioningSystem，全球定位系统)和IMU(InertialMeasurementUnit，惯性测量单元)中的至少一个。在一些实施例中，传感器组，还用于采集车辆的动力学数据，传感器组例如还包括但不限于车轮转速传感器、速度传感器、加速度传感器、方向盘转角传感器、前轮转角传感器中的至少一个。智能驾驶系统100，用于获取传感器组的传感数据，其中，所述传感数据包括但不限于图像、视频、激光点云、毫米波、GPS信息、车辆状态等。在一些实施例中，智能驾驶系统100基于所述传感数据进行环境感知和车辆定位，生成感知信息和车辆位姿；智能驾驶系统100基于所述感知信息和车辆位姿进行规划和决策，生成规划和决策信息；智能驾驶系统100基于规划和决策信息生成车辆控制指令，并下发给车辆底层执行系统。在一些实施例中，智能驾驶系统100可以为软件系统、硬件系统或者软硬件结合的系统。例如，智能驾驶系统100是运行在操作系统上的软件系统，车载本文档来自技高网...

【技术保护点】
1.一种图像中灭点的检测方法，其特征在于，所述方法包括：/n获取待检测图像；/n对所述待检测图像进行预处理，得到预处理图像；/n基于分割检测网络对所述预处理图像进行分割，得到多层图像分割结果；/n基于所述多层图像分割结果，对所述预处理图像进行投影；/n基于所述投影的极值确定灭点位置。/n

【技术特征摘要】
1.一种图像中灭点的检测方法，其特征在于，所述方法包括：
获取待检测图像；
对所述待检测图像进行预处理，得到预处理图像；
基于分割检测网络对所述预处理图像进行分割，得到多层图像分割结果；
基于所述多层图像分割结果，对所述预处理图像进行投影；
基于所述投影的极值确定灭点位置。


2.根据权利要求1所述的方法，其特征在于，所述预处理包括：
固定尺寸裁剪和归一化。


3.根据权利要求1所述的方法，其特征在于，所述分割检测网络包括：
特征提取网络，用于提取所述预处理图像的特征；
分割网络，用于基于所述特征分割所述预处理图像，得到多层图像分割结果。


4.根据权利要求3所述的方法，其特征在于，所述分割网络确定至少三层图像分割结果，所述至少三层图像分割结果包括天空层、左下层和右下层。


5.根据权利要求3所述的方法，其特征在于，所述分割网络包括：
聚焦损失函数，用于平衡正负样本的偏差；
交叉熵损失函数，用于评估分割误差；
距离损失函数，用于增强分割图像时层与层之间的关联性。


6.根据权利要求1所述的方法，其特征在于，基于所述多层图像分割结果，对所述预处理图像进行投影，包括：
基于所述多层图像分割结果，对所述预处理图像分别进行二值化处理，得到多层二值化图像；
将所述多层二值化图像分别进行水平投影和垂直投影。


7.根据权利要求6所述的方法，其特征在于，基于所述投影的极值确定灭点位置包括：
分别确定所述水平投影和所述垂直投影的极值；
确定所述极值的交点为灭点位置。

【专利技术属性】
技术研发人员：伍兴云，
申请(专利权)人：驭势科技南京有限公司，
类型：发明
国别省市：江苏;32