目标检测方法和装置、计算机可读存储介质、电子设备制造方法及图纸

本公开实施例公开了一种目标检测方法和装置、计算机可读存储介质、电子设备，其中，方法包括：基于双目相机在当前时刻对前方路面场景进行图像采集得到的当前帧左图和当前帧右图，确定视差图；其中，所述前方路面场景中包括至少一个目标；基于所述当前帧左图，确定包括至少一条垂直线段和/或至少一条水平线段的直线图；基于所述视差图得到所述当前帧左图中的至少一个检测框，基于所述直线图对所述检测框进行调整，得到至少一个第一目标检测框；分别对所述至少一个第一目检测框中的每个第一目标检测框进行检测，确定每个所述第一目标检测框中的第一目标类别；本公开结合了视差图和直线图，提高了检测框的定位精度，进而提高了目标检测的准确性。

【技术实现步骤摘要】
目标检测方法和装置、计算机可读存储介质、电子设备
本公开涉及目标检测技术，尤其是一种目标检测方法和装置、计算机可读存储介质、电子设备。
技术介绍
基于视觉的车辆和行人检测跟踪作为辅助驾驶、自动驾驶、智慧交通、智能汽车的重要组成部分，已经成为当前的研究热点。实现车辆和行人目标的准确稳定的检测跟踪具有极其重要的理论意义和现实价值。
技术实现思路
为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种目标检测方法和装置、计算机可读存储介质、电子设备。根据本公开实施例的一个方面，提供了一种目标检测方法，包括：基于双目相机在当前时刻对前方路面场景进行图像采集得到的当前帧左图和当前帧右图，确定视差图；其中，所述前方路面场景中包括至少一个目标；基于所述当前帧左图，确定包括至少一条垂直线段和/或至少一条水平线段的直线图；基于所述视差图得到所述当前帧左图中的至少一个检测框，基于所述直线图对所述检测框进行调整，得到至少一个第一目标检测框；分别对所述至少一个第一目检测框中的每个第一目标检测框进行检测，确定每个所述第一目标检测框中的第一目标类别。可选地，所述基于双目相机对前方路面场景进行图像采集得到当前帧左图和当前帧右图，确定视差图，包括：在所述当前时刻基于所述双目相机对前方路面场景进行图像采集，得到所述当前帧左图和所述当前帧右图；利用双目匹配算法对所述当前帧左图和所述当前帧右图进行处理，得到所述当前时刻对应的视差图。可选地，所述基于所述当前帧左图，确定包括至少一条垂直线段和/或至少一条水平线段的直线图，包括：对所述当前帧左图进行灰度化处理，得到灰度图；基于所述灰度图中每四个相邻像素值计算梯度，得到模图和角度图；其中，所述模图和所述角度图的大小与所述灰度图相同，所述模图中的每个位置的值表示所述灰度图在对应位置的模值，所述角度图中的每个位置的值表示所述灰度图中对应位置的角度值；基于所述角度图确定所述灰度图中包括的多个种子点；基于所述多个种子点和所述模图，得到包括至少一条垂直线段和/或至少一条水平线段的所述直线图。可选地，所述基于所述多个种子点和所述模图，得到包括至少一条垂直线段和/或至少一条水平线段的所述直线图，包括：基于所述多个种子点在所述模图中对应位置的模值，确定所述多个种子点中每个种子点的模值；确定所述模值大于第一设定值的至少一个种子点为基点，得到至少一个所述基点；针对所述至少一个基点中的每个基点，将与所述基点角度一致，距离差值小于第二设定值(视差图中的值越大，距离越近)的种子点与所述基点合并为直线段；得到包括至少一条垂直线段和/或至少一条水平线段的所述直线图。可选地，所述基于所述视差图得到所述当前帧左图中的至少一个检测框，基于所述直线图对所述检测框进行调整，得到至少一个第一目标检测框，包括：将所述视差图按照视差值进行拆分，得到多个子视差图；其中，每个所述子视差图中所有点的视差值相同；对每个所述子视差图进行至少三次投影，得到所述当前帧左图中的多个候选框；基于所述多个候选框之间的重合关系，将具有重合关系的多个候选框对应的最小包含框作为检测框，得到至少一个检测框；基于所述直线图中的至少一条垂直线段和/或至少一条水平线段，对所述至少一个检测框的边框进行调整，得到所述至少一个第一目标检测框。可选地，所述分别对所述至少一个第一目检测框中的每个第一目标检测框进行检测，确定每个所述第一目标检测框中的第一目标类别，包括：基于所述视差图和所述双目相机的内参参数，确定所述至少一个第一目标检测框中每个第一目标检测框对应的第一距离信息；对每个所述第一目标检测框，基于所述第一距离信息确定所述第一目标检测框的第一尺度比例，基于所述第一尺度比例从检测模型集合中获得所述第一尺度比例对应的第一检测模型；其中，所述检测模型集合中包括多个检测模型，每个所述检测模型经过包括具有一个尺度比例的样本检测框的样本图像的训练，所述样本检测框具有标注目标类别；基于所述第一检测模型对所述第一目标检测框进行检测，确定所述第一目标检测框对应的第一目标类别。可选地，所述基于所述视差图和所述双目相机的内参参数，确定所述至少一个第一目标检测框中每个第一目标检测框对应的距离信息，包括：确定所述至少一个第一目标检测框中每个第一目标检测框在所述视差图中对应的位置的视差值；基于所述每个第一目标检测框对应的视差值和所述双目相机的内参参数，确定所述至少一个第一目标检测框中每个第一目标检测框对应的距离信息。可选地，还包括：利用单目相机在当前时刻对前方路面场景进行图像采集和检测，确定至少一个单目检测框和每个所述单目检测框对应的第二目标类别；确定所述第一目标类别和所述第二目标类别相同的所述单目检测框和所述第一目标检测框之间是否存在交集；响应于存在交集，基于所述至少一个单目检测框对所述前方路面场景中包括的至少一个目标进行跟踪。可选地，所述基于所述至少一个单目检测框对所述前方路面场景中包括的至少一个目标进行跟踪，包括：确定所述至少一个单目检测框中的每个单目检测框对应的目标信息；其中，所述目标信息包括：第一目标类别、第一距离信息和第一尺度比例；确定所述当前时刻对应的所述目标信息与上一时刻对应的目标信息之间是否匹配；如果是，基于所述单目检测框放大设定倍数得到跟踪框，以所述跟踪框在下一时刻对至少一个目标进行跟踪；否则，确定下一时刻对应的目标信息与所述当前时刻对应的目标信息是否匹配，基于匹配结果确定是否继续跟踪。可选地，所述确定下一时刻对应的目标信息与所述当前时刻对应的目标信息是否匹配，基于匹配结果确定是否继续跟踪，包括：响应于所述下一时刻对应的目标信息与所述当前时刻对应的目标信息匹配，基于所述下一时刻的目标信息对应的单目检测框放大设定倍数得到下一跟踪框，以所述下一跟踪框在下下一时刻对至少一个目标进行跟踪；响应于所述下一时刻对应的目标信息与所述当前时刻对应的目标信息不匹配，不继续基于所述单目检测框进行跟踪。可选地，在基于所述多个种子点和所述模图，得到包括至少一条垂直线段和/或至少一条水平线段的所述直线图之后，还包括：将所述灰度图、所述视差图和所述直线图中的像素值分别作为彩色图中一个通道的取值进行合并，得到特征图；所述基于所述单目检测框放大设定倍数得到跟踪框，以所述跟踪框在下一时刻对至少一个目标进行跟踪，包括：基于所述单目检测框放大设定倍数得到跟踪框；将所述跟踪框映射到所述特征图中，将所述特征图输入目标检测器，预测得到下一时刻的第二目标检测框；基于所述双目相机确定所述第二目标检测框对应的第二距离信息，基于所述第二距离信息确定第二尺度比例；基于所述第二尺度比例从检测模型集合中获得所述第二尺度比例对应的第二检测模型；基于所述第二检测模型对所述第二目标检测框进行检本文档来自技高网...

【技术保护点】
1.一种目标检测方法，其特征在于，包括：/n基于双目相机在当前时刻对前方路面场景进行图像采集得到的当前帧左图和当前帧右图，确定视差图；其中，所述前方路面场景中包括至少一个目标；/n基于所述当前帧左图，确定包括至少一条垂直线段和/或至少一条水平线段的直线图；/n基于所述视差图得到所述当前帧左图中的至少一个检测框，基于所述直线图对所述检测框进行调整，得到至少一个第一目标检测框；/n分别对所述至少一个第一目检测框中的每个第一目标检测框进行检测，确定每个所述第一目标检测框中的第一目标类别。/n

【技术特征摘要】
1.一种目标检测方法，其特征在于，包括：
基于双目相机在当前时刻对前方路面场景进行图像采集得到的当前帧左图和当前帧右图，确定视差图；其中，所述前方路面场景中包括至少一个目标；
基于所述当前帧左图，确定包括至少一条垂直线段和/或至少一条水平线段的直线图；
基于所述视差图得到所述当前帧左图中的至少一个检测框，基于所述直线图对所述检测框进行调整，得到至少一个第一目标检测框；
分别对所述至少一个第一目检测框中的每个第一目标检测框进行检测，确定每个所述第一目标检测框中的第一目标类别。


2.根据权利要求1所述的方法，其特征在于，所述基于双目相机对前方路面场景进行图像采集得到当前帧左图和当前帧右图，确定视差图，包括：
在所述当前时刻基于所述双目相机对前方路面场景进行图像采集，得到所述当前帧左图和所述当前帧右图；
利用双目匹配算法对所述当前帧左图和所述当前帧右图进行处理，得到所述当前时刻对应的视差图。


3.根据权利要求1或2所述的方法，其特征在于，所述基于所述当前帧左图，确定包括至少一条垂直线段和/或至少一条水平线段的直线图，包括：
对所述当前帧左图进行灰度化处理，得到灰度图；
基于所述灰度图中每四个相邻像素值计算梯度，得到模图和角度图；其中，所述模图和所述角度图的大小与所述灰度图相同，所述模图中的每个位置的值表示所述灰度图在对应位置的模值，所述角度图中的每个位置的值表示所述灰度图中对应位置的角度值；
基于所述角度图确定所述灰度图中包括的多个种子点；
基于所述多个种子点和所述模图，得到包括至少一条垂直线段和/或至少一条水平线段的所述直线图。


4.根据权利要求3所述的方法，其特征在于，所述基于所述多个种子点和所述模图，得到包括至少一条垂直线段和/或至少一条水平线段的所述直线图，包括：
基于所述多个种子点在所述模图中对应位置的模值，确定所述多个种子点中每个种子点的模值；
确定所述模值大于第一设定值的至少一个种子点为基点，得到至少一个所述基点；
针对所述至少一个基点中的每个基点，将与所述基点角度一致，距离差值小于第二设定值(视差图中的值越大，距离越近)的种子点与所述基点合并为直线段；
得到包括至少一条垂直线段和/或至少一条水平线段的所述直线图。


5.根据权利要求1-4任一所述的方法，其特征在于，所述基于所述视差图得到所述当前帧左图中的至少一个检测框，基于所述直线图对所述检测框进行调整，得到至少一个第一目标检测框，包括：
将所述视差图按照视差值进行拆分，得到多个子视差图；其中，每个所述子视差图...

【专利技术属性】
技术研发人员：赵东旭，何君舰，孟凯，曹洪胜，傅斌，
申请(专利权)人：智车优行科技北京有限公司，
类型：发明
国别省市：北京;11