尾端与侧面结合的3D车辆检测方法、系统、终端和存储介质技术方案

本发明专利技术提供一种尾端与侧面结合的3D车辆检测方法、系统、终端和存储介质，包括获得捕获图像，检测车辆尾端端面，预测车头可见顶点的竖直直线；利用侧向分类器判断车头竖直直线与车尾框包围区域是否是车辆侧面；判断是车辆侧面，则预测车轮候选位置；利用车轮分类器判断步骤S03中车轮候选位置处是否有车轮；判断有车轮，则根据车轮与车头竖直线确定车身倾斜角度；根据车身倾斜角度与车辆尾端端面中靠近车轮的顶点确定车辆侧面的底边；根据车辆侧面的底边、车辆尾端端面、车头竖直直线为基准补全三维框，得到三维车辆包围框。对障碍物的三维精准定位、预测车辆首尾坐标、部件可见性、车辆自身尺寸等信息提供了基础条件。

3D vehicle detection method, system, terminal and storage medium combined with rear end and side

The invention provides a 3D vehicle detection method, system, terminal and storage medium which combines the rear end with the side, including acquiring captured images, detecting the rear end face of the vehicle, predicting the vertical line of the visible vertex of the vehicle head, judging whether the vertical line of the vehicle head and the area enclosed by the rear frame are the side of the vehicle by the side classifier. The candidate position of the wheel is predicted on the side of the vehicle; Wheel classifier is used to determine whether there are wheels at the candidate position of the wheel in #103; Wheels are judged to have wheels, the tilt angle of the body is determined according to the vertical line between the wheel and the front of the vehicle; The bottom edge of the side of the vehicle is determined according to the tilt angle of the body and the vertex near the wheel in the rear end face of the vehicle. According to the bottom edge of the side of the vehicle, the end face of the rear end of the vehicle and the vertical straight line of the front of the vehicle, the three-dimensional vehicle bounding frame is obtained. It provides basic conditions for accurate three-dimensional positioning of obstacles, prediction of vehicle head and tail coordinates, visibility of components, and vehicle size information.

【技术实现步骤摘要】
尾端与侧面结合的3D车辆检测方法、系统、终端和存储介质
本专利技术涉及汽车电子
，特别是涉及一种尾端与侧面结合的3D车辆检测方法、系统、终端和存储介质。
技术介绍
ADAS即先进驾驶辅助系统又称主动安全系统，主要包括车身电子稳定系统ESC、自适应巡航系统ACC、车道偏移报警系统LDW、车道保持系统LKA、前向碰撞预警系统FCW、开门预警DOW、自动紧急刹车系统AEB、交通标志识别TSR、盲点探测BSD、夜视系统NV、自动泊车系统APS等。目前，基于图像的车辆检测多采用平面标注方式进行车辆检测。
技术实现思路
为了解决上述的以及其他潜在的技术问题，本专利技术提供了一种尾端与侧面结合的3D车辆检测方法、系统、终端和存储介质，第一，根据捕获图像获得三维的车辆包围框，对障碍物的三维精准定位提供了基础；根据捕获图像获得三维的车辆包围框，对预测车辆首尾坐标、部件可见性、车辆自身尺寸等信息提供了基础条件。一种尾端与侧面结合的3D车辆检测方法，包括以下步骤：S01：获得捕获图像，检测车辆尾端端面，预测车头可见顶点的竖直直线；S02：利用侧向分类器判断车头竖直直线与车辆尾端端面包围区域是否是车辆侧面；S03：判断是车辆侧面，则预测车轮候选位置；判断不是车辆侧面，则返回步骤S02；S04：利用车轮分类器判断步骤S03中车轮候选位置处是否有车轮；S05：判断有车轮，则根据车轮与车头竖直线确定车身倾斜角度；判断无车轮，返则回步骤S03；S06：根据车身倾斜角度与车辆尾端端面中靠近车轮的顶点确定车辆侧面的底边；S07：根据车辆侧面的底边、车辆尾端端面、车头竖直直线为基准补全三维框，得到三维车辆包围框。进一步地，所述步骤S01中预测车头可见顶点的竖直直线的具体步骤是：根据车辆头部位置车辆与路面纹理信息获取车辆与路面之间的纹理分界线预判断为车头处可见顶点的竖直垂线，这里的竖直垂线为一个或多个。进一步地，所述步骤S01中预测车头可见顶点的竖直直线的具体步骤是：S011：获得捕获图像，检测车辆尾端端面；S012：根据检测车辆尾端端面提取纹理信息；统计、分析得出纹理信息中属于车辆高度方向的垂线，从而得出车辆高度方向垂线在捕获图像中的方向信息；S013：根据车辆头部位置车辆与路面纹理信息获取车辆与路面之间的纹理分界线，根据车辆尾端端面纹理信息中判断出的车辆高度方向垂线在捕获图像中的方向信息筛选分界线中的车头处可见顶点的竖直直线，这里的竖直直线为一个或多个。进一步地，所述步骤S02中的侧向分类器是利用给定类别的车辆侧向图像已知训练数据来学习分类规则生成侧向分类器；用侧向分类器对捕获图像进行分类，找出捕获图像中符合的区域，初步认定为车辆侧面。进一步地，所述步骤S03中预测车轮候选位置的具体步骤为：用一个滑动窗在车辆侧面的区域中按照规则滑动，每到一个位置就会计算滑动窗所在区域内的特征信息；然后用训练好的车轮候选分类器对特征信息进行筛选，判断滑动窗所在区域是否为车轮候选位置，若是车轮候选位置则保留；若不是车轮候选位置则继续滑动滑动窗至下一位置；当滑动窗遍历完成车辆侧面的区域时，收集所有车轮候选位置信息。进一步地，所述步骤S04中的车轮分类器分类车轮候选位置时，所述车轮分类器至少包括车轮本体所提取的至少一种车轮本体特征和/或车轮周围所提取的至少一种车轮周围特征和/或所提取的至少一种车轮本体与车轮周围的关联特征。进一步地，所述步骤S05中根据车轮与车头竖直直线确定车身倾斜角度的具体方法：根据车辆尾端端面和车头竖直直线为车辆侧面的竖直基准，以步骤S04中认定的前车轮位置和路面的第一切点与后车轮位置和路面的第二切点为水平基准，连接第一切点和第二切点形成水平连接线，延长水平连接线的两端分别延长至车辆尾端端面和车头竖直直线；以水平连接线与车头竖直直线之间的夹角为车身倾斜角度。进一步地，所述步骤S06中根据车身倾斜角度与车辆尾端端面中靠近车轮的顶点确定车辆侧面底边的具体方法是：以车辆尾端端面的四个顶点中靠近车轮的顶点为原点以水平连接线延伸的方向为方向做一条车辆侧面水平线，延长该车辆侧面水平线与车头竖直直线相交构成车辆侧面的底边。进一步地，所述步骤S07中根据车辆侧面的底边、车辆尾端端面、车头竖直直线为基准补全三维框时，是根据平行四边形法则补全三维框的。一种尾端与侧面结合的3D车辆检测系统，包括尾端检测模块、首端检测模块、侧面检测模块和三维补全模块；所述尾端检测模块用于根据获得捕获图像检测捕获图像中车辆的位置，并根据车辆位置检测车辆尾端端面；所述首端检测模块用于预测车头可见顶点的竖直直线所在捕获图像中的位置；所述侧面检测模块包括预测车轮候选位置模块、车轮认定模块、侧面底边生成模块和侧面补全模块，所述车轮候选位置模块用训练好的车轮候选分类器对特征信息进行筛选，判断滑动窗所在区域是否为车轮候选位置；所述车轮认定模块用于以车轮本体特征、车轮周围特征、关联特征来认定车轮是否真实；所述侧面底边生成模块依据车轮位置形成水平连接线，延长水平连接线至车头竖直直线，得到水平连接线与车头竖直直线之间的夹角为车身倾斜角度，以车辆尾端端面的四个顶点中靠近车轮的顶点为原点以水平连接线延伸的方向为方向做车辆侧面的底边；所述侧面补全模块用于补全侧面端面；所述三维补全模块用于根据车辆侧面的底边、车辆尾端端面、车头竖直直线为基准补全车辆三维框。一种尾端与侧面结合的3D车辆检测终端，其特征在于，包括处理器和存储器，所述存储器存储有程序指令，所述处理器运行程序指令实现上述的方法中的步骤。一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现上述的方法中的步骤。如上所述，本专利技术的具有以下有益效果：第一，根据捕获图像获得三维的车辆包围框，对障碍物的三维精准定位提供了基础。第二，根据捕获图像获得三维的车辆包围框，对预测车辆首尾坐标、部件可见性、车辆自身尺寸等信息提供了基础条件。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1显示为本专利技术的具体流程图。图2显示为本专利技术的车辆尾端端面与车头竖直直线之间的车辆侧面区域。图3显示为一实施例中本专利技术检测出来的3D框架图。图4显示为另一实施例中本专利技术检测出来的3D框架图。图5显示为另一实施例中本专利技术检测出来的3D框架图。图6显示为另一实施例中本专利技术检测出来的3D框架图。图7显示为另一实施例中本专利技术检测出来的3D框架图。图8显示为另一实施例中本专利技术检测出来的3D框架图。图9显示为本专利技术检测出来的车辆尾端端面和车辆侧面的示意图。图10显示为本专利技术检测出来的车身倾斜角度的示意图。在图中：1-车辆尾端端面；2-车辆侧面。具体实施方式以下通过特定的具体实例说明本专利技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本专利技术的其他优点与功效。本专利技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本专利技术的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可本文档来自技高网...

【技术保护点】
1.一种尾端与侧面结合的3D车辆检测方法，其特征在于，包括以下步骤：S01：获得捕获图像，检测车辆尾端端面，预测车头可见顶点的竖直直线；S02：利用侧向分类器判断车头竖直直线与车辆尾端端面包围区域是否是车辆侧面；S03：判断是车辆侧面，则预测车轮候选位置；判断不是车辆侧面，则返回步骤S02；S04：利用车轮分类器判断步骤S03中车轮候选位置处是否有车轮；S05：判断有车轮，则根据车轮与车头竖直线确定车身倾斜角度；判断无车轮，返则回步骤S03；S06：根据车身倾斜角度与车辆尾端端面中靠近车轮的顶点确定车辆侧面的底边；S07：根据车辆侧面的底边、车辆尾端端面、车头竖直直线为基准补全三维框，得到三维车辆包围框。

【技术特征摘要】
1.一种尾端与侧面结合的3D车辆检测方法，其特征在于，包括以下步骤：S01：获得捕获图像，检测车辆尾端端面，预测车头可见顶点的竖直直线；S02：利用侧向分类器判断车头竖直直线与车辆尾端端面包围区域是否是车辆侧面；S03：判断是车辆侧面，则预测车轮候选位置；判断不是车辆侧面，则返回步骤S02；S04：利用车轮分类器判断步骤S03中车轮候选位置处是否有车轮；S05：判断有车轮，则根据车轮与车头竖直线确定车身倾斜角度；判断无车轮，返则回步骤S03；S06：根据车身倾斜角度与车辆尾端端面中靠近车轮的顶点确定车辆侧面的底边；S07：根据车辆侧面的底边、车辆尾端端面、车头竖直直线为基准补全三维框，得到三维车辆包围框。2.根据权利要求1所述的尾端与侧面结合的3D车辆检测方法，其特征在于，所述步骤S01中预测车头可见顶点的竖直直线的具体步骤是：根据车辆头部位置车辆与路面纹理信息获取车辆与路面之间的纹理分界线预判断为车头处可见顶点的竖直垂线，这里的竖直垂线为一个或多个。3.根据权利要求2所述的尾端与侧面结合的3D车辆检测方法，其特征在于，所述步骤S02中的侧向分类器是利用给定类别的车辆侧向图像已知训练数据来学习分类规则生成侧向分类器；用侧向分类器对捕获图像进行分类，找出捕获图像中符合的区域，初步认定为车辆侧面。4.根据权利要求3所述的尾端与侧面结合的3D车辆检测方法，其特征在于，所述步骤S03中预测车轮候选位置的具体步骤为：用一个滑动窗在车辆侧面的区域中按照规则滑动，每到一个位置就会计算滑动窗所在区域内的特征信息；然后用训练好的车轮候选分类器对特征信息进行筛选，判断滑动窗所在区域是否为车轮候选位置，若是车轮候选位置则保留；若不是车轮候选位置则继续滑动滑动窗至下一位置；当滑动窗遍历完成车辆侧面的区域时，收集所有车轮候选位置信息。5.根据权利要求4所述的尾端与侧面结合的3D车辆检测方法，其特征在于，所述步骤S04中的车轮分类器分类车轮候选位置时，所述车轮分类器至少包括车轮本体所提取的至少一种车轮本体特征和/或车轮周围所提取的至少一种车轮周围特征和/或所提取的至少一种车轮本体与车轮周围的关联特征。6.根据权利要求5所述的尾端与侧面结合的3D车辆检测方法，其特征在于，...

【专利技术属性】
技术研发人员：吴子章，王凡，唐锐，李坤仑，丁丽珠，
申请(专利权)人：北京纵目安驰智能科技有限公司，
类型：发明
国别省市：北京,11