【技术实现步骤摘要】
本专利技术涉及自动驾驶，尤其涉及的是基于3d可行驶区域的图像数据增强方法及装置。
技术介绍
1、在自动驾驶场景中，基于图像的3d目标检测模型能够为自动驾驶车辆提供障碍物位置和姿态信息，用于规划和控制车辆的行驶轨迹，但由于真实世界的复杂性，目标检测模型训练所使用的标注数据集是有限的，对于罕见物体的检测是一项重要挑战，主要原因是罕见物体的数据量在标签数据集中的占比很低，甚至是未出现过，比如三角警示牌、道路施工警示牌、倒地锥桶、以及纸箱、石头等物体，这导致目标检测模型无法很好的学习到罕见物体的特征，最终导致漏检，严重影响自动驾驶的安全性。
2、在现有的技术方案中，用于提高罕见物体检测性能的方法，比较有效的是通过数据增强的方式，其中代表性方案为谷歌提出的利用已标注物体的掩膜，将物体从当前图像中抠取出来，并以复制-粘贴的方式，随机缩放后插入到其他图像帧的随机位置，便构造出一帧新图像，以提高已标注物体在模型训练过程中出现的频率。
3、但该方案有以下问题，一方面是该方案针对的是图像2d检测应用场景，粘贴的2d物体无法获知准确的3d包围框信息，而图像3d检测模型训练时需要将目标物体准确的3d包围框真值作为学习目标，导致其应用场景受到限制；另一方面是该方案随机在任意位置粘贴的方式容易造成误检，导致已标注物体在模型训练过程中的准确率较低。
4、因此，现有技术还有待改进。
技术实现思路
1、本专利技术要解决的技术问题在于，针对现有技术缺陷，本专利技术提供基于3d可行驶
2、本专利技术解决技术问题所采用的技术方案如下：
3、第一方面，本专利技术提供基于3d可行驶区域的图像数据增强方法，包括：
4、建立罕见物体数据库；
5、获取当前场景的多帧点云和多帧图像，确定所述当前场景的每帧点云对应的可行驶区域；其中，所述当前场景的多帧点云与多帧图像为时刻一一对应的数据；
6、在每帧点云对应的可行驶区域内选取待增强位置，根据所述待增强位置在所述罕见物体数据库查找满足条件的罕见物体数据；
7、将所述罕见物体数据融入所述当前场景的对应图像中，得到增强后当前场景的图像数据。
8、在一种实现方式中，所述建立罕见物体数据库，包括：
9、获取罕见物体的图像帧和点云帧；其中，所述罕见物体的图像帧与所述罕见物体的点云帧为经过时间同步处理后的同一时刻数据；
10、根据第一指令获取所述罕见物体的图像帧中的罕见物体局部图像；
11、根据第二指令对所述罕见物体的点云帧进行可视化处理，获取所述罕见物体对应的3d包围框信息；
12、根据所述罕见物体局部图像及对应的3d包围框信息建立所述罕见物体数据库。
13、在一种实现方式中，所述确定所述当前场景的每帧点云对应的可行驶区域，包括：
14、根据所述当前场景的多帧点云进行三维重建，根据重建的三维模型提取地面点，并根据提取的地面点估计得到地平面方程；
15、根据光线追踪算法，在所述当前场景的每帧点云中获得未被物体占据的可行驶区域。
16、在一种实现方式中，所述根据所述当前场景的多帧点云进行三维重建，根据重建的三维模型提取地面点，并根据提取的地面点估计得到地平面方程，包括：
17、根据地面分割算法提取所述当前场景的所有点云帧中的地面点；
18、获取当前车辆位姿，根据所述当前车辆位姿将所有点云帧中的地面点转换至世界坐标系，获得预设路段的局部稠密点云地图；
19、根据所述局部稠密点云地图，利用点云坐标拟合得到所述地平面方程。
20、在一种实现方式中，所述在所述当前场景的每帧点云中获得未被物体占据的可行驶区域，包括：
21、在所述当前场景的每帧点云中，过滤提取的地面点以及离地预设高度的点；
22、将过滤后剩余的三维点云以预设分辨率投影到鸟瞰图中，并标记所述鸟瞰图中被点云占据的格子；
23、确定未标记的格子，根据所述未标记的格子获得所述未被物体占据的可行驶区域。
24、在一种实现方式中，所述在每帧点云对应的可行驶区域内选取待增强位置，根据所述待增强位置在所述罕见物体数据库查找满足条件的罕见物体数据，包括：
25、在每帧点云对应的可行驶区域内的地平面上，随机选取待增强的位置；
26、根据选定的位置从所述罕见物体数据库查询距离所选位置最近的3d包围框；
27、根据查询到的3d包围框查询对应的罕见物体局部图像。
28、在一种实现方式中，所述将所述罕见物体数据融入所述当前场景的对应图像中，得到增强后当前场景的图像数据，包括：
29、根据相机外参数和相机内参数，将查询到的3d包围框投影至所述当前场景的对应图像中；
30、获得投影图像区域，利用加权和的方式将查询到的罕见物体局部图像与所述当前场景的对应图像进行融合，得到增强后当前场景的图像数据。
31、第二方面，本专利技术提供一种基于3d可行驶区域的图像数据增强装置，包括：
32、罕见物体数据库模块，用于建立罕见物体数据库；
33、可行驶区域确定模块，用于获取当前场景的多帧点云和多帧图像，确定所述当前场景的每帧点云对应的可行驶区域；其中，所述当前场景的多帧点云与多帧图像为时刻一一对应的数据；
34、罕见物体数据查找模块，用于在每帧点云对应的可行驶区域内选取待增强位置，根据所述待增强位置在所述罕见物体数据库查找满足条件的罕见物体数据；
35、图像增强处理模块，用于将所述罕见物体数据融入所述当前场景的对应图像中，得到增强后当前场景的图像数据。
36、第三方面，本专利技术提供一种终端，包括：处理器以及存储器，所述存储器存储有基于3d可行驶区域的图像数据增强程序，所述基于3d可行驶区域的图像数据增强程序被所述处理器执行时用于实现如第一方面所述的基于3d可行驶区域的图像数据增强方法的操作。
37、第四方面，本专利技术还提供一种介质，所述介质为计算机可读存储介质，所述介质存储有基于3d可行驶区域的图像数据增强程序，所述基于3d可行驶区域的图像数据增强程序被处理器执行时用于实现如第一方面所述的基于3d可行驶区域的图像数据增强方法的操作。
38、本专利技术采用上述技术方案具有以下效果：
39、本专利技术通过获取当前场景的多帧点云和多帧图像，可确定可行驶区域；并且，通过选取待增强位置，可在罕见物体数据库查找满足条件的罕见物体数据，从而将罕见物体数据融入当前场景图像的可行驶区域内，得到增强后的场景图像数据。本专利技术通过在3d可行驶区域内构建罕见物体，既可以获取准确的罕见物体3d信息，又可以在合理的区域添加罕见物体，避免出现不必要的误检；并且通过建立数据库的方式，收集了多种来源的数据，可快速丰富罕见物体本文档来自技高网...
【技术保护点】
1.一种基于3D可行驶区域的图像数据增强方法，其特征在于，包括：
2.根据权利要求1所述的基于3D可行驶区域的图像数据增强方法，其特征在于，所述建立罕见物体数据库，包括：
3.根据权利要求1所述的基于3D可行驶区域的图像数据增强方法，其特征在于，所述确定所述当前场景的每帧点云对应的可行驶区域，包括：
4.根据权利要求3所述的基于3D可行驶区域的图像数据增强方法，其特征在于，所述根据所述当前场景的多帧点云进行三维重建，根据重建的三维模型提取地面点，并根据提取的地面点估计得到地平面方程，包括：
5.根据权利要求3所述的基于3D可行驶区域的图像数据增强方法，其特征在于，所述在所述当前场景的每帧点云中获得未被物体占据的可行驶区域，包括：
6.根据权利要求1所述的基于3D可行驶区域的图像数据增强方法，其特征在于，所述在每帧点云对应的可行驶区域内选取待增强位置，根据所述待增强位置在所述罕见物体数据库查找满足条件的罕见物体数据，包括：
7.根据权利要求1所述的基于3D可行驶区域的图像数据增强方法，其特征在于，所述将所述罕见
8.一种基于3D可行驶区域的图像数据增强装置，其特征在于，包括：
9.一种终端，其特征在于，包括：处理器以及存储器，所述存储器存储有基于3D可行驶区域的图像数据增强程序，所述基于3D可行驶区域的图像数据增强程序被所述处理器执行时用于实现如权利要求1-7中任意一项所述的基于3D可行驶区域的图像数据增强方法的操作。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有基于3D可行驶区域的图像数据增强程序，所述基于3D可行驶区域的图像数据增强程序被处理器执行时用于实现如权利要求1-7中任意一项所述的基于3D可行驶区域的图像数据增强方法的操作。
...【技术特征摘要】
1.一种基于3d可行驶区域的图像数据增强方法，其特征在于，包括：
2.根据权利要求1所述的基于3d可行驶区域的图像数据增强方法，其特征在于，所述建立罕见物体数据库，包括：
3.根据权利要求1所述的基于3d可行驶区域的图像数据增强方法，其特征在于，所述确定所述当前场景的每帧点云对应的可行驶区域，包括：
4.根据权利要求3所述的基于3d可行驶区域的图像数据增强方法，其特征在于，所述根据所述当前场景的多帧点云进行三维重建，根据重建的三维模型提取地面点，并根据提取的地面点估计得到地平面方程，包括：
5.根据权利要求3所述的基于3d可行驶区域的图像数据增强方法，其特征在于，所述在所述当前场景的每帧点云中获得未被物体占据的可行驶区域，包括：
6.根据权利要求1所述的基于3d可行驶区域的图像数据增强方法，其特征在于，所述在每帧点云对应的可行驶区域内选取待增强位置，根据所述待增强...
【专利技术属性】
技术研发人员：颜培清，曹通易，周光，
申请(专利权)人：深圳元戎启行科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。