【技术实现步骤摘要】
本专利技术属于单目3d目标检测算法领域，具体涉及一种基于仿射与角度增强的单目3d检测方法。
技术介绍
1、目标检测在自动驾驶应用中发挥着至关重要的作用，因为它能为目标跟踪(object tracking)、轨迹预测(trajectory prediction)等任务提供有价值的信息。最初，自动驾驶汽车在很大程度上依赖于激光雷达传感器，大多数3d检测器都是为了利用激光雷达数据进行3d目标检测而设计的。然而，在自动驾驶汽车中部署激光雷达传感器的成本很高。相比之下，单目摄像头具有成本低、易于部署等优点，因此成为3d目标检测任务的可行选择。然而，从单个图像中准确估计目标的3d位置是一项极具挑战性的任务。因此，单目3d目标检测吸引了众多研究人员的关注，并已成为计算机视觉领域的一个突出的研究重点。
2、数据增强技术因其简单有效而被广泛应用于计算机视觉和机器学习领域。它包括通过对现有数据集进行各种转换来生成额外的训练数据。与2d目标检测相比，在3d目标检测中，数据增强的作用更为重要。这主要是因为标注3d目标的成本更高，而且获取大量不同的训练数据具有挑战性。现有的2d目标检测数据增强通常包括随机平移、随机缩放、随机颜色扰动、随机翻转等技术。然而，用于单目3d目标检测的数据增强受到的关注较少，通常只包含两种技术：随机翻转和随机颜色扰动。因此，有必要开发专为单眼3d目标检测量身定制的简单高效的数据增强方法。与已有的专利《一种基于单目3d目标检测的数据增强方法和装置》相比，我们的方法在使用平移数据增强的同时保留了竖直的坐标线索和水平平移不
技术实现思路
1、为了解决单目3d目标检测的数据增强方法种类少、单目3d目标检测任务中未纳入随机平移、随机平移增强时三维物体检测任务对坐标的依赖的技术问题，本专利技术提出了一种基于仿射与角度增强的单目3d检测方法，包括如下步骤：
2、一、随机水平平移数据增强：在使用随机水平平移数据增强的同时，对输入图像进行柱面变换，得到新的图像作为网络的输入；
3、二、随机竖直平移数据增强：在使用随机竖直平移数据增强的同时，对输入rgb三个通道的图像进行竖直坐标信息的拼接，将每个像素位置的坐标信息vcat作为第四个通道，得到新的四个通道的张量作为网络的输入；
4、三、随机俯仰角和滚转角数据增强：在向量空间均匀采样俯仰角和滚转角，在使用随机俯仰角和滚转角数据增强后利用图像的竖直平移保持垂直坐标的深度估计线索不变。
5、步骤一随机水平平移数据增强是为了解耦水平坐标和网络输出的关系，使其具有水平平移不变性，提出柱面变换模块。其特征在于对输入图像进行了柱面变换。
6、步骤二随机竖直平移数据增强是为了解耦竖直坐标和网络输出的关系，使其在不丢失坐标对于深度的提示信息的同时应用随机竖直平移数据增强，提出主点提示模块。其特征在于对输入图像拼接的竖直坐标信息。
7、步骤三随机俯仰角和滚转角数据增强，该步骤的主要思路是模拟路面左右倾斜或上升下降的情况。其可以等价于摄像机的俯仰角和滚转角的变换。然而，改变摄像机的俯仰角和滚转角会使目标离开地面，从而破坏基于垂直坐标的深度估算。所以在摄像机俯仰角变换后引入图像的平移以确保基于垂直坐标的深度估计线索保持不变。为了公平的对待这两个角度，在选择具体的角度时使用在方向向量的空间内均匀选取。而旋转后的目标的3d大小不变，3d位置先根据转动的角度得到转动后的位置，再根据2d的平移的像素数进行平移，目标的角度则跟随从目标中心点指向目标正前方的方向向量进行变更。算法的特征在于在向量空间均匀采样俯仰角和滚转角，在使用随机俯仰角和滚转角数据增强后利用图像的竖直平移保持垂直坐标的深度估计线索不变。
8、步骤一所述柱面变换的公式如下：
9、
10、
11、其中，(uold,vold)和(unew,vnew)分别是变换前后的坐标，(cu,cv)是相机主点的位置，(fu,fv)是相机在两个方向上的焦距。
12、步骤二所述拼接的公式如下：
13、vcat＝v-cv
14、其中，vcat是要拼接的坐标，v是图像的像素坐标系的坐标，cv是相机主点的纵坐标。
15、步骤三具体步骤为：
16、输入原始图像img,边界框的集合box,随机俯仰角和滚转角的最大范围a和b,相机内参k，首先在方向向量的空间内均匀选取角度，然后计算新的图像，得到增强后的图像为img2，再后计算新的标签，得到增强后的标签box2。
17、步骤三本文档来自技高网...
【技术保护点】
1.基于仿射与角度增强的单目3D检测方法，包括如下步骤：
2.根据权利要求1所述的基于仿射与角度增强的单目3D检测方法，其特征在于，步骤一所述柱面变换的公式如下：
3.根据权利要求1所述的基于仿射与角度增强的单目3D检测方法，其特征在于，步骤二所述拼接的公式如下：
4.根据权利要求1所述的基于仿射与角度增强的单目3D检测方法，其特征在于，步骤三具体步骤为：
5.根据权利要求4所述的基于仿射与角度增强的单目3D检测方法，其特征在于，在方向向量的空间内均匀选取角度时，公式如下：
6.根据权利要求4所述的基于仿射与角度增强的单目3D检测方法，其特征在于，增强后的图像IMG2在每一个像素(u，v)上的值通过如下公式计算：
7.根据权利要求4所述的基于仿射与角度增强的单目3D检测方法，其特征在于，增强后的标签，即第i个BOX2通过如下公式计算：
8.一种基于仿射与角度增强的单目3D检测系统，其特征在于，应用上述权利要求1至7任一项所述的方法。
9.一种基于仿射与角度增强的单目3D检测器，使用权利
...【技术特征摘要】
1.基于仿射与角度增强的单目3d检测方法，包括如下步骤：
2.根据权利要求1所述的基于仿射与角度增强的单目3d检测方法，其特征在于，步骤一所述柱面变换的公式如下：
3.根据权利要求1所述的基于仿射与角度增强的单目3d检测方法，其特征在于，步骤二所述拼接的公式如下：
4.根据权利要求1所述的基于仿射与角度增强的单目3d检测方法，其特征在于，步骤三具体步骤为：
5.根据权利要求4所述的基于仿射与角度增强的单目3d检测方法，其特征在于，在方向向量的空间内均匀选取...
【专利技术属性】
技术研发人员：潘惠惠，贾译凇，洪源铎，孙维超，高会军，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。