【技术实现步骤摘要】
本公开属于计算机视觉，具体涉及一种单目相机俯仰角确定和深度估计方法、装置及设备。
技术介绍
1、通用高清摄像机传感器在采集像素数据时，会将3d空间信息压缩到2d平面上，从而损失了目标相对于传感器的距离深度信息。因此，在需要深度信息的应用场景中，如实际交通监管应用，需要对目标的深度信息进行恢复。
2、目前对于单目相机，获取目标高精度深度信息的方式主要是采用深度学习方法直接预测物体在三维相机坐标系下的位置以及朝向。但该类算法的深度神经网络结构通常比较复杂，导致模型虽然检测精度高但是推理计算量大、时延高，不利于实时捕捉目标信息，同时相较于像素平面的2d目标检测算法，3d目标感知模型对硬件平台的要求更高，进而导致部署成本更高；3d感知模型的泛化性也普遍较差，更换设备或者环境视野往往需要重新大量标注数据进行模型训练，难以复制，不利于算法迁移和实际部署应用。
技术实现思路
1、本公开实施例提出了一种单目相机深度估计方案，以解决现有单目相机深度估计方案时延高，难以部署的问题。
2、本公开实施例的第一方面提供了一种确定单目相机与路面待检测区域俯仰角的方法，所述单目相机基于针孔成像原理设计，部署于路侧并且所述单目相机与所述待检测区域的横滚角不大于预设值，包括：
3、基于所述单目相机获取所述待检测区域同一视角不同时刻的图片，基于所述图片获取所述待检测区域运动物体的轨迹点，基于所述轨迹点在所述待检测区域确定特征提取区域；
4、检测所述特征提取区域内的灭点，
5、在一些实施例中，所述基于所述图片获取所述待检测区域运动物体的轨迹点包括：
6、基于深度学习网络模型对所述图片做2d目标检测，得到目标的2d包围框，将所述包围框下边缘中心的像素作为所述目标在所述图片的轨迹点；
7、基于2d目标跟踪得到所述目标在不同时刻的其他图片的轨迹点；
8、获取多个所述目标在不同时刻的所述图片的轨迹点。
9、在一些实施例中，所述基于所述轨迹点在所述待检测区域确定特征提取区域包括：
10、当所述轨迹点的数量大于预设阈值时，基于所述轨迹点横坐标的最大和最小值确定矩形区域的左右边缘，基于所述轨迹点纵坐标的最大和最小值确定所述矩形区域的上下边缘，并且所述矩形区域各个边缘与所述图片各个边缘之间预留预设宽度作为缓冲空间；
11、将所述矩形区域的下边缘作为三角形区域的下边缘，将组成所述矩形区域上边缘的轨迹点的横坐标的均值作为所述三角形区域的顶点，所述三角形区域为所述特征提取区域。
12、在一些实施例中，所述检测所述特征提取区域内的灭点包括：
13、采用线特征检测算法检测所述矩形区域内画面中的直线特征；
14、基于所述三角形区域内的直线检测灭点。
15、在一些实施例中，所述基于所述三角形区域内的直线检测灭点包括：
16、对每个所述图片，获取所述三角形区域内所述直线两两相交形成的所有交点，对每一个所述交点，计算所述交点到所述三角形区域内每一个所述直线的距离平方和，将距离平方和最小的所述交点作为所述图片的灭点；
17、使用线性卡尔曼滤波器对与不同时刻的所述图片对应的所有的灭点进行滤波以得到稳定灭点。
18、在一些实施例中，基于所述灭点的位置确定所述单目相机与所述待检测区域的俯仰角包括：
19、
20、其中α为俯仰角，为灭点的纵坐标，为垂直方向的焦距，表示光心纵坐标。
21、本公开实施例的第二方面一种单目相机深度估计方法，所述单目相机基于针孔成像原理设计，部署于路侧并且所述单目相机与路面待检测区域的横滚角不大于预设值，包括：
22、对由单目相机获取的所述待检测区域的图片做2d目标检测，得到目标在像素平面的坐标；
23、基于本公开第一方面所述方法确定所述单目相机与所述待检测区域的俯仰角，并获取所述单目相机相对于所述路面的高度和所述单目相机的相机内参；
24、基于所述目标在像素平面的坐标和所述俯仰角、所述高度和所述相机内参估计所述目标的深度。
25、本公开实施例的第三方面提供了一种确定单目相机与路面待检测区域俯仰角的装置，所述单目相机基于针孔成像原理设计，部署于路侧并且所述单目相机与所述待检测区域的横滚角不大于预设值，包括：
26、检测模块，用于基于所述单目相机获取所述待检测区域同一视角不同时刻的图片，基于所述图片获取所述待检测区域运动物体的轨迹点，基于所述轨迹点在所述待检测区域确定特征提取区域；
27、确定模块，用于检测所述特征提取区域内的灭点，基于所述灭点的位置确定所述单目相机与所述待检测区域的俯仰角。
28、本公开实施例的第四方面提供了一种单目相机深度估计装置，所述单目相机基于针孔成像原理设计，部署于路侧并且所述单目相机与路面待检测区域的横滚角不大于预设值，包括：
29、目标检测模块，用于对由单目相机获取的所述待检测区域的图片做2d目标检测，得到目标在像素平面的坐标；
30、参数获取模块，用于基于本公开第一方面所述方法确定所述单目相机与所述待检测区域的俯仰角，并获取所述单目相机相对于所述路面的高度和所述单目相机的相机内参；
31、深度估计模块，用于基于所述目标在像素平面的坐标和所述俯仰角、所述高度和所述相机内参估计所述目标的深度。
32、本公开实施例的第五方面提供了一种运动物体实例分割设备，其特征在于：包括存储器和处理器，
33、所述存储器，用于存储计算机程序；
34、所述处理器，用于当执行所述计算机程序时，实现根据本公开第一方面和本公开第二方面所述的方法。
35、综上所述，本公开各实施例提供的单目相机俯仰角确定方法、装置和单目相机深度估计方法、装置、设备，利用透视原理，即物理世界相互平行的两条线在像素平面交汇于灭点这一原理，并基于像素平面内的灭点与相机在物理世界（即道路坐标系）中的位姿角度之间的关系，从而可以根据单目相机获取的路面图片直接计算灭点，并根据灭点计算相机俯仰角，再通过2d检测获取目标位置，联合相机高度信息计算目标深度。因为2d目标检测算法泛化性与精度普遍较高，并且本方案基于几何原理与数学公式，可直接集成至相机驱动，无需额外算力资源，因此时延低，易于部署。
本文档来自技高网...【技术保护点】
1.一种确定单目相机与路面待检测区域俯仰角的方法，所述单目相机基于针孔成像原理设计，部署于路侧并且所述单目相机与所述待检测区域的横滚角不大于预设值，其特征在于，包括：
2.根据权利要求1所述方法，其特征在于，所述基于所述图片获取所述待检测区域运动物体的轨迹点包括：
3.根据权利要求1所述方法，其特征在于，所述基于所述轨迹点在所述待检测区域确定特征提取区域包括：
4.根据权利要求3所述方法，其特征在于，所述检测所述特征提取区域内的灭点包括：
5.根据权利要求4所述方法，其特征在于，所述基于所述三角形区域内的直线检测灭点包括：
6.根据权利要求1所述方法，其特征在于，基于所述灭点的位置确定所述单目相机与所述待检测区域的俯仰角包括：
7.一种单目相机深度估计方法，所述单目相机基于针孔成像原理设计，部署于路侧并且所述单目相机与路面待检测区域的横滚角不大于预设值，其特征在于，包括：
8.一种确定单目相机与路面待检测区域俯仰角的装置，所述单目相机基于针孔成像原理设计，部署于路侧并且所述单目相机与所述待检测区域
9.一种单目相机深度估计装置，所述单目相机基于针孔成像原理设计，部署于路侧并且所述单目相机与路面待检测区域的横滚角不大于预设值，其特征在于，包括：
10.一种单目相机深度估计设备，其特征在于，包括存储器和处理器：
...【技术特征摘要】
1.一种确定单目相机与路面待检测区域俯仰角的方法，所述单目相机基于针孔成像原理设计，部署于路侧并且所述单目相机与所述待检测区域的横滚角不大于预设值，其特征在于，包括：
2.根据权利要求1所述方法，其特征在于，所述基于所述图片获取所述待检测区域运动物体的轨迹点包括：
3.根据权利要求1所述方法，其特征在于，所述基于所述轨迹点在所述待检测区域确定特征提取区域包括：
4.根据权利要求3所述方法，其特征在于，所述检测所述特征提取区域内的灭点包括：
5.根据权利要求4所述方法，其特征在于，所述基于所述三角形区域内的直线检测灭点包括：
6.根据权利要求1所述方法，其特征在于，基于所...
【专利技术属性】
技术研发人员：王贝贝，张燕咏，吉建民，
申请(专利权)人：合肥综合性国家科学中心人工智能研究院安徽省人工智能实验室，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。