【技术实现步骤摘要】
本专利技术涉及室内定位，尤其是一种基于多相机的小车室内定位方法。
技术介绍
1、在汽车智能化的大背景下，自动驾驶被视为未来交通领域的一项重要技术，能够提高交通安全性、减少交通拥堵，并提供更多的出行选择。百度apollo小车是一款搭载自动驾驶技术的测试车辆，用于在实际道路上进行自动驾驶系统的测试和验证。apollo小车定位模块依赖于imu、gps、激光雷达、雷达、高精地图，这些传感器同时支持gnss定位和lidar定位，gnss定位输出位置和速度信息，lidar定位输出位置和行进方向信息。而由于室内定位缺少gps信息，对apollo小车的室内自动驾驶的研究带来了一些挑战。
2、现有的室内定位技术涵盖了多种方法和应用领域，如基于wifi、蓝牙、超声波和惯性导航等方法的室内定位技术，常常应用于室内导航、室内定位、室内遥控等领域，为室内环境中的定位和导航问题提供了一些解决方案。但是目前的室内定位技术在实际应用中存在着不同程度的问题和缺点，例如在复杂环境中的准确性受到限制，信号信号强度可能受到障碍物、干扰或多径传播的影响，从而导致定位误差增加。惯性导航技术容易受到累积误差的影响，导致漂移问题。而一些高精度的室内定位技术，如基于超声波或激光的系统，成本较高。部署这些系统需要昂贵的硬件和基础设施投资，限制了其在大规模应用中的可行性。
技术实现思路
1、本专利技术所要解决的技术问题在于，提供一种基于多相机的小车室内定位方法，多相机系统同时获得多个角度和视角的信息，减少了误差，提供了较高
2、为解决上述技术问题，本专利技术提供一种基于多相机的小车室内定位方法，包括如下步骤：
3、步骤1、对多相机内外参进行标定，从二维图像中获取三维空间信息，通过相机标定获取图像中像素与空间物体的映射关系，利用像素坐标解算空间坐标；
4、步骤2、基于改进yolov5模型，对小车进行特征点检测；
5、步骤3、对步骤2检测得到的特征点像素点坐标进行三角化，获得小车深度信息，完成室内定位目标。
6、优选的，步骤1中，对多相机内外参进行标定，从二维图像中获取三维空间信息具体包括如下步骤：
7、步骤11、获取相机内参，实现相机坐标系到图像坐标系的转换；
8、步骤12、获取相机外参，实现世界坐标系到相机坐标系的转换；
9、步骤13、通过内参矩阵和外参矩阵，构建透视投影矩阵，完成相机的标定；透视投影矩阵将图像上的像素坐标与三维空间中的实际坐标关联起来，使得图像中的点映射到三维空间中，实现相机的测量和计算功能。
10、优选的，步骤11中，获取相机内参，实现相机坐标系到图像坐标系的转换具体包括如下步骤：
11、步骤111、将四个kinect相机固定安装在室内定位场地的四个顶角位置，获得小车多个角度的位置信息；
12、步骤112、调用pyk4a接口，获得kinect相机内参矩阵k。
13、优选的，步骤12中，获取相机外参，实现世界坐标系到相机坐标系的转换具体包括如下步骤：
14、步骤121、通过多相机录制一段室内定位场地视频，并将视频文件拆分为一张张的棋盘格图像；
15、步骤122、加载图像，对每张图像选取四个顶点位置，调用cv2.findhomography()函数计算相机的单应性矩阵，该矩阵用于将图像上的点映射到实际世界中的点；
16、步骤123、分解相机单应性矩阵，并获取相机的外参，包括旋转矩阵r和平移矩阵t，其中：
17、
18、t＝(tx,ty,tz)t (2)。
19、优选的，步骤13中，通过内参矩阵和外参矩阵，构建透视投影矩阵，完成相机的标定具体包括如下步骤：
20、步骤131、设某点在世界坐标系中的坐标为pw＝(xw,yw,zw)t，在相机坐标系中的坐标为pc＝(xc,yc,zc)，则：
21、
22、步骤132、在图像坐标系中像素坐标为{u，v}，则：
23、
24、其中k为相机内参矩阵，cx和cy表示相机光轴在像素坐标系中的偏移量；fx和fy为u轴和v轴上的归一化焦距。
25、优选的，步骤2中，基于改进yolov5模型，对小车进行特征点检测具体包括如下步骤：
26、步骤21、设定小车特征点：在小车前后四个顶角绑定四个不同颜色的小球作为小车特征点，通过特征点的颜色确定小车的前进、后退方向，通过特征点的位置确定小车的位置，同时增加小车本身作为一个特征点，实现对其他特征点的位置约束作用；
27、步骤22、构建基于改进yolov5的小目标检测深度学习模型：从特征提取模型、损失函数模块和非最大抑制模块nms三个方面对yolov5模型进行改进，有效的增强了yolov5模型对小目标物体的检测精；
28、步骤23、构建小车检测数据集；
29、步骤24、训练步骤22中构建的基于yolov5的目标检测深度学习模型。
30、优选的，步骤22中，改进特征提取模型：小车特征点在相机视野下占据整幅图像的比例较小，在yolov5骨干网络的基础上对原始输入图片增加一个4倍下采样的过程，原始图片经过4倍下采样后送入到特征融合网络得到新尺寸的特征图；该特征图感受野较小，位置信息相对丰富，可以提升小目标检测效果；
31、改进损失函数模块：使用eiou损失函数,在ciou的基础上将纵横比拆开，并且加入focal聚焦优质的锚框，eiou损失函数的惩罚项是在ciou的惩罚项基础上将纵横比的影响因子拆开分别计算目标框和锚框的长和宽，包含重叠损失、中心距离损失与宽高损失三个部分，前两部分延续ciou中的方法，宽高损失使得目标框和锚框的宽度和高度之差最小，收敛速度更快，eiou损失函数公式如下所示：
32、
33、其中，iou(a,b)代表两个矩形框a和b的交集与并集的比值，即常用的iou值，这是评估预测边界框与真实边界框相似度的标准方法；ρ2：表示预测的边界框的中心点b和真实边界框的中心点bgt之间的平方距离；ρ2(h,hgt)和ρ2(w,wgt)：分别表示预测的边界框的高度h和宽度w与真实边界框的高度hgt和宽度wgt之间的平方距离；hc和wc：分别表示预测的边界框的高度和宽度的中心点坐标。
34、改进非最大抑制nms模块：非最大抑制模块用于目标检测的预测阶段，使用nms来合并同一目标的类似边界框，使用考虑两个框中心点之间距离的diou替代iou作为nms的评判标准；
35、
36、其中，si是分类置信度，ε为nms阈值，m为最高置信度的框，diou-nms预测中心点距离较远的边界框中存在不同的特征点，减少了漏检的情况本文档来自技高网...
【技术保护点】
1.一种基于多相机的小车室内定位方法，其特征在于，包括如下步骤：
2.如权利要求1所述的基于多相机的小车室内定位方法，其特征在于，步骤1中，对多相机内外参进行标定，从二维图像中获取三维空间信息具体包括如下步骤：
3.如权利要求2所述的基于多相机的小车室内定位方法，其特征在于，步骤11中，获取相机内参，实现相机坐标系到图像坐标系的转换具体包括如下步骤：
4.如权利要求2所述的基于多相机的小车室内定位方法，其特征在于，步骤12中，获取相机外参，实现世界坐标系到相机坐标系的转换具体包括如下步骤：
5.如权利要求2所述的基于多相机的小车室内定位方法，其特征在于，步骤13中，通过内参矩阵和外参矩阵，构建透视投影矩阵，完成相机的标定具体包括如下步骤：
6.如权利要求1所述的基于多相机的小车室内定位方法，其特征在于，步骤2中，基于改进YOLOv5模型，对小车进行特征点检测具体包括如下步骤：
7.如权利要求6所述的基于多相机的小车室内定位方法，其特征在于，步骤22中，改进特征提取模型：小车特征点在相机视野下占据整幅图像的比例
8.如权利要求6所述的基于多相机的小车室内定位方法，其特征在于，步骤23中，构建小车检测数据集具体包括如下步骤：
9.如权利要求6所述的基于多相机的小车室内定位方法，其特征在于，步骤24中，训练步骤22中构建的基于YOLOv5的目标检测深度学习模型具体包括如下步骤：
10.如权利要求1所述的基于多相机的小车室内定位方法，其特征在于，步骤3中，对步骤2检测得到的特征点像素点坐标进行三角化，获得小车深度信息，完成室内定位目标具体包括如下步骤：
...【技术特征摘要】
1.一种基于多相机的小车室内定位方法，其特征在于，包括如下步骤：
2.如权利要求1所述的基于多相机的小车室内定位方法，其特征在于，步骤1中，对多相机内外参进行标定，从二维图像中获取三维空间信息具体包括如下步骤：
3.如权利要求2所述的基于多相机的小车室内定位方法，其特征在于，步骤11中，获取相机内参，实现相机坐标系到图像坐标系的转换具体包括如下步骤：
4.如权利要求2所述的基于多相机的小车室内定位方法，其特征在于，步骤12中，获取相机外参，实现世界坐标系到相机坐标系的转换具体包括如下步骤：
5.如权利要求2所述的基于多相机的小车室内定位方法，其特征在于，步骤13中，通过内参矩阵和外参矩阵，构建透视投影矩阵，完成相机的标定具体包括如下步骤：
6.如权利要求1所述的基于多相机的小车室内定位方法，其特征在于，步骤2中，基于改进yolov5模型，对小车进行特征点检测具体包括如...
【专利技术属性】
技术研发人员：李倩迪，姚焙继，高桓，吴冶，
申请(专利权)人：南京英麒智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。