【技术实现步骤摘要】
本专利技术属于智能监测装置，尤其涉及一种基于雷视融合的登机桥地面环境感知方法及系统。
技术介绍
1、目前，环境感知是指计算机系统通过传感器(如摄像头、雷达、激光雷达等)获取外部环境信息，并利用目标识别技术来理解和感知周围环境中的物体和目标。这是计算机视觉领域中的一个重要任务，尤其在自动驾驶、智能交通、机器人导航、安防监控等应用中至关重要。在目前的环境感知任务中常用的传感器有摄像头、激光雷达、毫米波雷达和超声波而雷达等。其中视觉传感器是目前环境感知领域中应用最广泛的传感器，但是在暴雨雪天气以及其他恶劣条件下，受能见度的影响，感知精度会大幅降低，甚至会被雨雪遮挡导致无法使用，所以仅仅依靠视觉感知难以实现全天候的精确环境感知。机场作为一个繁忙且复杂的环境，自动驾驶登机桥在停机坪上移动时，为了保障设备和人员的安全，需要实现对登机桥地面环境的精确感知。
2、目前常用的目标识别算法分为传统方法和基于深度学习的方法两种，传统方法包括haar级联分类器、sift算法等，这些传统的目标识别方法一般来说具有训练速度快、数据量需求少的优点，但是同时特征表达能力有限，针对复杂背景的适应能力较差。随着深度学习技术的发展，深度学习方法在目标识别任务中已经取得了显著的优势，并成为目标识别领域的主流方法。深度学习方法利用卷积神经网络等技术，可以自动学习特征表示，具有更强大的表示能力和更好的适应性，因此在大多数场景下表现更优越。
3、现有的环境感知方法多基于雷达或视觉。基于视觉的目标识别是利用视觉传感器(如摄像头)获取的图像或视频数据来识
4、现有的基于图像的目标识别方法在计算机视觉领域取得了巨大的进步，但它们仍然存在一些缺陷和局限性，图像中包含复杂的背景和干扰物体，这些背景信息干扰目标的识别，导致误检测或漏检。图像中的目标存在不同的姿态、形变或部分遮挡，这些因素影响目标的准确识别。
5、雷达目标识别在许多应用中都有重要的作用，特别是在自动驾驶、智能交通、航空航天、军事防御等领域。相对于视觉传感器，雷达在恶劣天气条件下的工作效果更好，且对光照和遮挡不敏感，因此在一些复杂环境和特殊场景下具有优势。然而，雷达也有一些局限性，例如分辨率相对较低，难以提供目标的细节信息。
6、雷达与视觉融合是指将雷达(radar)和视觉(vision)两种传感器的数据融合在一起，以提高目标检测、跟踪和识别等任务的性能和准确性。雷达和视觉传感器在感知环境中的物体和目标方面具有各自的优势和不足，因此将它们的数据融合可以增强感知能力并解决各自单独使用时的局限性。
7、通过上述分析，现有技术存在的问题及缺陷为：
8、现有技术中自动驾驶登机桥仅凭单一的雷达或视觉感知难以实现全天候的精确环境感知。机场作为一个繁忙且复杂的环境，在暴雨雪天气以及其他恶劣条件下，自动驾驶登机桥在停机坪上移动时，设备和人员的安全难以得到保障。
技术实现思路
1、针对现有技术存在的问题，本专利技术提供了一种基于雷视融合的登机桥地面环境感知方法及系统。
2、本专利技术是这样实现的，一种基于雷视融合的登机桥地面环境感知方法，包括以下步骤：
3、s1，安装并标定传感器，包括摄像头和毫米波雷达，在安装时要注意二者的相对位置，便于后续通过空间坐标变换实现二者数据的关联；
4、s2，采集数据并保持时间同步，在记录摄像头和毫米波雷达数据时同步保存时间戳，对比时间戳获取同一时刻的两种传感器数据；
5、s3，数据对齐之后对毫米波雷达数据进行空间坐标变换，将雷达点投影到图像坐标系中，转换到像素坐标系并将投影结果作为生成roi的中心点，roi的尺寸与雷达点深度呈负相关，雷达点深度越大，其在像平面生成的roi越小；
6、s4，将生成的roi作为r-cnn的算法的特征提取阶段的输入，进行目标识别；
7、s5，将识别结果与对应的雷达点信息包括位置和运动情况合并，得到目标的多维度信息。
8、进一步，在s1中，摄像头和毫米波雷达在同一竖直平面上安装，确保摄像头的光心与毫米波雷达正面的中心点位于竖直平面上的一条竖直线上，并记录下二者在竖直方向上的距离。
9、进一步，在s2中，保持时间同步的具体方式为：对返回的每一帧图像和每一个数据帧的雷达数据进行一一比对，从而确保进行关联的图像数据和雷达数据具有时间同步性。
10、进一步，在s3中，空间坐标变换中的图像坐标与像素坐标的转换表达式为：
11、
12、
13、其中(u0,v0)是图像坐标系原点在像素坐标系中的坐标，dx和dy分别是每个像素在图像平面x和y方向上的物理尺寸。
14、进一步，在s4中，r-cnn需要使用对自动驾驶登机桥运行安全造成影响的目标物体进行训练，得到适用于该场景下的分类网络和回归网络。
15、进一步，在s5中，合并方式为：根据数据采集同步保存的时间戳将雷达数据与图像数据相关联，同一时刻的图像和对应的雷达roi为一组数据，将雷达roi替代由滑动窗口生成的roi作为r-cnn算法输入，输入到后续的分类网络和回归网络中经行识别，最后合并信息。
16、本专利技术的另一目的在于提供一种实施所述基于雷视融合的登机桥地面环境感知方法的基于雷视融合的登机桥地面环境感知系统，所述基于雷视融合的登机桥地面环境感知系统包括：
17、传感器模块，包括摄像头和毫米波雷达，用于采集目标的空间坐标；
18、数据同步模块，与传感器模块连接，用于记录并同步摄像头和毫米波雷达传感器模块的数据；
19、空间坐标变换模块，与数据同步模块连接，用于将毫米波雷达数据进行空间坐标变换，将雷达点投影到图像坐标系中，并生成roi的中心点；
20、目标识别模块，与空间坐标变换模块连接，用于将生成的roi作为r-cnn的算法的特征提取阶段的输入，进行目标识别；
21、输出结果模块，与目标识别模块连接，用于将识别结果与对应的雷达点信息包括位置和运动情况合并，得到目标的多维度信息。
22、本专利技术的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述基于雷视融合的登机桥地面环境感知方法的步骤。
23、本专利技术的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述基于雷视融合的登机桥地面环境感知方法的步骤。
24、本专利技术的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述基于雷视本文档来自技高网...
【技术保护点】
1.一种基于雷视融合的登机桥地面环境感知方法，其特征在于，包括以下步骤：
2.如权利要求1所述基于雷视融合的登机桥地面环境感知方法，其特征在于，在S1中，摄像头和毫米波雷达在同一竖直平面上安装，确保摄像头的光心与毫米波雷达正面的中心点位于竖直平面上的一条竖直线上，并记录下二者在竖直方向上的距离。
3.如权利要求1所述基于雷视融合的登机桥地面环境感知方法，其特征在于，在S2中，保持时间同步的具体方式为：对返回的每一帧图像和每一个数据帧的雷达数据进行一一比对，从而确保进行关联的图像数据和雷达数据具有时间同步性。
4.如权利要求1所述基于雷视融合的登机桥地面环境感知方法，其特征在于，在S3中，空间坐标变换中的图像坐标与像素坐标的转换表达式为：
5.如权利要求1所述基于雷视融合的登机桥地面环境感知方法，其特征在于，在S4中，R-CNN需要使用对自动驾驶登机桥运行安全造成影响的目标物体进行训练，得到适用于该场景下的分类网络和回归网络。
6.如权利要求1所述基于雷视融合的登机桥地面环境感知方法，其特征在于，在S5中，合并方式为：根据
7.一种实施如权利要求1-6任意一项所述基于雷视融合的登机桥地面环境感知方法的基于雷视融合的登机桥地面环境感知系统，其特征在于，所述基于雷视融合的登机桥地面环境感知系统包括：
8.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1-6任意一项所述基于雷视融合的登机桥地面环境感知方法的步骤。
9.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1-6任意一项所述基于雷视融合的登机桥地面环境感知方法的步骤。
10.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现如权利要求7所述基于雷视融合的登机桥地面环境感知系统。
...【技术特征摘要】
1.一种基于雷视融合的登机桥地面环境感知方法，其特征在于，包括以下步骤：
2.如权利要求1所述基于雷视融合的登机桥地面环境感知方法，其特征在于，在s1中，摄像头和毫米波雷达在同一竖直平面上安装，确保摄像头的光心与毫米波雷达正面的中心点位于竖直平面上的一条竖直线上，并记录下二者在竖直方向上的距离。
3.如权利要求1所述基于雷视融合的登机桥地面环境感知方法，其特征在于，在s2中，保持时间同步的具体方式为：对返回的每一帧图像和每一个数据帧的雷达数据进行一一比对，从而确保进行关联的图像数据和雷达数据具有时间同步性。
4.如权利要求1所述基于雷视融合的登机桥地面环境感知方法，其特征在于，在s3中，空间坐标变换中的图像坐标与像素坐标的转换表达式为：
5.如权利要求1所述基于雷视融合的登机桥地面环境感知方法，其特征在于，在s4中，r-cnn需要使用对自动驾驶登机桥运行安全造成影响的目标物体进行训练，得到适用于该场景下的分类网络和回归网络。
6.如权利要求1所述基于雷视融合的登机桥地面环境感知方法，其特征在于，在s...
【专利技术属性】
技术研发人员：蒋维琛，张成，黄磊，叶润，尹雪松，
申请(专利权)人：电子科技大学长三角研究院湖州，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。