基于JetsonOrinNX嵌入式设备的驾驶情景下实时目标检测方法技术

本发明专利技术涉及自动驾驶技术领域，公开了基于Jetson Orin NX嵌入式设备的驾驶情景下实时目标检测方法，包括以下步骤：步骤一、数据处理，首先对KITTI目标检测数据集进行数据处理；步骤二、模型构建，使用实时行驶检测算法的经典网络结构Yolov5s作为目标检测模型；步骤三、模型优化，使用Nvidia的TensorRT工具对模型进行进一步的优化；步骤四、模型部署，将优化后的模型部署至Jetson Orin NX嵌入式设备中。该基于Jetson Orin NX嵌入式设备的驾驶情景下实时目标检测方法提高实时目标检测的运行速度和准确性，降低嵌入式设备的计算成本，实现一个高效、精确、轻量的实时目标检测系统，将能够在实际自动驾驶场景中高效地识别并跟踪行人、车辆等障碍物，从而为自动驾驶技术的发展提供更多的保障。更多的保障。更多的保障。

【技术实现步骤摘要】
基于Jetson Orin NX嵌入式设备的驾驶情景下实时目标检测方法


[0001]本专利技术涉及自动驾驶
，特别涉及基于Jetson Orin NX嵌入式设备的驾驶情景下实时目标检测方法。

技术介绍

[0002]随着人工智能技术的不断发展，自动驾驶领域的研究也越来越受到关注。实时目标检测技术是自动驾驶中的重要技术之一，其能够在车辆行驶过程中及时检测和识别车辆周围的行人、车辆等障碍物，为自动驾驶提供重要的保障。因此，实时目标检测技术正在成为人工智能领域的热门话题。目前，实时目标检测技术主要采用深度学习算法，如YOLO、SSD等。这些算法可以在较短的时间内对行人、车辆等目标进行准确的识别，为自动驾驶提供了很好的支持。但是，这些算法存在着计算量大、运算速度慢等缺点，导致这些算法无法满足实时自动驾驶的需求。此外，传统的目标检测方法，如SVM、Haar等，检测准确率较低，不能满足实时目标检测的需求。
[0003]现有的实时目标检测技术存在一些不足之处。首先，计算量大、运算速度慢。由于目标检测需要进行大量的图像处理操作，计算量很大，因此导致运算速度较慢，难以满足实时自动驾驶的需求。其次，检测准确率有待提高，目前的算法虽然可以对目标进行准确的识别，但存在一定的误判率，需要进一步提高算法的准确性。此外，现有的技术也存在一定的复杂性，需要较高的技术水平和成本，导致其应用有一定的局限性。因此，需要进一步研究和改进实时目标检测技术，提高其运算速度和准确率，降低应用门槛，更好地满足自动驾驶的需求。

技术实现思路
/>[0004]本专利技术的主要目的是要解决目前实时目标检测技术中存在的计算量大、嵌入式设备计算能力差的问题。传统的深度学习模型在实现实时目标检测时需要进行大量的计算操作，导致运算速度较慢，无法满足实时自动驾驶的需求。此外，传统的嵌入式设备的计算能力有限，难以满足实时目标检测的需求，成为了制约自动驾驶技术发展的瓶颈。为了解决这些问题，本方案采用了一系列先进的技术手段，如YOLOV5算法、TensorRT推理加速、模型大小优化等，旨在提高实时目标检测的运行速度和准确性，降低嵌入式设备的计算成本，实现一个高效、精确、轻量的实时目标检测系统，将能够在实际自动驾驶场景中高效地识别并跟踪行人、车辆等障碍物，从而为自动驾驶技术的发展提供更多的保障。
[0005]为实现上述目的，本专利技术采取的技术方案为：基于Jetson Orin NX嵌入式设备的驾驶情景下实时目标检测方法，包括以下步骤：步骤一、数据处理，首先对KITTI目标检测数据集进行数据处理，将数据集按照7:3比例划分为训练集
和测试集；将KITTI目标检测数据集中的目标类别仅分为车、行人和自行车三类，并将其格式转换为适配于目标检测算法Yolov5的格式；步骤二、模型构建，使用实时行驶检测算法的经典网络结构Yolov5s作为目标检测模型，并对处理好的KITTI数据集进行Fine
‑
tune训练；训练过程中，通过迭代优化模型参数，完成模型从学习到预测的整个过程；步骤三、模型优化，使用Nvidia的TensorRT工具对模型进行进一步的优化；经过优化后，模型的大小由原来的29MB缩小至了15MB，经过优化后，模型精度mAP@0.5为0.914，mAP@50
‑
95为0.639；步骤四、模型部署，将优化后的模型部署至Jetson Orin NX嵌入式设备中，将模型的检测速度53.4FPS提高至149.3FPS。
[0006]进一步的，所述步骤一中的目标检测部分包括7481个训练图像和7518个测试图像，其中训练集图片共包含5238张图像，验证集图片包含2243张图像。
[0007]进一步的，所述步骤二中训练后的模型大小为29MB，模型精度为mAP@0.5为0.912，mAP@0.5
‑
0.95为0.642的指标。
[0008]与现有技术相比，本专利技术具有如下有益效果：1、数据处理的优点是使得数据集在适应于目标网络Yolov5s的基础上，将数据集分为三类，使得Yolov5s网络更加易于分类和分析，能够更好的在驾驶情景下更加准确地实时检测出动态目标；2、模型构建的优点是使用了经典的深度学习目标检测模型 Yolov5s，能够对不同类型的检测目标进行高效准确的检测，其Fine
‑
tune训练方式通过迭代优化模型参数，确保了模型具有良好的训练效果；另外，经过150轮的优化训练，使得模型在原有COCO数据集的基础上，更加适用于动态目标物体的检测；3、模型优化提高了模型的推理速度和效率、减少了模型的存储空间、不影响模型的精度以及提高了实际应用价值；4、模型部署优化后的模型成功部署至Jetson Orin NX嵌入式设备中，具有以下优点：检测性能表现优秀：部署后的模型在嵌入式设备中检测性能表现良好，成功将模型的检测速度53.4进一步提高至149.3FPS，具有更高的实际应用价值；可靠性强：由于模型在嵌入式设备中运行，具有更高的可靠性和稳定性，可以在复杂的实时交通场景中快速准确地检测到行车道上出现的车、行人和自行车等移动目标，从而提高自动驾驶的安全性和有效性；可以给类似的驾驶情景下实时目标检测给出帮助。
附图说明
[0009]图1为本专利技术流程框图。
实施例
[0010]为使本专利技术实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合
具体实施方式，进一步阐述本专利技术。
[0011]如图1所示，基于Jetson Orin NX嵌入式设备的驾驶情景下实时目标检测方法，包括以下步骤：步骤一、数据处理，首先对KITTI目标检测数据集进行数据处理，该数据集是用于自动驾驶领域研究的经典数据集之一，其中的2D目标检测部分包括7481个训练图像和7518个测试图像；为了得出更加准确和可靠的实验结果，本次研究选择了仅含有标注信息的7481张训练图像进行分析研究；同时，为了能够更好地进行训练与测试，将数据集按照7:3比例划分为训练集和测试集；其中训练集图片共包含5238张图像，验证集图片包含2243张图像；为了让数据更加易于处理，将KITTI目标检测数据集中的目标类别仅分为车、行人和自行车三类，并将其格式转换为适配于目标检测算法Yolov5的格式；这样有助于对数据的分类和分析，研发出高效、准确的实时目标检测方法，为自动驾驶领域的研究和应用做出更加有力的贡献；步骤二、模型构建，使用实时行驶检测算法的经典网络结构Yolov5s作为目标检测模型，并对处理好的KITTI数据集进行Fine
‑
tune训练；训练过程中，通过迭代优化模型参数，完成模型从学习到预测的整个过程，并在训练过程中累积了大量的训练经验，总共进行了150轮的优化训练，并得到了优秀的训练结果；具体表现为，训练后的模型大小为29MB，模型精度为mAP@0.5为0.912，mAP@0.5
‑
0.95为0.642等出色的指标；该实验结果表明，在驾驶情景下，基于Yolov5s模型的实时目标检测方法能够本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于Jetson Orin NX嵌入式设备的驾驶情景下实时目标检测方法，其特征在于，包括以下步骤：步骤一、数据处理，首先对KITTI目标检测数据集进行数据处理，将数据集按照7:3比例划分为训练集和测试集；将KITTI目标检测数据集中的目标类别仅分为车、行人和自行车三类，并将其格式转换为适配于目标检测算法Yolov5的格式；步骤二、模型构建，使用实时行驶检测算法的经典网络结构Yolov5s作为目标检测模型，并对处理好的KITTI数据集进行Fine
‑
tune训练；训练过程中，通过迭代优化模型参数，完成模型从学习到预测的整个过程；步骤三、模型优化，使用Nvidia的TensorRT工具对模型进行进一步的优化；经过优化后，模型的大小由原来的29MB缩小至了15MB，经过优化后，模型精度mAP@0...

【专利技术属性】
技术研发人员：倪贤达，赵建军，李紫赚，郭鹏净，谭道桓，鲍伟，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：