集成高精度导航定位与深度学习的机器人嵌入式计算终端制造技术

本发明专利技术是一种集成高精度导航定位与深度学习的机器人嵌入式计算终端，其特征在于：包括集成设置的核心处理单元Jetson芯片、FPGA芯片、嵌入式ARM模块和多种传感器，所述传感器包括GNSS卫星导航模块、IMU惯性导航模块、激光雷达和摄像头，核心处理单元Jetson芯片连接摄像头和激光雷达，FPGA芯片分别连接GNSS卫星导航模块和IMU惯性导航模块、嵌入式ARM模块；嵌入式ARM模块连接控制机器人的伺服电机。本发明专利技术能支持实现实时高精度定位结果的解算，实现机器人的环境感知和任务规划。

Embedded computing terminal integrated with high-precision navigation positioning and deep learning

The invention is an embedded computing terminal for robots which integrates high-precision navigation, positioning and in-depth learning. It is characterized by: including integrated core processing unit Jetson chip, FPGA chip, embedded ARM module and a variety of sensors. The sensors include GNSS satellite navigation module, IMU inertial navigation module and laser mine. Dahe camera, the core processing unit Jetson chip connects the camera and lidar, the FPGA chip connects GNSS satellite navigation module, IMU inertial navigation module and embedded ARM module respectively, and the embedded ARM module connects the servo motor to control the robot. The invention can support the solution of real-time and high-precision positioning results, and realize the environmental perception and task planning of the robot.

【技术实现步骤摘要】
集成高精度导航定位与深度学习的机器人嵌入式计算终端
本专利技术描述了一种基于高精度北斗定位的高度集成智能机器人开发装置，属于嵌入式机器人开发领域。
技术介绍
机器人上的多源传感器信息融合处理是机器人自主感知、精确控制以及任务规划的关键，由于嵌入式平台具有体积小、功耗低和集成程度高等特点，嵌入式平台成为了机器人的主流研发平台。但目前的机器人一般情况下都需要定位、驱动和核心计算三个工控机以完成基本任务，因此现有机器人嵌入式平台普遍存在计算能力不足、硬件集成程度低、缺乏深度学习平台支持、缺乏环境智能感知能力等限制。
技术实现思路
本专利技术主要提供一种基于高精度北斗定位的高度集成机器人开发平台，该平台集成程度高，为解决大规模环境下协同精密定位和智能感知问题提供了硬件平台基础。通过高度集成的嵌入式平台为多传感器信息融合和深度学习提供硬件基础，因此相当于仅用一台工控机就可以提供高精度、实时、智能化的自适应动态导航和定位，路径规划，避障和环境智能感知等功能。本专利技术所采用的技术方案提供一种集成高精度导航定位与深度学习的机器人嵌入式计算终端，包括集成设置的核心处理单元Jetson芯片、FPGA芯片、嵌入式ARM模块和多种传感器，所述传感器包括GNSS卫星导航模块、IMU惯性导航模块、激光雷达和摄像头，核心处理单元Jetson芯片连接摄像头和激光雷达，FPGA芯片分别连接GNSS卫星导航模块和IMU惯性导航模块、嵌入式ARM模块；嵌入式ARM模块连接控制机器人的伺服电机；基于集成的GNSS卫星导航模块和IMU惯性导航模块提供连续实时的室外高精度全局定位和路径规划；结合IMU惯性导航模块、激光雷达和摄像头实现室内情况下的实时定位和路径规划；通过激光雷达和摄像头实现环境的智能感知，基于摄像头和激光雷达构建带有精确距离信息的语义地图；将局部规划的控制命令通过嵌入式ARM模块发送给底层驱动，直接精确控制机器人的运动，以完成语义级任务。而且，所述通过激光雷达和摄像头实现环境的智能感知，基于摄像头和激光雷达构建带有精确距离信息的语义地图，实现方式为基于机器人操作系统ROS，设置以下模块，传感器驱动模块用于从机器人携带的各传感器中获取数据，根据ROS中的标准数据封装格式将数据封装并发布到相应的主题；上语义感知模块，用于从摄像头模块获取图像信息，从中提取出环境的语义信息；视觉激光融合模块，用于实现语义信息和激光雷达的距离信息两者的实时融合，该模块接收语义信息Sematics和雷达信息LaserScan。语义地图构建模块，用于结合语义点云信息SematicPointCloud、实时的坐标变换关系PoseTransform和里程信息Odometry对机器人同时定位并构建带有距离信息的语义地图。而且，传感器驱动模块包括坐标转换模块、激光雷达模块、摄像头模块、IMU惯性导航模块，其中激光雷达模块提供机器人运动过程中雷达扫描到的信息LaserScan，摄像头模块提供机器人运动过程中摄像头拍摄到的图像信息Image，IMU惯性导航模块提供机器人运动的里程信息Odometry，坐标转换模块提供系统的坐标变换关系PoseTransform。而且，语义感知模块包括目标检测模块和语义封装模块,其中目标检测模块基于深度学习中的目标检测算法，检测出图像中的物体类别信息Detections；语义封装模块将目标检测结果投影到雷达扫描平面，根据目标在图片中占据的像素范围计算目标在雷达视野中占据的角度范围，封装成语义信息Sematics，并提供给视觉激光融合模块。而且，视觉激光融合模块首先对获得的语义信息和雷达消息进行实时匹配，然后将时间匹配的一组语义信息和雷达信息进行融合，得到带有距离信息的语义点云SematicPointCloud，提供给语义地图构建模块构建带有距离信息的语义地图。而且，语义地图构建模块基于语义点云SematicPointCloud绘制地图，包括局部优化模块、局部地图构建模块、全局优化模块和语义地图绘制模块，局部优化模块根据里程信息Odometry和扫描匹配算法优化语义点云的位姿，得到优化后的点云信息SematicRangeData；局部地图构建模块基于优化后的语义点云信息构建局部地图信息Submap；全局优化模块利用图优化算法消除局部地图构建过程累积的误差，从而得到优化后的位姿信息SubmapPose；语义地图绘制模块根据Submap和SubmapPose绘制带有距离信息的语义地图。采用本专利技术所述方法，与现有技术相比，本智能化控制装置集成程度高，接口丰富，实现了感知控制规划一体化，能提供高精度GNSS全局定位功能，能提供GNSS和IMU组合导航的硬件平台，能通过GPU功能实现深度学习功能，能通过外部接口挂载雷达摄像头等多传感器实现环境智能感知，能提供实时的路径规划和导航，能实时避障，能通过控制接口直接控制伺服电机实现语义级的控制与规划。特别是在该开发平台上基于现有的自适应高精度定位算法，本专利技术通过挂载的激光和视觉摄像头实现了环境的智能感知，构建带有语义信息的地图，融合了视觉语义丰富和激光雷达测距精度高等优点，克服了视觉中单目测距不准确和激光雷达中点云的语义信息缺乏等缺点。附图说明图1为本专利技术实施例的机器人智能控制装置系统框架图。图2为本专利技术实施例的带有距离信息的语义地图绘制系统框图。具体实施方式为了便于本领域普通技术人员理解和实施本专利技术，下面结合附图及实施例对本专利技术作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本专利技术，并不用于限定本专利技术。本专利技术设计了一种高精度集成的智能机器人嵌入式装置，提供各类接口用于接入各种传感器设备，实现多源传感器数据的接入。整个设置满足多元信号的采集、处理和输出，并且具备连续的高精度多传感器融合自适应定位和深度学习能力。本专利技术实施例提供的一种基于北斗定位的高度集成嵌入式机器人开发装置，具有智能感知控制规划功能，它集成了一个核心处理单元Jetson芯片，FPGA芯片，高精度的GNSS卫星导航模块，六轴的IMU惯性导航模块和STM32嵌入式ARM模块，还可挂载摄像头和激光雷达等其他传感器。核心处理单元Jetson芯片连接摄像头和激光雷达，FPGA芯片连接GNSS卫星导航模块和IMU惯性导航模块、嵌入式ARM模块，嵌入式ARM模块连接控制机器人的伺服电机。因此本专利技术属于高度集成的嵌入式机器人集成开发平台，主要实现了基于GNSS/INS的高精度机器人智能控制。它利用FPGA提供系统时钟并进行时钟同步，同时将GNSS卫星导航模块和惯性传感模块的观测量输入到核心处理单元Jetson芯片的ARM中实现实时高精度定位结果的解算，并利用核心处理单元Jetson芯片中的串口和USB接口连接摄像头和激光雷达等传感器，实现机器人的环境感知和任务规划。具体参见图1，各个模块及其功能介绍如下。所述高精度GNSS卫星导航模块芯片型号是司南K505，其支持RTK定位功能，因此它具有高精度北斗定位功能。GNSS卫星导航模块具有观测值输出并支持差分定位功能，提供卫星接收数据和地基增强系统接收数据，为机器人提供高精度GNSS定位。所述核心处理单元型号为JetsonTX1，其包含一个四核ARMCortex-A57处理器模块和一个256核低本文档来自技高网...

【技术保护点】
1.一种集成高精度导航定位与深度学习的机器人嵌入式计算终端，其特征在于：包括集成设置的核心处理单元Jetson芯片、FPGA芯片、嵌入式ARM模块和多种传感器，所述传感器包括GNSS卫星导航模块、IMU惯性导航模块、激光雷达和摄像头，核心处理单元Jetson芯片连接摄像头和激光雷达，FPGA芯片分别连接GNSS卫星导航模块和IMU惯性导航模块、嵌入式ARM模块；嵌入式ARM模块连接控制机器人的伺服电机；基于集成的GNSS卫星导航模块和IMU惯性导航模块提供连续实时的室外高精度全局定位和路径规划；结合IMU惯性导航模块、激光雷达和摄像头实现室内情况下的实时定位和路径规划；通过激光雷达和摄像头实现环境的智能感知，基于摄像头和激光雷达构建带有精确距离信息的语义地图；将局部规划的控制命令通过嵌入式ARM模块发送给底层驱动，直接精确控制机器人的运动，以完成语义级任务。

【技术特征摘要】
1.一种集成高精度导航定位与深度学习的机器人嵌入式计算终端，其特征在于：包括集成设置的核心处理单元Jetson芯片、FPGA芯片、嵌入式ARM模块和多种传感器，所述传感器包括GNSS卫星导航模块、IMU惯性导航模块、激光雷达和摄像头，核心处理单元Jetson芯片连接摄像头和激光雷达，FPGA芯片分别连接GNSS卫星导航模块和IMU惯性导航模块、嵌入式ARM模块；嵌入式ARM模块连接控制机器人的伺服电机；基于集成的GNSS卫星导航模块和IMU惯性导航模块提供连续实时的室外高精度全局定位和路径规划；结合IMU惯性导航模块、激光雷达和摄像头实现室内情况下的实时定位和路径规划；通过激光雷达和摄像头实现环境的智能感知，基于摄像头和激光雷达构建带有精确距离信息的语义地图；将局部规划的控制命令通过嵌入式ARM模块发送给底层驱动，直接精确控制机器人的运动，以完成语义级任务。2.根据权利要求1所述集成高精度导航定位与深度学习的机器人嵌入式计算终端，其特征在于：所述通过激光雷达和摄像头实现环境的智能感知，基于摄像头和激光雷达构建带有精确距离信息的语义地图，实现方式为基于机器人操作系统ROS，设置以下模块，传感器驱动模块用于从机器人携带的各传感器中获取数据，根据ROS中的标准数据封装格式将数据封装并发布到相应的主题；语义感知模块，用于从摄像头模块获取图像信息，从中提取出环境的语义信息；视觉激光融合模块，用于实现语义信息和激光雷达的距离信息两者的实时融合，该模块接收语义信息Sematics和雷达信息LaserScan。语义地图构建模块，用于结合语义点云信息SematicPointCloud、实时的坐标变换关系PoseTransform和里程信息Odometry对机器人同时定位并构建带有距离信息的语义地图。3.根据权利要求2所述集成高精度导航定位与深度学习的机器人嵌入式计算终端，其特征在于：传感器驱动模块包括坐标转换...

【专利技术属性】
技术研发人员：郭迟，董巍，张艺芬，陈梁，代永红，崔竞松，郭文飞，左文炜，
申请(专利权)人：中山赛伯坦智能科技有限公司，武汉大学，武汉京天电器有限公司，
类型：发明
国别省市：广东,44