一种集成化的感知系统装置及实现方法制造方法及图纸

本发明专利技术提供一种集成化的感知系统装置及实现方法，其中，系统装置包括：感知系统搭建模块：用于确定感知系统所需要的感知器件，搭建得到感知系统结构装置，其中，所述感知器件包括激光雷达、双目相机与主控制器；所述感知系统结构装置：用于根据所述感知器件的感知信息，对感知区域进行激光建图和视觉建图；障碍物检测模块：用于根据建图结果，对所述感知区域内地面与障碍物的位置关系进行识别检测；人员识别跟踪模块：用于对所述感知区域中的人员进行识别跟踪，并根据建图结果以及识别检测结果，对所述人员进行自主引导。本发明专利技术可以较为便携地与其它可移动平台搭配使用，具有较好的工程化与集成化。工程化与集成化。工程化与集成化。

【技术实现步骤摘要】
一种集成化的感知系统装置及实现方法


[0001]本专利技术涉及智能移动机器人
，特别涉及一种集成化的感知系统装置及实现方法。

技术介绍

[0002]为了使机器人和智能机器执行复杂的任务，它们需要具有执行感知和规划的能力，感知和规划涉及使用传感器来感知环境，并对传感器数据进行处理以做出适当的决策；感知系统主要靠具有感知不同信息的传感器构成，属于硬件部分，包括视觉、听觉、触觉以及味觉、嗅觉等传感器，如在视觉方面，目前多是利用摄像机作为视觉传感器，它与计算机相结合，并采用电视技术，使机器人具有视觉功能，可以“看到”外界的景物，经过计算机对图像的处理，就可对机器人下达如何动作的命令；而现在机器人多应用于室外非结构化的复杂环境，因而机器人的环境感知功能是提高其适应能力的必要途径，机器人环境感知设备的融合算法得到越来越多的重视，统筹运用单目相机、双目相机、近红外相机、激光扫描仪、RGB
‑
D相机及TOF相机等多种感知手段构建其环境感知系统，能够给机器人提供更加详细、全面的全天候条件下的环境色彩与深度信息。
[0003]综上所述，机器人主要通过传感器来感知周围的环境，但是每种传感器都有其局限性，单一传感器只能反映出部分的环境信息，为了提高整个系统的有效性和稳定性，进行多传感器信息融合已经成为一种必然的要求。
[0004]因此，本专利技术提出一种集成化的感知系统装置及实现方法。

技术实现思路

[0005]本专利技术的目的在于提供一种集成化的感知系统装置及实现方法，用以解决上述提出的技术问题。
[0006]为实现上述目的，本专利技术提供如下技术方案：一种集成化的感知系统装置，包括：
[0007]感知系统搭建模块：用于确定感知系统所需要的感知器件，搭建得到感知系统结构装置，其中，所述感知器件包括激光雷达、双目相机与主控制器；
[0008]所述感知系统结构装置：用于根据所述感知器件的感知信息，对感知区域进行激光建图和视觉建图；
[0009]障碍物检测模块：用于根据建图结果，对所述感知区域内地面与障碍物的位置关系进行识别检测；
[0010]人员识别跟踪模块：用于对所述感知区域中的人员进行识别跟踪，并根据建图结果以及识别检测结果，对所述人员进行自主引导。
[0011]优选的，所述感知系统搭建模块，还包括：
[0012]硬件控制单元：用于向所述感知系统结构装置中的感知器件下发控制指令，并控制对应感应器件执行相应的控制操作；
[0013]其中，当所述控制指令为楼梯识别指令时，控制双目相机获取对应的彩色图像，并
基于楼梯识别单元将RGB格式的所述彩色图像通过加权平均法转变为灰度图像，且对所述灰度图像进行图像处理来提取边缘，并采用霍夫变换进行图像直线提取，来确定楼梯的台阶边缘在图像中的位置。
[0014]优选的，所述感知系统结构装置，还包括：
[0015]激光建图模块，用于基于LEGO
‑
LOAM算法进行激光建图，包括：
[0016]雷达扫描单元：用于通过所述感知系统结构装置上搭载的两个激光雷达扫描所述感知区域的环境信息，获取得到对应的点云信息；
[0017]建图单元：用于通过读取所述点云信息中的点云数据，基于点云分割以及点云特征提取，将所述点云信息进行融合处理，同时，基于所述激光雷达获取得到雷达里程计，构建包含点云信息的3D环境地图；
[0018]视觉建图模块：用于基于VINS
‑
Fusion算法来进行视觉建图，包括：
[0019]初始化单元：用于基于所述双目相机获取所述感知区域的环境图像，利用SFM进行纯视觉估计滑窗所有帧的位姿及3D点逆深度，将所述SFM与IMU预积分进行松耦合，对齐求解初始化参数；
[0020]优化单元：用于基于目标函数对视觉约束、IMU约束和闭环约束进行紧耦合非线性优化，获取得到滑窗内所有帧的偏移率，基于所述偏移率获取得到基于视觉的环境地图；
[0021]其中，包含点云信息的3D环境地图以及基于视觉的环境地图即为建图结果。
[0022]优选的，所述障碍物检测模块，还包括：
[0023]获取单元：用于基于所述双目相机对障碍物生成的视差图进行三维重建与伪彩色处理，将所述视差图二值化，经过识别与预测，输出所述障碍物的类别，在二值图像基础上提取障碍物轮廓与位置信息并将障碍物信息插入环境地图；
[0024]判断单元：用于判断所述环境地图中障碍物个数及体积大小，若所述图像信息中所述障碍物个数小于或等于2，且所述障碍物小于预设体积时，基于预设的危险等级对应库，确定所述障碍物的危险等级为低危障碍物；
[0025]否则，基于预设的危险等级对应库，确定所述障碍物的危险等级为高危障碍物，同时，发出预设的报警信号。
[0026]优选的，所述人员识别跟踪模块，还包括：
[0027]特征提取单元：用于基于所述双目相机拍摄的视频信息，对所述视频中的首帧视频初始化，获得所述人员初始目标位置的图像块，提取图像块的第一HOG特征，得到图像块特征，对所述图像块特征进傅里叶变换，计算得到初始滤波器系数；
[0028]循环采样单元：用于选取所述双目相机当前拍摄的帧视频图像，对所述帧视频图像进行循环采样，建立检测样本集，提取第二HOG特征，计算得到高斯核函数，将所述高斯核函数在傅氏空间中进行相似对角化，计算得到滤波器响应，得到滤波器响应值，当所述滤波器响应值最大时，提取对应目标位置的图像块，计算得到新的滤波器系数，同时，判断当前帧是否为最后一帧；
[0029]若是，则跟踪结束；
[0030]否则，继续进行循环采样，直至跟踪结束。
[0031]本专利技术还提供如下技术方案，一种集成化的感知系统的实现方法，包括：
[0032]步骤1：确定感知系统所需要的感知器件，搭建得到感知系统结构装置，其中，所述
感知器件包括激光雷达、双目相机与主控制器；
[0033]步骤2：根据所述感知器件的感知信息，对感知区域进行激光建图和视觉建图；
[0034]步骤3：用于根据建图结果，对所述感知区域内地面与障碍物的位置关系进行识别检测；
[0035]步骤4：对所述感知区域中的人员进行识别跟踪，并根据建图结果以及识别检测结果，对所述人员进行自主引导；
[0036]优选的，步骤1：确定感知系统所需要的感知器件，搭建得到感知系统结构装置，其中，所述感知器件包括激光雷达、双目相机与主控制器，包括：
[0037]1.1：用于向所述感知系统结构装置中的感知器件下发控制指令，并控制对应感应器件执行相应的控制操作；
[0038]1.2：当所述控制指令为楼梯识别指令时，控制双目相机获取对应的彩色图像，并基于楼梯识别单元将RGB格式的所述彩色图像通过加权平均法转变为灰度图像，且对所述灰度图像进行图像处理来提取边缘，并采用霍夫变换进行图像直线提取，来确定楼梯的台阶边缘在图像中的位置。
[003本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种集成化的感知系统装置，其特征在于，包括：感知系统搭建模块：用于确定感知系统所需要的感知器件，搭建得到感知系统结构装置，其中，所述感知器件包括激光雷达、双目相机与主控制器；所述感知系统结构装置：用于根据所述感知器件的感知信息，对感知区域进行激光建图和视觉建图；障碍物检测模块：用于根据建图结果，对所述感知区域内地面与障碍物的位置关系进行识别检测；人员识别跟踪模块：用于对所述感知区域中的人员进行识别跟踪，并根据建图结果以及识别检测结果，对所述人员进行自主引导。2.如权利要求1所述的一种集成化的感知系统装置，其特征在于，所述感知系统搭建模块，还包括：硬件控制单元：用于向所述感知系统结构装置中的感知器件下发控制指令，并控制对应感应器件执行相应的控制操作；其中，当所述控制指令为楼梯识别指令时，控制双目相机获取对应的彩色图像，并基于楼梯识别单元将RGB格式的所述彩色图像通过加权平均法转变为灰度图像，且对所述灰度图像进行图像处理来提取边缘，并采用霍夫变换进行图像直线提取，来确定楼梯的台阶边缘在图像中的位置。3.如权利要求1所述的一种集成化的感知系统装置，其特征在于，所述感知系统结构装置，还包括：激光建图模块，用于基于LEGO
‑
LOAM算法进行激光建图，包括：雷达扫描单元：用于通过所述感知系统结构装置上搭载的两个激光雷达扫描所述感知区域的环境信息，获取得到对应的点云信息；建图单元：用于通过读取所述点云信息中的点云数据，基于点云分割以及点云特征提取，将所述点云信息进行融合处理，同时，基于所述激光雷达获取得到雷达里程计，构建包含点云信息的3D环境地图；视觉建图模块：用于基于VINS
‑
Fusion算法来进行视觉建图，包括：初始化单元：用于基于所述双目相机获取所述感知区域的环境图像，利用SFM进行纯视觉估计滑窗所有帧的位姿及3D点逆深度，将所述SFM与IMU预积分进行松耦合，对齐求解初始化参数；优化单元：用于基于目标函数对视觉约束、IMU约束和闭环约束进行紧耦合非线性优化，获取得到滑窗内所有帧的偏移率，基于所述偏移率获取得到基于视觉的环境地图；其中，包含点云信息的3D环境地图以及基于视觉的环境地图即为建图结果。4.如权利要求1所述的一种集成化的感知系统装置，其特征在于，所述障碍物检测模块，还包括：获取单元：用于基于所述双目相机对障碍物生成的视差图进行三维重建与伪彩色处理，将所述视差图二值化，经过识别与预测，输出所述障碍物的类别，在二值图像基础上提取障碍物轮廓与位置信息并将障碍物信息插入环境地图；判断单元：用于判断所述环境地图中障碍物个数及体积大小，若所述图像信息中所述障碍物个数小于或等于2，且所述障碍物小于预设体积时，基于预设的危险等级对应库，确
定所述障碍物的危险等级为低危障碍物；否则，基于预设的危险等级对应库，确定所述障碍物的危险等级为高危障碍物，同时，发出预设的报警信号。5.如权利要求1所述的一种集成化的感知系统装置，其特征在于，所述人员识别跟踪模块，还包括：特征提取单元：用于基于所述双目相机拍摄的视频信息，对所述视频中的首帧视频初始化，获得所述人员初始目标位置的图像块，提取图像块的第一HOG特征，得到图像块特征，对所述图像块特征进傅里叶变换，计算得到初始滤波器系数；循环采样单元：用于选取所述双目相机当前拍摄的帧视频图像，对所述帧视频图像进行循环采样，建立检测样本集，提取第二HOG特征，计算得到高斯核函数，将所述高斯核函数在傅氏空间中进行相似对角化，计算得到滤波器响应，得到滤波器响应值，当所述滤波器响应值最大时，提取对应目标位置的图像块，计算得到新的滤波器系数，同时，判断当前帧是否为最后一帧；若是，则跟踪结束；否则，继续进行循环采样，直至跟踪结束。6.一种集成化的感知系统的实现方法，其特征在于，包括：步骤1：确定感知系统所需要的感知器件，搭建得到感知系...

【专利技术属性】
技术研发人员：李冀川，管西强，彭为强，刘宇飞，索旭东，危义坤，朱佳鹏，董广香，
申请(专利权)人：智能移动机器人中山研究院，
类型：发明
国别省市：