一种基于机器人的环境多模信息综合分析系统技术方案

本发明专利技术公开的属于机器人环境感知与分析决策技术领域，具体为一种基于机器人的环境多模信息综合分析系统，包括环境多模信息综合分析系统，所述环境多模信息综合分析系统由多模块感知模块、三维空间定位模块和信息融合分析模块构成，所述多模块感知模块连接信息融合分析模块，所述信息融合分析模块连接三维空间定位模块，所述多模态感知模块上配置CUP，用于控制和管理模块的各种感知功能，所述三维空间定位模块用于获取上述信息融合分析模块进行三维空间位置姿态数据，本发明专利技术使场景三维信息融合度提高，且有效结合实际三维场景信息进行分析，进而达到增加操作的精准度的效果。进而达到增加操作的精准度的效果。进而达到增加操作的精准度的效果。

【技术实现步骤摘要】
一种基于机器人的环境多模信息综合分析系统


[0001]本专利技术涉及机器人环境感知与分析决策
，具体为一种基于机器人的环境多模信息综合分析系统。

技术介绍

[0002]机器人是自动执行工作的机器装置，它既可以接受人类指挥，又可以运行预先编排的程序，也可以根据以人工智能技术制定的原则纲领行动，它的任务是协助或取代人类工作的工作，例如生产业、建筑业，或是危险的工作，目前在工业、医学、农业甚至军事等领域中均有重要用途。
[0003]现有的智能机器人传统感知系统模态少，和场景三维信息融合度低，难以有效结合实际三维场景信息进行分析，从而降低了操作的精准度，为此，我们提出一种基于机器人的环境多模信息综合分析系统。

技术实现思路

[0004]鉴于上述和/或现有一种基于机器人的环境多模信息综合分析系统中存在的问题，提出了本专利技术。
[0005]因此，本专利技术的目的是提供一种基于机器人的环境多模信息综合分析系统，通过信息融合分析模块将获得的三维彩色点云数据结合三维空间定位模块获得的三维位置数据进行融合，以此数据构建出三维点云地图，能够解决上述提出现有的问题。
[0006]为解决上述技术问题，根据本专利技术的一个方面，本专利技术提供了如下技术方案：
[0007]一种基于机器人的环境多模信息综合分析系统，其包括：环境多模信息综合分析系统，所述环境多模信息综合分析系统由多模块感知模块、三维空间定位模块和信息融合分析模块构成，所述多模块感知模块连接信息融合分析模块，所述信息融合分析模块连接三维空间定位模块；
[0008]所述多模态感知模块上配置CUP，用于控制和管理模块的各种感知功能；
[0009]所述三维空间定位模块用于获取上述信息融合分析模块进行三维空间位置姿态数据；
[0010]所述信息融合分析模块由计算机构成，所述信息融合分析模块用于获取多模态感知模块和三维空间定位模块的信息，并将这些信息进行融合处理；
[0011]所述环境多模信息综合分析系统安装在机器人内，用于机器人感知系统和控制。
[0012]作为本专利技术所述的一种基于机器人的环境多模信息综合分析系统的一种优选方案，其中：所述多模态感知模块包括彩色相机、深度相机、视觉里程计、红外相机、超声传感器阵列、激光测距仪、温度传感器、湿度传感器、气味传感器和核辐射传感器，所述彩色相机、深度相机、视觉里程计、红外相机、超声传感器阵列、激光测距仪、温度传感器、湿度传感器、气味传感器和核辐射传感器连接信息融合分析模块。
[0013]作为本专利技术所述的一种基于机器人的环境多模信息综合分析系统的一种优选方
案，其中：所述彩色相机获得多模态传感器正面朝向的彩色图像数据，并通过数据线将该数据发送给信息融合分析模块，所述深度相机获得多模态传感器正面朝向的深度图像数据，并通过数据线将该数据发送给信息融合分析模块，所述红外相机获得多模态传感器正面朝向的温度图像数据并通过数据线将该数据发送给信息融合分析模块，所述超声传感器阵列获频谱的点阵分布式数据，并通过数据线将该数据发送给信息融合分析模块。
[0014]作为本专利技术所述的一种基于机器人的环境多模信息综合分析系统的一种优选方案，其中：所述温度传感器获得传感器周边的气温数据，并通过数据线将该数据发送给信息融合分析模块，所述湿度传感器获取传感器周边的湿度数据并通过数据线将该数据发送给信息融合分析模块，所述气味传感器获得多模态传感器所处位置的目标气体浓度数据，并通过数据线将该数据发送给信息融合分析模块，所述辐射传感器获得多模态传感器正面朝向的辐射强度数据，并通过数据线将该数据发送给信息融合分析模块，所述激光测距仪获得多模态传感器距离测距目标点的距离并通过数据线将该数据发送给信息融合分析模块。
[0015]作为本专利技术所述的一种三维点云地图的建立方法的一种优选方案，其中：所述信息融合分析模块将彩色相机、深度相机获得的三维彩色点云数据结合三维空间定位模块获得的三维位置数据进行融合，以此数据构建出三维点云地图。
[0016]作为本专利技术所述的一种三维点云地图的使用方法的一种优选方案，其中：所述信息融合分析模块将热红外图像信息多模态传感器的空间位置信息，把热红外信息和彩色点云地图相融合，使得地图中的被红外相机观测到的部分的每个点获得其温度数值，所述信息融合分析模块将超声传感器获得的超声图像结合多模态传感器的空间位置信息，把超声图像信息和彩色点云地图相融合，从而获得三维空间中的超声分布梯度。
[0017]作为本专利技术所述的一种三维点云地图的使用方法的一种优选方案，其中：所述信息融合分析模块将温度传感器获得的气温数据结合多模态传感器的空间位置信息，把气温信息和彩色点云地图相融合，从而获得三维空间中的气温分布情况，所述信息融合分析模块将湿度感器获得的温度数据结合多模态传感器的空间位置信息，把湿度信息和彩色点云地图相融合，从而获得三维空间中的空气湿度分布情况。
[0018]作为本专利技术所述的一种三维点云地图的使用方法的一种优选方案，其中：所述信息融合分析模块将气味传感器获得的目标气体浓度数据结合多模态传感器的空间位置信息，把目标气体浓度信息和彩色点云地图相融合，从而获得三维空间中的目标气体浓度分布情况，所述信息融合分析模块将辐射传感器获得的辐射强度数据结合多模态传感器的空间位置信息，把辐射强度信息和彩色点云地图相融合，从而获得三维空间中的辐射强度分布情况。
[0019]与现有技术相比：通过采用彩色相机、深度相机获得的三维彩色点云数据结合视觉里程计和IMU的数据进行所在场景的三维地图的构建以及基于三维地图的自定位；
[0020]通过利用彩色相机、深度相机获得的三维彩色点云数据进行目标识别，判别视野范围内对象的目标类型以及空间位置、尺度参数；
[0021]通过利用红外相机获得的温度图像结合功能获得的目标判别结果，计算得到目标的表面温度，并进行温度是否越界、是否有高温、低温液体泄漏等需要报警的判定；
[0022]通过利用超声传感器阵列获得的超声分布图像结合功能获得的目标判别结果，计算得到目标的附近是否有高压气体泄漏、泄露速度以及泄露位置，并以此信息判定是否需
要报警；
[0023]通过利用温度传感器获得多模态感知探头内部的温度以便控制风扇及时散热保证探头内温度稳定、并可以利用探头内温度数据来校正热红外传感器的测量偏差；
[0024]通过利用激光测距仪可以获得超出深度相机工作范围的较远目标的精确距离、该距离结合原理获得的探头自身位置数据可以较为精确的测量较远目标点的三维空间位置数据，该位置数据可以用于补充三维数字地图、也可以用于校正远距离目标红外测温结果；
[0025]通过利用彩色相机获得的彩色图像结合功能1获得的相机位置数据，识别图像中的仪表表盘的数据，并向中控系统更新该仪表的数据，根据彩色图像、深度图像、红外图像进行数据融合进行活体检测、识别有害生物、陌生人员等，并根据识别结果进行报警；
[0026]通过彩色相机采集的现场实时彩本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于机器人的环境多模信息综合分析系统，其特征在于：包括环境多模信息综合分析系统(1)，所述环境多模信息综合分析系统(1)由多模块感知模块(2)、三维空间定位模块(3)和信息融合分析模块(4)构成，所述多模块感知模块(2)连接信息融合分析模块(4)，所述信息融合分析模块(4)连接三维空间定位模块(3)；所述多模态感知模块(2)上配置CUP，用于控制和管理模块的各种感知功能；所述三维空间定位模块(3)用于获取上述信息融合分析模块进行三维空间位置姿态数据；所述信息融合分析模块(4)由计算机构成，所述信息融合分析模块(4)用于获取多模态感知模块(2)和三维空间定位模块(3)的信息，并将这些信息进行融合处理；所述环境多模信息综合分析系统(1)安装在机器人内，用于机器人感知系统和控制。2.根据权利要求1所述的一种基于机器人的环境多模信息综合分析系统，其特征在于，所述多模态感知模块(2)包括彩色相机、深度相机、视觉里程计、红外相机、超声传感器阵列、激光测距仪、温度传感器、湿度传感器、气味传感器和核辐射传感器，所述彩色相机、深度相机、视觉里程计、红外相机、超声传感器阵列、激光测距仪、温度传感器、湿度传感器、气味传感器和核辐射传感器连接信息融合分析模块(4)。3.根据权利要求2所述的一种基于机器人的环境多模信息综合分析系统，其特征在于，所述彩色相机获得多模态传感器正面朝向的彩色图像数据，并通过数据线将该数据发送给信息融合分析模块(4)，所述深度相机获得多模态传感器正面朝向的深度图像数据，并通过数据线将该数据发送给信息融合分析模块(4)，所述红外相机获得多模态传感器正面朝向的温度图像数据并通过数据线将该数据发送给信息融合分析模块(4)，所述超声传感器阵列获频谱的点阵分布式数据，并通过数据线将该数据发送给信息融合分析模块(4)。4.根据权利要求2所述的一种基于机器人的环境多模信息综合分析系统，其特征在于，所述温度传感器获得传感器周边的气温数据，并通过数据线将该数据发送给信息融合分析模块(4)，所述湿度传感器获取传...

【专利技术属性】
技术研发人员：王秋林，李书清，郭振平，
申请(专利权)人：珠海惠中智能技术有限公司，
类型：发明
国别省市：