一种消防机器人局部自主导航方法及系统技术方案

本发明专利技术涉及消防智能技术领域，具体涉及一种消防机器人局部自主导航方法及系统，该方法包括，在红外图像中选取火源，根据红外图像与点云图像的映射矩阵求取火源的三维坐标；根据火源的位置，在可见光图像中选取目标点，根据可见光图像与点云图像的映射矩阵求取目标点的三维坐标；根据目标点的三维坐标，规划消防机器人运动到目标点的路径，驱动消防机器人运动到目标点；再次选取目标点，直至消防机器人的作业半径能够覆盖火源进行灭火作业。本发明专利技术通过可见光图像与点云图像、红外图像与点云图像的数据融合，提高了消防机器人对火场环境的感知能力，使得消防机器人具备在视距内的局部自主导航能力，大幅提高了消防机器人在火场消防作业中的应用。

【技术实现步骤摘要】
一种消防机器人局部自主导航方法及系统
本专利技术涉及消防智能
，具体涉及一种消防机器人局部自主导航方法及系统。
技术介绍
近年来我国特大火灾事件频发，随着安全技术装备的不断发展，越来越多的消防机器人被投入应用到消防作业中。然而在现有技术下，消防机器人存在智能化程度低，环境感知能力弱，不具备自主导航能力等缺点。操作人员仍采用手柄跟随机器人的控制方式，存在一定危险性，大大制约了消防机器人在火场消防作业中的应用。
技术实现思路
为解决现有技术的不足，本专利技术提供一种消防机器人局部自主导航方法及系统，能够提高消防机器人的环境感知能力与智能化程度。为解决现有技术的不足，本专利技术提供的技术方案为：本专利技术提供一种消防机器人局部自主导航方法，包括，1)获取红外相机拍摄的实时图像，在红外图像中选取火源，根据红外图像中火源的二维坐标与点云图像中相应点的三维坐标的映射矩阵求取火源的三维坐标；2)获取可见光相机拍摄的实时图像，根据火源的位置，在可见光图像中选取目标点，根据可见光图像中目标点的二维坐标与点云图像中该点的三维坐标的映射矩阵求取目标点的三维坐标；3)根据目标点的三维坐标，规划消防机器人运动到目标点的路径，驱动消防机器人运动到目标点；4)以目标点作为消防机器人的当前位置，再次拍摄可见光图像，选取目标点，规划消防机器人的运动路径，直至消防机器人配备的水炮的作业半径能够覆盖火源进行灭火作业。优选的，所述红外相机和可见光相机均安装在消防机器人底盘上；所述点云图像通过安装在消防机器人底盘上的三维激光雷达获取。优选的，还包括，通过外参标定，获取可见光图像中二维坐标与点云图像中三维坐标的映射矩阵；以及，通过外参标定，获取红外图像中二维坐标与点云图像中三维坐标的映射矩阵。优选的，所述在可见光图像中选取目标点，包括：在可见光图像中选取靠近火源的位置或前往火源路径上的点作为目标点；所述靠近火源的位置是指，消防机器人配备的水炮的作业半径能够覆盖火源。优选的，还包括，在可见光图像上识别门洞或障碍物；判断消防机器人能否通过规划的路径中的门洞或障碍物；如果不能通过，则重新选取目标点。优选的，所述判断消防机器人能否通过规划的路径中的门洞或障碍物，包括，在可见光图像中选取门洞或障碍物的轮廓，根据可见光图像中轮廓上点的二维坐标与点云图像中该点的三维坐标的映射矩阵求取门洞或障碍物轮廓上点的三维坐标；根据门洞或障碍物轮廓上点的三维坐标求取门洞的最小宽度和最小高度，以及障碍物间的最小宽度；比较门洞的最小宽度和最小高度与消防机器人的宽度和高度，当消防机器人的宽度小于门洞的最小宽度且当消防机器人的高度小于门洞的最小高度时，消防机器人能够通过门洞；比较障碍物间的最小宽度和消防机器人的宽度，当消防机器人的宽度小于障碍物间的最小宽度时，消防机器人能够通过障碍物。本专利技术另一方面提供一种消防机器人局部自主导航系统，包括，三维激光雷达，可见光相机，红外相机和数据处理端；所述三维激光雷达，可见光相机和红外相机安装在消防机器人底盘上；所述可见光相机用于拍摄视距范围内消防机器人前方图像；所述三维激光雷达用于探测目标位置获取点云图像；所述红外图像用于拍摄火源图像；所述三维激光雷达，可见光相机和红外相机均与数据处理端通过无线方式连接；所述数据处理端用于在红外图像中选取火源，根据红外图像中火源的二维坐标与点云图像中相应点的三维坐标的映射矩阵求取火源的三维坐标；以及，用于在可见光图像中选取目标点，根据可见光图像中目标点的二维坐标与点云图像中该点的三维坐标的映射矩阵求取目标点的三维坐标：以及，用于根据目标点的三维坐标，规划消防机器人运动到目标点的路径，直至消防机器人配备的水炮的作业半径能够覆盖火源。优选的，所述数据处理端还用于，在可见光图像中出现门洞或有障碍物时，在可见光图像中选取门洞或障碍物的轮廓，根据可见光图像中该轮廓中点的二维坐标与点云图像中相应点的三维坐标的映射矩阵求取门洞或障碍物轮廓中点的三维坐标，根据门洞或障碍物轮廓的三维坐标求取门洞的最小宽度和最小高度，以及障碍物间的最小宽度；比较门洞的最小宽度和最小高度与消防机器人的宽度和高度，判断消防机器人能否通过门洞；比较障碍物间的最小宽度和消防机器人的宽度时，判断消防机器人能否通过障碍物。优选的，所述数据处理端还用于，当消防机器人不能通过门洞或障碍物时，重新在可见光图像中选取目标点，并规划消防机器人到达目标点的路径，直到消防机器人能够顺利到达目标点。优选的，所述数据处理端还用于，通过外参标定，获取可见光图像中二维坐标与点云图像中三维坐标的映射矩阵；以及，通过外参标定，获取红外图像中二维坐标与点云图像中三维坐标的映射矩阵。本专利技术的有益效果：通过可见光图像与点云图像、红外图像与点云图像的数据融合，提高了消防机器人对火场环境的感知能力，使得消防机器人具备在视距内的局部自主导航能力，操作人员可通过远程界面控制消防机器人，无需跟随消防机器人进入火场，有效降低了原有利用手柄操作控制消防机器人的难度，保障了消防操作人员的人身安全，大幅提高了消防机器人在火场消防作业中的应用。附图说明图1为本专利技术提供的一种消防机器人局部自主导航方法的流程图；图2为本专利技术提供的可见光图像中二维坐标与点云图像中三维坐标的映射矩阵示意图。具体实施方式下面结合实施方式对本专利技术作进一步描述。以下实施方式仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本专利技术的保护范围。本专利技术实施例提供一种消防机器人局部自主导航方法，参见图1，包括以下步骤：步骤一：通过外参标定，获取可见光图像中二维坐标与点云图像中三维坐标的映射矩阵；以及，通过外参标定，获取红外图像中二维坐标与点云图像中三维坐标的映射矩阵；具体的，通过在消防机器人底盘上安装的三维激光雷达，可见光相机和红外相机获取点云图像，可见光图像和红外图像；所述可见光相机用于拍摄视距范围内消防机器人前方图像；所述三维激光雷达用于探测目标位置获取点云图像；所述红外图像用于拍摄火源图像。参见图2，设(u，v)为可见光图像或红外图像中某点的坐标，(x，y，z)为与(u，v)对应的点云图像中的点的坐标。通过棋盘格矩形标定工具，则有：式中，M为内参和外参的合体，即可见光图像或红外图像中点的二维坐标与点云图像中对应点三维坐标的映射矩阵；则有：即：选取棋盘格的四个角点作为已知点，分别在可见光或红外图像和点云图像中找到四个角点的坐标，移动棋盘格，重复多次，找到6组对应点，即可求出M。步骤二：将红外相机获取的实时图像传到远程操作界面；在红外图像中选取火源，根据红外图像中火源的二维坐标与点云图像中相应点的三维坐标的映射矩阵求取火本文档来自技高网...

【技术保护点】
1.一种消防机器人局部自主导航方法，其特征在于，包括，/n1）获取红外相机拍摄的实时图像，在红外图像中选取火源，根据红外图像中火源的二维坐标与点云图像中相应点的三维坐标的映射矩阵求取火源的三维坐标；/n2）获取可见光相机拍摄的实时图像，根据火源的位置，在可见光图像中选取目标点，根据可见光图像中目标点的二维坐标与点云图像中该点的三维坐标的映射矩阵求取目标点的三维坐标；/n3）根据目标点的三维坐标，规划消防机器人运动到目标点的路径，驱动消防机器人运动到目标点；/n4）以目标点作为消防机器人的当前位置，再次拍摄可见光图像，选取目标点，规划消防机器人的运动路径，直至消防机器人配备的水炮的作业半径能够覆盖火源，进行灭火作业。/n

【技术特征摘要】
1.一种消防机器人局部自主导航方法，其特征在于，包括，
1）获取红外相机拍摄的实时图像，在红外图像中选取火源，根据红外图像中火源的二维坐标与点云图像中相应点的三维坐标的映射矩阵求取火源的三维坐标；
2）获取可见光相机拍摄的实时图像，根据火源的位置，在可见光图像中选取目标点，根据可见光图像中目标点的二维坐标与点云图像中该点的三维坐标的映射矩阵求取目标点的三维坐标；
3）根据目标点的三维坐标，规划消防机器人运动到目标点的路径，驱动消防机器人运动到目标点；
4）以目标点作为消防机器人的当前位置，再次拍摄可见光图像，选取目标点，规划消防机器人的运动路径，直至消防机器人配备的水炮的作业半径能够覆盖火源，进行灭火作业。


2.根据权利要求1所述的一种消防机器人局部自主导航方法，其特征在于，所述红外相机和可见光相机均安装在消防机器人底盘上；
所述点云图像通过安装在消防机器人底盘上的三维激光雷达获取。


3.根据权利要求1所述的一种消防机器人局部自主导航方法，其特征在于，还包括，
通过外参标定，获取可见光图像中二维坐标与点云图像中三维坐标的映射矩阵；
以及，
通过外参标定，获取红外图像中二维坐标与点云图像中三维坐标的映射矩阵。


4.根据权利要求1所述的一种消防机器人局部自主导航方法，其特征在于，所述在可见光图像中选取目标点，包括：
在可见光图像中选取靠近火源的位置或前往火源路径上的点作为目标点；所述靠近火源的位置是指，消防机器人配备的水炮的作业半径能够覆盖火源。


5.根据权利要求1所述的一种消防机器人局部自主导航方法，其特征在于，还包括，
在可见光图像上识别门洞或障碍物；
判断消防机器人能否通过规划的路径中的门洞或障碍物；如果不能通过，则重新选取目标点。


6.根据权利要求5所述的一种消防机器人局部自主导航方法，其特征在于，所述判断消防机器人能否通过规划的路径中的门洞或障碍物，包括，
在可见光图像中选取门洞或障碍物的轮廓，根据可见光图像中轮廓上点的二维坐标与点云图像中该点的三维坐标的映射矩阵求取门洞或障碍物轮廓上点的三维坐标；
根据门洞或障碍物轮廓上点的三维坐标求取门洞的最小宽度和最小高度，以及障碍物间的最小宽度；
比较门洞的最小宽度和最小高度与消防机器人的宽度和高度，当消防机...

【专利技术属性】
技术研发人员：刘波，奚建东，廖华丽，
申请(专利权)人：河海大学常州校区，
类型：发明
国别省市：江苏;32