【技术实现步骤摘要】
基于积分强化学习的多消防巡检协作机器人系统
本专利技术属于机器人领域，涉及基于积分强化学习的多消防巡检协作机器人系统。
技术介绍
目前常见的消防巡检机器人主要结构为：在驱动方面采用轮式驱动；在机器人的四周安装火焰探测器和温度传感器以便于火情的检测；机器人前方配备摄像头以便将巡检画面通过无线模块传输到控制室；在机器人上方还安装了底盘固定但可旋转的消防喷头，用于外接水管或小型水泵实现对着火点的扑灭；在机器人控制方面，随着多机协同思想和理论的发展，为了完成对大型区域的巡检，同时为了提高巡检效率和降低巡检难度性，通常会采用多个消防巡检机器人相互配合完成作业，在多消防巡检机器人的协同控制上采用集中式控制的方式，即通过一个主控程序，完成对所有机器人的巡检任务分配以及工作调度，巡检实现具体方式是将事先将使用激光雷达构建好的地图和规划好的巡检路线经过区域划分后分别导入到各个机器人的内部，每个机器人启动后便会自动按照它们所获取到的规划路线对地图上标注的重点区域进行巡检，另外在需要远程完成一些特定的灭火或巡检操作时，由消防人员通过遥控器远程进行操作。但上述系统也存在许多缺陷，首先轮式驱动使得机器人在应对阶梯和崎岖路面的通过性能较差，且转向和旋转的灵活性不够高；而且利用火焰探测器和温度传感器对火焰检测的准确度和及时性不能得到很好的保证，且火焰检测的范围也较小；其次在检测到火焰之后，只能实现报警功能和将着火点的位置和通过摄像头获取到达火情状况图像传输到消防控制室，少数的消防巡检机器人还可以配合自身携带的消防喷头，在消防人员的远程遥控...
【技术保护点】
1.基于积分强化学习的多消防巡检协作机器人系统，其特征在于：包括依次连接的硬件层、交互层、感知层和控制层；/n所述硬件层采用DSP作为控制器，将里程计和陀螺仪采集到的数据送入DSP内部进行处理，实时计算出机器人在巡检地图中的位置；通过上位机向DSP发送速度指令，DSP将获取到速度信息编码后以控制伺服电机的运转；消防巡检机器人采用的是履带式驱动；当机械臂需要动作时，由上位机中的ros系统通过在moveit！平台对机械臂将要移动到的目标点进行运动轨迹规划，将规划好的运动轨迹离散化后发送到DSP中，DSP获得的各个轴的角速度、加速度后控制机械臂的伺服电机运动以到达目标点；/n所述感知层用于建图的激光雷达、避障的红外线传感器、检测火焰的火焰探测器、温度传感器和realsenseD435i深度摄像头、里程计和陀螺仪。/n
【技术特征摘要】
1.基于积分强化学习的多消防巡检协作机器人系统，其特征在于：包括依次连接的硬件层、交互层、感知层和控制层；
所述硬件层采用DSP作为控制器，将里程计和陀螺仪采集到的数据送入DSP内部进行处理，实时计算出机器人在巡检地图中的位置；通过上位机向DSP发送速度指令，DSP将获取到速度信息编码后以控制伺服电机的运转；消防巡检机器人采用的是履带式驱动；当机械臂需要动作时，由上位机中的ros系统通过在moveit！平台对机械臂将要移动到的目标点进行运动轨迹规划，将规划好的运动轨迹离散化后发送到DSP中，DSP获得的各个轴的角速度、加速度后控制机械臂的伺服电机运动以到达目标点；
所述感知层用于建图的激光雷达、避障的红外线传感器、检测火焰的火焰探测器、温度传感器和realsenseD435i深度摄像头、里程计和陀螺仪。
2.根据权利要求1所述的基于积分强化学习的多消防巡检协作机器人系统，其特征在于：所述硬件层包括履带驱动系统和机械臂伺服控制；
1、履带驱动系统
履带为两段，每段由单独的伺服电机驱动；前段履带用于在障碍物时将机器人的底盘抬起以便顺利通过，通过调整前段履带来调整机器人的高度，为机械臂提供更大的操作半径；后半段履带主要起机器人的驱动作用，由一个伺服电机同轴驱动，转向时将一侧的履带进行减速制动；伺服电机的额定电压为24V，输出功率为100W，上层PC发布的x，y轴的速度信息通过DSP编码后转化伺服电机的转速，以实现转向和驱动；
2、机械臂伺服控制
机器人上方设置四轴的机械臂，机械臂前段设置能够转动的爪状夹持装置，夹持装置上设置灭火装置；加装灭火装置后配合机械臂实现对着火点实现精准扑灭；四轴的机械臂由四个伺服电机驱动每个轴的运动，每个轴的运动信息由上位机ros系统中的moveit！进行路径规划后产生；
①完成“眼在手外”下对机械臂的标定
通过“眼在手外”的标定形式完成将目标点在世界坐标系下的坐标到相对于机械臂坐标系的坐标变换；对与“眼在手外”的标定方式，机械手基座坐标系Tg到相机坐标系Tc的变换矩阵Tgc是恒定的，标定板坐标系Tb到机械臂末端坐标系Te的变换矩阵Tbe是恒定的，坐标变换的关系满足下式：
对第i个时刻：Tbci＝Tbe*Tegi*Tgc(1-1)
第i+1个时刻：Tbci+1＝Tbe*Tegi+1*Tgc(1-2)
整理得：(Tegi)-1*(Teg)i+1＝Tgc*(Tbc)i-1*(Tbc)i+1*Tgc-1(1-3)
则A＝(Tegi)-1*(Teg)i+1就是物体相对于机械臂末端坐标系Te下的运动关系；
②利用moveit！完成对机械臂的运动轨迹规划
利用Moveit！将控制机械臂的各个独立功能部件组合起来，然后通过ROS中的action和service通信方式供用户使用；在moveit！中，创建一个符合机械臂真实尺寸和轴数的模型URDF模型，输入模型之后，利用moveit！的setupassistant按照自己的设定生成相应的配置文件，内容包括机械臂的碰撞矩阵以避免规划出的轨迹使得各轴之间发生碰撞，各个关节的连接信息以及定义的初始位置等；然后再添加机械臂的控制插件controller，controller包括定义follow_joint_trajectory节点和设置各个轴的名字，最后再编写程序实现PC与机械臂通过socket通信方式连接，通过订阅joint_state话题在rviz中观察到机械臂的实时运动轨迹；先由快速卷积神经网络完成对火焰的识别检测，识别成功后通过深度摄像头的点云数据得到着火点相对于机器人的三维坐标，再通过TF坐标变化就能得知机械臂末端需要到达的位置，之后由内部集成好的算法完成对轨迹的求解；求解出来的轨迹信息是由大量离散的点构成的，轨迹信息包括要达到该点每个轴的角速度、角加速度；当求解出的点足够多时，拟合出一条十分光滑的运动轨迹，将这些离散的点的信息通过话题发布和订阅之后使得机械臂按照规划的点平滑地运动至目标点。
3.根据权利要求1所述的基于积分强化学习的多消防巡检协作机器人系统，其特征在于：所述感知层包括红外传感器避障和基于快速卷积神经网络的火焰识别；
①红外传感器避障
利用红外传感器实时检测巡检机器人在巡检过程中遇到的障碍物，当前方有障碍物时，红外传感器检测出机器人与障碍物之间的欧几里得距离，将这些距离与DSP中获得的里程计和陀螺仪数据推算出障碍物的具体坐标；获取坐标后，立即由控制算法设计出避障路径，该避障路径是弧形的，并且在整个过程中要求保持与障碍物有一个最小距离，避障结束后，要立即回到先前规划好的最优巡检路径；
②基于快速卷积神经网络的火焰识别
采用快速卷积神经网络FasterR-CNN对火焰特征进行提取检测，步骤如下：
②-1：输入拍摄到的火焰图片；
②-2.：将图片送入卷积神经网络CNN中进行特征提取；
②-3：特征提取后特征映射，特征映射将共同作用于后续的全连接层和区域生成网络RPN：
②-3.1：特征映射进入RPN，首先经过一系列的区域候选建议框，将这些建议框再分别馈入到两个1×1的卷积层，其中第一个卷积层用于进行区域分类，即通过计算生成建议框的交并比IOU值来区分正负样本；另一个由于边界框回归判定，通过非最大化抑制后以生成更精确的目标检测框；
②-3.2：特征映射进入ROI池化层，用于后续网络的计算；
②-4：将池化后的特征映射经过全连接层后，再次利用softmax对建议框进行分类，识别检测框框中的是否为物体，对建议框再次进行边界框回归判定；
RPN生成检测框的具体方法是通过一个滑动框对输入特征映射上滑动，在每个像素点上生成9个建议框，这些建议框的大小为1282、2562、5122，长宽比为1∶1、1∶2、2∶1，并利用这些检测框的交并比IOU交集比来区别正负样本，正样本的IOU值大于0.7，IOU值小于0.3的负样本，正负样本的比例设置为1∶1；针对图像中火焰的不同特征，采用引导锚定的方法来加快RPN的检测速度，改进的稀疏锚定策略为：
其中x，y为像素点坐标，F(x，y)表示生成的火焰颜色掩码，为1则该像素点生成建议框，0则不生成，mR(x，y)、mG(x，y)、mB(x，y)分别为图像像素点的RGB通道值，TR为事先设定的阈值；
另外利用边界回归判定去修正检测框的原理为将原始的建议框A经过映射G得到一个更接近真实情况的回归建议框F；这种映射G通过平移和缩放得到：
先平移：Fx＝Aw.dx(A)+Ax(2-2)
Fy＝Ah.dy(A)+Ay(2-3)
再缩放：Fw＝Aw.exp(dw(A))(2-4)
Fh＝Ah.exp(dh(A))(2-5)
其中x，y，w，h分别表示建议框的中心坐标，宽、高，dx、dy、dw、dh分别为变换关系，当原始框A和真实框F差距不大时，将这种变换视为线性的；
输出是识别为火焰的概率。
4.根据权利要求1所述的基于积分强化学习的多消防巡检协作机器人系统，其特征在于：所述交互层为：在巡检过程中需要实时将摄像头所捕捉到的画面通过无线网络发送到控制室和移动终端，并配套开发有相应的APP，在远程终端对巡检机器人进行相应的控制，以实现操作人员对想要再次巡检的区域的巡查；在检测到火焰后，立即向控制室发出警报信号并且能立即自动的做出相应的灭火措施；在实施灭火措施之后，若火情仍然得不到抑制，即将自动模式切换到远程操控模式，由控制室内的专业人员全面接管巡检机器人的控制，手动控制履带运转和机械臂动作以实现对着火点的精准扑灭，并根据火情判断是否需要做出切断电源、关闭燃气阀门、转移易燃物操作；将每个巡检机器都能人与整个消防系统进行并网，若采取措施后火情仍然较大，向控制室发出接管消防网络的请求，在得到控制室同意下或消防控制室一分钟内未做出应答，将建筑内局部的喷淋管网打开，同时发出全面消防警报，打开所有消防通道与应急照明设施；在机器人顶端安装急停按键；在火情扑灭后，将着火点在巡检地图上标注为重点巡检区域。
5.根据权利要求1所述...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。