一种基于实时语义分割的室内救援车及图像语义分割方法技术

一种基于实时语义分割的室内救援车及图像语义分割方法，本发明专利技术涉及室内救援车，本发明专利技术目的在于克服室外环境的智能驾驶车辆应用的图像语义分割技术不能满足室内救援环境的需要的问题，它包括沟通提示结构、图像采集结构、架体、驱动控制机构和四个越障行走机构；沟通提示结构、图像采集结构和驱动控制机构安装在架体上，四个越障行走机构安装在架体底端上，驱动控制机构与沟通提示结构、图像采集结构和越障行走机构连接并控制沟通提示结构、图像采集结构和越障行走机构工作。并通过室内救援车的图像采集结构进行语义分割。本发明专利技术属于室内救援领域。室内救援领域。室内救援领域。

【技术实现步骤摘要】
一种基于实时语义分割的室内救援车及图像语义分割方法


[0001]本专利技术涉及室内救援车，特别是涉及一种基于实时语义分割的室内救援车及图像语义分割方法，属于实时语义分割的室内救援领域。

技术介绍

[0002]随着机器视觉相关研究的不断发展，解决车载传感器采集图像的准确分析和表达相关物体表面的特征，如位置、颜色、质地、纹理等，国内外科学技术人员对图像中目标特征的像素点进行聚类，而图像语义分割技术是针对这个要求而提出来的。为了提高图像目标特征像素语义分割的精度，优化神经网络模型的相关结构，从而实现对图像中每个像素都能够进行精确的语义分割。现有基于室外环境的智能驾驶车辆应用的图像语义分割技术不能满足室内救援环境的需要。

技术实现思路

[0003]本专利技术目的在于克服室外环境的智能驾驶车辆应用的图像语义分割技术不能满足室内救援环境的需要的问题，提供了一种基于实时语义分割的室内救援车。
[0004]本专利技术所述一种基于实时语义分割的室内救援车，它包括沟通提示结构、图像采集结构、架体、驱动控制机构和四个越障行走机构；沟通提示结构、图像采集结构和驱动控制机构安装在架体上，四个越障行走机构安装在架体底端上，驱动控制机构与沟通提示结构、图像采集结构和越障行走机构连接并控制沟通提示结构、图像采集结构和越障行走机构工作。
[0005]一种基于实时语义分割的室内救援车的图像语义分割方法，其特征在于：所述方法是按照以下步骤实现的：
[0006]步骤一：通过双目相机图像输入至微型电脑内，对双目相机低分辨率镜头图像采用上下文编码A中带孔系数为2的扩展卷积，扩大低分辨率图像的感受野，将原始低分辨率图像的分辨率放大到原来的一倍，作为下采样输入图像；下采样输入图像作为编码器A的输入图像；
[0007]步骤二：采用下采样输入图像作为编码器A的输入图像进行下采样操作，并进行1x1卷积、3x3卷积且Rate为6、3x3卷积且Rate为12、最大汇合层操作得到不同的特征图；
[0008]步骤三：利用步骤二中得到的不同特征图进行1x1卷积操作并进行两倍的下采样，进一步提取步骤二中得到的不同特征图中特征信息，输出特征图，降低特征图像维度，得到编码A提取到的特征图，输入到解码中；
[0009]步骤四：利用上采样单元对步骤三解码中得到的输出特征图进行两倍上采样，得到低分辨率特征图，恢复低分辨率特征图图像的维度；
[0010]步骤五：对双目相机输入高分辨率镜头的图像进行预处理，消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性，保证后续卷积层提取图像特征的可靠性；分别提取高分辨率图像中的RGB图像信息和深度图像信息；
[0011]步骤六：对步骤五中输出的RGB图像具有红、绿、蓝像素信息的特点，分别采用具有对红色像素特征提取的3x3卷积并进行两倍的下采样操作，得到红色像素特征图；具有对绿色像素特征提取的3x3卷积并进行两倍的下采样操作，得到绿色像素特征图；具有对蓝色像素特征提取的3x3卷积并进行两倍的下采样操作，得到蓝色像素特征图；
[0012]步骤七：对步骤五中高分辨率镜头的深度图像信息使用3x3卷积并进行2倍的下采样操作，提取高分辨图像的深度特征，输出深度特征图；
[0013]步骤八：将步骤六和步骤七中得到的图像中的红色像素特征图、绿色像素特征图、蓝色像素特征图和深度图像特征融合在一起，并进行1x1卷积提取相关的特征信息，输出编码B提取的关联特征图，输入到解码中；
[0014]步骤九：利用上采样单元对编码B提取的关联特征图进行两倍的上采样模块中反卷积操作，得到高分辨率特征图，恢复高分辨率特征图图像的维度；
[0015]步骤十：将步骤四中恢复的上下文编码A得到的低分辨率特征图和步骤九中恢复编码B得到的高分辨率特征图进行堆叠方式组合成联合特征图；
[0016]步骤十一：将步骤十中得到的联合特征图进行3x3卷积操作并进行两倍的上采样操作，提取联合特征图的特征信息，进一步恢复图像的维度，输出预测的语义分割结果。
[0017]本专利技术最为突出的特点和显著的有益效果是：
[0018]1.本申请的双目相机具有采集高分辨率的RGB图像、深度图像，低分辨率的灰度图像的功能；在双目相机支撑架内设计光源进行补偿装置，能够提高双目相机在黑暗环境下图像采集精度；针对大型建筑物内部环境的特点，所设计的一套可以进行自动调节俯仰角、水平角度范围的双目相机支架结构，消除了救援车辆两侧、上下方向的视野盲区；通过双目相机支架结构解决了使用廉价相机代替造价高昂激光雷达传感器难题，同时解决了相机获得更大扇面扫描角度的难题；
[0019]2.区别于现有单目相机采集单帧图像语义分割方法，通过双目相机采集两幅高低分辨率差异图像，借助英伟达AGX Xavier Developer Kit中GPU流处理器设计搭建了基于扩展卷积和RGB
‑
D语义分割的联合网络结构模型，解决了基于室内救援环境图像语义分割的难题；
[0020]3.输入到基于扩展卷积和RGB
‑
D语义分割的联合网络结构模型两幅具有高低分辨率差异图像，使用不同的卷积层分别对RGB、深度、灰度图像进行提取相关像素特征图，将像素特征图联合后再一次提取相关特征信息，输出预测结果，提高语义分割模型的识别精度；所搭建的一种基于室内救援场景下智能车辆的实时语义分割网络，可以实现针对室内救援环境中不同被困人员进行语义分割，标注出被困人员的具体形态；微型电脑控制定位模块发送位置信息，被困人员能够利用无线模块、语音交互模块、音响模块和救援人员进行交流，根据救援人员的远程指导，被困人员使用车载医疗用品对自己进行紧急自救；
[0021]4.微型电脑根据基于扩展卷积和RGB
‑
D语义分割的联合网络结构模型输出的预测结果，控制电机控制模块发送控制信号到不同的舵机、驱动电机，实现自主设计悬架结构、双目相机支架结构的相关控制；根据对现实生活的观察借助仿生学原理，自主设计了一套自主越障悬架结构。
[0022]5.本专利技术针对室内救援环境，提出一种基于实时语义分割的室内救援智能车辆设计，其中图像语义分割是机器视觉中最重要的基础性技术，也在无人驾驶、机器人感知与导
航等重要领域中均具有重要的应用，具有环境感知技术、环境图像识别技术的智能车辆，也可以称之为轮式机器人。针对规模庞大的建筑物，内部分布房间众多，并且各个房间之间使用不同的通道相互连接在一起，就造成了庞大建筑物具有地形复杂等特点，加之大型建筑物内部环境具有一定的相似性，一旦建筑物内部发生险情，由于周围环境辨识性较差，所以极其容易造成人员被困的危险。随着硬件方面对图像处理需求的性能支持，采用嵌入式图像开发处理设备将图像处理与卷积神经网络相互结合成为智能车辆研究的主流方法；智能救援车辆通过图像传感器采集室内救援图像信息，传输到神经网络模型中，微型电脑利用神经网络模型识别到的室内救援环境结果，根据发布控制信号到各个执行器，调节智能救援车辆的相关结构本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于实时语义分割的室内救援车，其特征在于：它包括沟通提示结构、图像采集结构、架体、驱动控制机构和四个越障行走机构；沟通提示结构、图像采集结构和驱动控制机构安装在架体上，四个越障行走机构安装在架体底端上，驱动控制机构与沟通提示结构、图像采集结构和越障行走机构连接并控制沟通提示结构、图像采集结构和越障行走机构工作。2.根据权利要求1所述一种基于实时语义分割的室内救援车，其特征在于：图像采集结构包括双目相机(13)、四号舵机(26)、四号舵机安装座(27)、光源(29)、双目相机支撑架(30)和五号舵机(31)；双目相机(13)上设置有高分辨率镜头(25)和低分辨率镜头(28)，双目相机(13)通过双目相机支撑架(30)与四号舵机(26)的输出端连接，四号舵机(26)通过四号舵机安装座(27)与五号舵机(31)的输出端连接，光源(29)安装在双目相机支撑架(30)上。3.根据权利要求1所述一种基于实时语义分割的室内救援车，其特征在于：沟通提示结构包括语音交互模块(1)、无线模块(2)、警示灯(4)和音响模块(5)；无线模块(2)与语音交互模块(1)连接，语音交互模块(1)与音响模块(5)连接，语音交互模块(1)、无线模块(2)、警示灯(4)和音响模块(5)安装在架体上，且语音交互模块(1)、无线模块(2)、警示灯(4)和音响模块(5)与驱动控制机构连接。4.根据权利要求1所述一种基于实时语义分割的室内救援车，其特征在于：越障行走机构包括第一关节(18)、第二关节(19)、麦克纳姆轮(20)、驱动电机(21)、一号舵机(22)、二号舵机(23)和三号舵机(24)；三号舵机(24)的输出端与第一关节(18)的一端固定连接，第一关节(18)的另一端与二号舵机(23)的壳体固定连接，二号舵机(23)的输出端与第二关节(19)的一端连接，第二关节(19)的另一端与一号舵机(22)的输出端固定连接，一号舵机(22)的壳体与驱动电机(21)壳体固定连接，麦克纳姆轮(20)固定安装在驱动电机(21)的转轴上。5.根据权利要求1所述一种基于实时语义分割的室内救援车，其特征在于：驱动控制机构包括电机控制模块(7)、电机驱动器(9)、微型电脑(11)、定位模块(12)和电源模块(14)；电机驱动器(9)与电机控制模块(7)连接，定位模块(12)和电机控制模块(7)与微型电脑(11)连接，电源模块(14)与电机控制模块(7)、电机驱动器(9)和微型电脑(11)连接并供电。6.根据权利要求1、2、3、4或5所述一种基于实时语义分割的室内救援车，其特征在于：架体包括储存厢(6)、第一层底盘(15)、第二层底盘(16)和第三层底盘(17)；第一层底盘(15)、第二层底盘(16)和第三层底盘(17)由下至上通过杆体固定连接，语音交互模块(1)、无线模块(2)、警示灯(4)、音响模块(5)和五号舵机(31)安装在第三层底盘(17)上，微型电脑(11)、定位模块(12)和储存厢(6)安装在第二层底盘(16)上，电机控制模块(7)、电机驱动器(9)和电源模块(14)安装在第一层底盘(15)上，四个三号舵机(24)的壳体均布安装在第一层底盘(15)底端面上，第一层底盘(15)上加工有第一层穿线孔(10)，第二层底盘(16)上加工有第二层穿线孔(8)，第三层底盘(17)上加工有第三层穿线孔(3)，电机控制模块(7)与一号舵机(22)、二号舵机(23)、三号舵机(24)、四号舵机(26)和五号舵机(31)连接并供电，电源模块(14)与警示灯(4)、音响模块(5)、光源(29)、双目相机(13)、微型电脑(11)、电机控制模块(7)、驱动电机(21)、语音交互模块(1)、无线模块(2)和电机驱动器(9)连接并供电，电机驱动器(9)与驱动电机(21)通过导线连接并对驱动电机(21)供电。
7.根据权利要求6所述一种基于实时语义分割的室内救援车，其特征在于：双目相机(13)为3D双目结构光深度相机，微型电脑(11)内置的基于扩展卷积和RGB
‑
D语义分割的联合网络结构模型，微型电脑(11)通过USB2.0数据线与双目相机(13)连接并供电。8.利用权利要求1、2、3、4、5或7或中任一所述一种基于实时语义分割的室内救援车的图像语义分割方法，其特征在于：所述方法是按照以下步骤实现的：步骤一：通过双目相机(13)图像输入至微型电脑(11)内，对双目相机(13...

【专利技术属性】
技术研发人员：李茂月，郝鹏举，闫亚男，杨腾辉，
申请(专利权)人：哈尔滨理工大学，
类型：发明
国别省市：