一种规劝行人及时佩戴口罩的巡视车及其控制方法技术

本发明专利技术属于监测预警安保技术领域，具体涉及一种规劝行人及时佩戴口罩的巡视车及其控制方法。本发明专利技术针对室内公共场合，通过巡检系统自身所携带深度相机采集的RGB彩色图像和深度图像完成室内栅格地图的构建；并通过相邻图片之间的特征匹配计算出检测巡视车相对于世界坐标系的位置，完成自身的定位；通过构建卷积神经网络模型，能够完成对于行人是否佩戴口罩的特征提取和识别；通过路径规划导航以及障碍物避障模块完成检测巡视车自主移动至目标的功能；最终通过目标跟随模块以及语音模块完成了巡检系统对未佩戴口罩行人的规劝功能以及对于防疫知识的宣传工作。及对于防疫知识的宣传工作。及对于防疫知识的宣传工作。

【技术实现步骤摘要】
一种规劝行人及时佩戴口罩的巡视车及其控制方法


[0001]本专利技术属于监测预警安保
，具体涉及一种规劝行人及时佩戴口罩的巡视车及其控制方法。

技术介绍

[0002]自新型冠状病毒被发现以来，在公共场合佩戴口罩成为了预防病毒传播的有效手段，同时也是每一个合格的公民应该去遵守的责任。在火车站、商场、电影院等人员密集的地方，除了通过宣传手段呼吁大家主动佩戴口罩之外，更需要结合现阶段科技的发展，通过科技的手段主动规劝未佩戴口罩的人员及时佩戴口罩，降低病毒传播的可能性。通过室内口罩佩戴智能检测巡视车，在公共场合对过往的人员进行佩戴口罩的实时检测与劝导，可以有效的提升口罩佩戴监管的效率，对于疫情防控工作有着重要的意义。
[0003]实现室内口罩佩戴智能检测巡视车系统的设计必须要有相应的技术支持，来完成自主定位与地图构建、自主导航、目标识别等任务。然而通过智能检测巡视车，进行未佩戴口罩行为自动检测及主动规劝还没能有效投入到现实使用中，公共场所通过智能检测巡视车来对未佩戴口罩行为检测以及规劝的系统需要尽快开发并投入应用中来有效辅助疫情的防控工作。
[0004]同时，如果采用相关工作人员在公共场合进行监管的方法，不仅投入工作人员的数量比较大，而且容易引起与未带口罩人员之间不必要的冲突。而该智能检测巡视车可以基于深度学习的方法对人员进行多目标检测，获取未佩戴口罩目标的位置信息，通过同时定位与地图构建系统完成自身的位置估计，并通过最优路径规划算法，自主导航至目标人员位置进行规劝。这样对于防疫工作的开展不仅节约了人力成本，而且可以通过智能检测巡视车完成对人们防疫知识的宣传教育工作，有效提升了大家对于安全防疫的意识，具有重要的应用前景。

技术实现思路

[0005]本专利技术的目的在于提供一种规劝行人及时佩戴口罩的巡视车。
[0006]本专利技术的目的通过如下技术方案来实现：包括地图构建模块、巡视车定位模块、口罩佩戴检测模块、路径规划导航模块、障碍物避障模块、目标跟随及语音提醒模块；
[0007]所述的地图构建模块根据巡视车上搭载的深度相机所拍摄获取到的RGB图像信息以及深度信息进行地图的构建，在首次巡航时根据所获取到的数据建立二维栅格地图，并将所建立的二维栅格地图传递到路径规划导航模块；所述的二维栅格地图包括空闲区域、占用区域和未知区域，空闲区域指巡视车可以顺利通过的区域、占用区域指有障碍物阻挡的区域、未知区域指巡视车还未进行探索的区域；
[0008]所述的巡视车定位模块通过世界坐标系、基准坐标系、相机坐标系之间的转换关系，完成巡视车自身的定位，并将定位信息传送至路径规划导航模块；
[0009]所述的口罩佩戴检测模块将巡视车上搭载的深度相机所拍摄获取到的图像信息
输入训练好的口罩检测网络中，进行口罩检测，获取所有未佩戴口罩人员的位置信息，将距离最近的人员位置信息传送至路径规划导航模块；
[0010]所述的路劲规划导航模块基于地图构建模块所建立的初始全局地图、巡视车定位模块的自身定位信息、口罩佩戴检测模块所传送过来的距离最近的行人位置信息，进行自主路径规划，并将巡视车周围环境的实时信息以及自身位置的实时数据传送到障碍物避障模块以及语音提醒模块；
[0011]所述的障碍物避障模块巡视车上搭载的深度相机实时采集到的周围环境信息，判断全局路径规划过程中是否遇到了动态障碍物，如果检测到动态障碍物的存在，则将障碍物在世界坐标系的位置信息实时传送到地图构建模块以及路径规划导航模块，通过路径规划导航模块进行局部路径的规划，更改全局路径规划的最优路线获取绕过障碍物后的最优局部路径规划；
[0012]当巡视车移动至目标所在位置后，目标跟随及语音提醒模块进行佩戴口罩的语音提示，通过对于目标是否佩戴口罩的实时检测，选择是否启用目标跟随模式；如果目标遵从提示主动佩戴口罩，巡视车则自主移动至下一个目标；如果目标人员未遵从提示佩戴口罩并试图离去，则启用目标跟随模式，通过深度相机实时获取检测巡视车与目标的相对位置信息，依据该相对位置对目标进行实时跟随，并将语音规劝模式切换至语音批评模式，在跟随目标人员的同时对其通过语音模块进行批评教育。
[0013]本专利技术的目的还在于提供一种规劝行人及时佩戴口罩的巡视车控制方法。
[0014]本专利技术的目的通过如下技术方案来实现：包括以下步骤：
[0015]步骤1：建立巡视区域的二维栅格地图；
[0016]将巡视车携带的深度相机采集到的RGB彩色图片信息和深度信息传送至前端视觉里程计，根据相邻图像之间运动的估计推算出相邻图像间相机的运动和局部地图的样子，并将不同时刻视觉里程计测量的相机位姿，以及回环检测的信息传入到后端非线性优化，得到全局一致的轨迹和地图；使用回环检测判断巡视车是否到达过先前的位置，如果检测到回环，则将信息提供给后端处理；后端根据估计的轨迹建立与任务要求一致的地图模型；
[0017]所述的二维栅格地图包括空闲区域、占用区域和未知区域，空闲区域指巡视车可以顺利通过的区域、占用区域指有障碍物阻挡的区域、未知区域指巡视车还未进行探索的区域；
[0018]步骤2：巡视车定位；
[0019]基于建立的二维栅格地图，获取巡视车在二维栅格地图的初始位置；巡视车所携带的深度相机将三维世界中的坐标点通过针孔相机模型映射到二维图像平面，对所获取的相邻两帧图像进行ORB特征点的提取，对每一帧图像分别进行一定阈值特征点的提取，再测量每一个特征点的描述子距离，并对其进行排序，取最近的一个作为匹配点；根据匹配好的点对，利用ICP的方法来解决两组3D点之间的运动估计问题，从而根据相邻两帧的图像获取相机的相对位姿，将该相对位姿关系映射到世界坐标系下，得到巡视车的实时位置信息；
[0020]步骤3：口罩佩戴检测；
[0021]将巡视车所携带的深度相机采集到的RGB彩色图片信息传入训练好的口罩检测网络中，获取未佩戴口罩行人的位置信息，选择相对距离最短的行人位置信息作为规劝目标；
[0022]步骤4：路径规划导航及障碍物避障；
[0023]建立全局最优路径并将最优路径所对应的决策信息下发到巡视车的执行机构，通过决策信息中所对应的线速度、角速度指令驱动巡视车按照规划的最优路径执行运动操作，执行机构所携带的编码器会实时反馈回巡视车实际所执行的线速度、角速度数据，从而进行不断优化巡视车位置，直至逼近决策信息所下发的位姿；
[0024]巡视车通过路径规划移动至规劝目标的过程中，通过外部所携带的深度相机获取到障碍物的位置信息，根据障碍物的位置信息进行避障；首先通过所获取到图片的深度信息得到周围环境的距离值；将该距离值与首次地图构建所预存的环境地图距离值进行对比，如果该距离值与预存的环境地图距离值的差值小于所设定的阈值则判定其为障碍物，并持续探测障碍物的状态；根据前后两次探测到的障碍物的距离和角度，判断障碍物的运动状态；当检测系统移动至障碍物一定距离时，根据障碍物的运动状态采取相应的避障方法进行避障运动，直至最终到达目标人本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种规劝行人及时佩戴口罩的巡视车，其特征在于：包括地图构建模块、巡视车定位模块、口罩佩戴检测模块、路径规划导航模块、障碍物避障模块、目标跟随及语音提醒模块；所述的地图构建模块根据巡视车上搭载的深度相机所拍摄获取到的RGB图像信息以及深度信息进行地图的构建，在首次巡航时根据所获取到的数据建立二维栅格地图，并将所建立的二维栅格地图传递到路径规划导航模块；所述的二维栅格地图包括空闲区域、占用区域和未知区域，空闲区域指巡视车可以顺利通过的区域、占用区域指有障碍物阻挡的区域、未知区域指巡视车还未进行探索的区域；所述的巡视车定位模块通过世界坐标系、基准坐标系、相机坐标系之间的转换关系，完成巡视车自身的定位，并将定位信息传送至路径规划导航模块；所述的口罩佩戴检测模块将巡视车上搭载的深度相机所拍摄获取到的图像信息输入训练好的口罩检测网络中，进行口罩检测，获取所有未佩戴口罩人员的位置信息，将距离最近的人员位置信息传送至路径规划导航模块；所述的路劲规划导航模块基于地图构建模块所建立的初始全局地图、巡视车定位模块的自身定位信息、口罩佩戴检测模块所传送过来的距离最近的行人位置信息，进行自主路径规划，并将巡视车周围环境的实时信息以及自身位置的实时数据传送到障碍物避障模块以及语音提醒模块；所述的障碍物避障模块巡视车上搭载的深度相机实时采集到的周围环境信息，判断全局路径规划过程中是否遇到了动态障碍物，如果检测到动态障碍物的存在，则将障碍物在世界坐标系的位置信息实时传送到地图构建模块以及路径规划导航模块，通过路径规划导航模块进行局部路径的规划，更改全局路径规划的最优路线获取绕过障碍物后的最优局部路径规划；当巡视车移动至目标所在位置后，目标跟随及语音提醒模块进行佩戴口罩的语音提示，通过对于目标是否佩戴口罩的实时检测，选择是否启用目标跟随模式；如果目标遵从提示主动佩戴口罩，巡视车则自主移动至下一个目标；如果目标人员未遵从提示佩戴口罩并试图离去，则启用目标跟随模式，通过深度相机实时获取检测巡视车与目标的相对位置信息，依据该相对位置对目标进行实时跟随，并将语音规劝模式切换至语音批评模式，在跟随目标人员的同时对其通过语音模块进行批评教育。2.一种规劝行人及时佩戴口罩的巡视车控制方法，其特征在于，包括以下步骤：步骤1：建立巡视区域的二维栅格地图；将巡视车携带的深度相机采集到的RGB彩色图片信息和深度信息传送至前端视觉里程计，根据相邻图像之间运动的估计推算出相邻图像间相机的运动和局部地图的样子，并将不同时刻视觉里程计测量的相机位姿，以及回环检测的信息传入到后端非线性优化，得到全局一致的轨迹和地图；使用回环检测判断巡视车是否到达过先前的位置，如果检测到回环，则将信息提供给后端处理；后端根据估计的轨迹建立与任务要求一致的地图模型；所述的二维栅格地图包括空闲区域、占用区域和未知区域，空闲区域指巡视车可以顺利通过的区域、占用区域指有障碍物阻挡的区域、未知区域指巡视车还未进行探索的区域；步骤2：巡视车定位；基于建立的二维栅格地图，获取巡视车在二维栅格地图的初始位置；巡视车所携带的深度相机将三维世界中的坐标点通过针孔相机模型映射到二维图像平面，对所获取的相邻
两帧图像进行ORB特征点的提取，对每一帧图像分别进行一定阈值特征点的提取，再测量每一个特征点的描述子距离，并对其进行排序，取最近的一个作为匹配点；根据匹配好的点对，利用ICP的方法来解决两组3D点之间的运动估计问题，从而根据相邻两帧的图像获取相机的相对位姿，将该相对位姿关系映射到世界坐标系下，得到巡视车的实时...

【专利技术属性】
技术研发人员：汲清波，丰坤龙，侯长波，陈奎丞，章强，
申请(专利权)人：哈尔滨工程大学，
类型：发明
国别省市：