一种基于深度神经网络的吸烟行为检测方法和系统技术方案

本发明专利技术公开了一种基于深度神经网络的吸烟行为检测方法和系统。该方法应用于智能巡检机器人，包括以下步骤：智能巡检机器人在自主巡检过程中，采集行人图像，并将所述行人图像输入至基于深度卷积神经网络的吸烟行为检测模型，所述吸烟行为检测模型输出吸烟行为检测结果；所述吸烟行为检测模型为经过轻量化处理和推理加速处理的深度卷积神经网络模型；当所述检测结果为存在吸烟行为时，所述智能巡检机器人发出语音提示。本发明专利技术技术方案提升了巡检机器人检测出吸烟行为的速度。机器人检测出吸烟行为的速度。机器人检测出吸烟行为的速度。

【技术实现步骤摘要】
一种基于深度神经网络的吸烟行为检测方法和系统


[0001]本专利技术涉及吸烟行为检测
，尤其涉及一种基于深度神经网络的吸烟行为检测方法和系统。

技术介绍

[0002]吸烟行为检测是智能巡检机器人的核心功能，其实现包括以下步骤：首先利用巡检机器人自带的摄像头获取图片，然后基于深度卷积神经网络对获取图片中的吸烟行为进行检测，最后对正在吸烟的行人进行提醒。深度卷积神经网络的吸烟行为检测推理能力直接决定了智能巡检机器人的吸烟行为检测性能优劣。为了保证深度卷积神经网络在推理吸烟图片时具有优良性能，通常先将深度卷积神经网络在公开的吸烟行为数据集上进行预训练，然后再将预训练后的模型放在从实际应用场景采集到的吸烟行为数据集上进行训练。比如，如果生产的智能巡检机器人将会应用于火车站广场区域，那么从实际应用场景采集到的吸烟行为数据集是指在火车站广场上实际采集到的吸烟行为图片组成的数据集。
[0003]在机器人工程项目中，模型性能的好坏直接影响巡检机器人的检测效果。所以，在巡检机器人巡检时，模型必须具有良好的鲁棒性和稳定性。基于深度神经网络训练的模型一般具有较好的稳定性，便于在机器人的硬件上部署。视觉注意力机制的引入能够很好的提升模型的鲁棒性，注意力机制通过对神经网络中输入的特征图片进行选择性学习，从而能够快速准确地完成特征学习。比如，在火车站广场采集到的吸烟行为数据集中，图片中大部分的内容可能都不是神经网络所关注的信息，神经网络重点关注的是图片中行人的吸烟行为信息，视觉注意力机制可以让机器人重点关注行人的吸烟行为信息，因此巡检机器人便能够快速准确地检测出行人是否存在吸烟行为。
[0004]现有的吸烟检测行为可分为，基于环境传感器的方法，基于可穿戴设备的方法，和基于图像特征检测的方法，其中基于图像特征检测的方法又可分为基于传统的图像特征的方法和基于深度学习的方法。
[0005]基于环境传感器的方法通过烟雾传感器检测是否有烟雾产生。当检测到有烟雾时，传感器发生警报。此技术存在的问题如下：(1)吸烟产生的烟雾浓度较低，需要高灵敏的传感器；(2)空气中还有其余杂质，容易产生误报，且不适合广场等拥挤人群。
[0006]基于可穿戴设备的方法使用穿戴手表等采集身体运动数据与吸烟行为进行模式匹配，日常活动众多易产生误报，且吸烟者并未同意穿戴检测设备进行吸烟检测，且成本较高。
[0007]基于传统的图像特征检测方法利用目标提取方法，通过提取RGB、HSV等颜色空间下的烟雾和香烟特征，和提取目标物体的纹理颜色形状等外观特征，对特征进行判断，检测有无吸烟行为。传统的图像检测方法的难点在于特征的选择，不同环境下，图像的特征不同，如光照强度等。进而降低了传统检测方法的准确度。

技术实现思路

[0008]本专利技术提供一种基于深度神经网络的吸烟行为检测方法和系统，提升了巡检机器人检测出吸烟行为的速度。
[0009]本专利技术一实施例提供一种基于深度神经网络的吸烟行为检测方法，应用于智能巡检机器人，包括以下步骤：
[0010]智能巡检机器人在自主巡检过程中，采集行人图像，并将所述行人图像输入至基于深度卷积神经网络的吸烟行为检测模型，所述吸烟行为检测模型输出吸烟行为检测结果；所述吸烟行为检测模型为经过轻量化处理和推理加速处理的深度卷积神经网络模型；
[0011]当所述检测结果为存在吸烟行为时，所述智能巡检机器人发出语音提示。
[0012]进一步的，建立基于深度卷积神经网络的初始吸烟行为检测模型，并在所述初始吸烟行为检测模型的每个检测头嵌入CBAM注意力机制，得到第一吸烟行为检测模型，并训练至收敛；
[0013]将训练好的所述第一吸烟行为检测模型经过轻量化处理和推理加速处理后得到第二吸烟行为检测模型，将所述第二吸烟行为检测模型用于智能巡检机器人进行吸烟行为检测。
[0014]进一步的，将训练好的所述第一吸烟行为检测模型经过轻量化处理和推理加速处理得到第二吸烟行为检测模型，具体为：
[0015]将训练好的所述第一吸烟行为检测模型进行剪枝处理，再使用TensorRT对所述第一吸烟行为检测模型进行检测加速处理得到第二吸烟行为检测模型。
[0016]进一步的，根据以下步骤对所述第一吸烟行为检测模型进行训练：
[0017]步骤S1：初始化所述第一吸烟行为检测模型，将训练集输入至所述第一吸烟行为检测模型；所述第一吸烟行为检测模型包括特征融合和上采样模块、注意力机制模块和检测模块；
[0018]步骤S2：所述训练集向前传递至特征融合和上采样模块，经过所述特征融合和上采样模块的特征融合和上采样处理后输入至所述注意力机制模块；
[0019]步骤S3：所述注意力机制模块对输入的图像数据进行下采样和多尺度融合处理后得到相应的特征图，再对所述特征图进行通道和空间计算得到相应的权重参数，并将所述权重参数传递所述检测模块；
[0020]步骤S4：所述检测模块根据所述权重参数计算加权损失值，并根据所述加权损失值更新所述第一吸烟行为检测模型的权重参数；重复步骤S2至步骤S4，直至所述第一吸烟行为检测模型收敛。
[0021]本专利技术另一实施例提供了一种基于深度神经网络的吸烟行为检测系统，应用于智能巡检机器人，包括控制器模块、图像采集模块、导航模块、运动控制模块和语音模块；
[0022]所述控制器模块用于对系统任务进行调度和根据所述基于深度卷积神经网络的吸烟行为检测模型获取吸烟行为检测结果；所述图像采集模块用于获取视觉信息；所述导航模块用于获取地图信息；所述运动控制模块用于移动地盘驱动；所述语音模块用于发出语音提示信息；
[0023]系统根据以下步骤进行吸烟行为检测：
[0024]所述控制器模块发出巡检指令至所述导航模块和运动控制模块，所述导航模块和
运动控制模块控制所述巡检机器人进入自主巡检状态；
[0025]所述巡检机器人自主巡检时通过所述图像采集模块采集行人图像并发送至所述控制器模块；
[0026]所述控制器模块将所述行人图像输入至基于深度卷积神经网络的吸烟行为检测模型，得到吸烟行为检测结果；
[0027]当所述检测结果为存在吸烟行为时，通过所述语音模块发出语音提示。
[0028]进一步的，根据以下步骤所述控制器模块中的吸烟行为检测模型：
[0029]建立基于深度卷积神经网络的初始吸烟行为检测模型，在所述初始吸烟行为检测模型的每个检测头嵌入CBAM注意力机制，得到第一吸烟行为检测模型，并训练至收敛；
[0030]将训练好的所述第一吸烟行为检测模型进行剪枝处理，再使用TensorRT对所述第一吸烟行为检测模型进行检测加速处理得到第二吸烟行为检测模型，将所述第二吸烟行为检测模型用于智能巡检机器人进行吸烟行为检测。
[0031]进一步的，所述控制器模块采用ubuntu系统，所述图像采集模块采用大华相机，所述导航模块采用ros机器人操作系统。
[0032]本专利技术的实施例，具有如下有益效果：...

【技术保护点】

【技术特征摘要】
1.一种基于深度神经网络的吸烟行为检测方法，其特征在于，应用于智能巡检机器人，包括以下步骤：智能巡检机器人在自主巡检过程中，采集行人图像，并将所述行人图像输入至基于深度卷积神经网络的吸烟行为检测模型，所述吸烟行为检测模型输出吸烟行为检测结果；所述吸烟行为检测模型为经过轻量化处理和推理加速处理的深度卷积神经网络模型；当所述检测结果为存在吸烟行为时，所述智能巡检机器人发出语音提示。2.根据权利要求1所述的基于深度神经网络的吸烟行为检测方法，其特征在于，建立基于深度卷积神经网络的初始吸烟行为检测模型，并在所述初始吸烟行为检测模型的每个检测头嵌入CBAM注意力机制，得到第一吸烟行为检测模型，并训练至收敛；将训练好的所述第一吸烟行为检测模型经过轻量化处理和推理加速处理后得到第二吸烟行为检测模型，将所述第二吸烟行为检测模型用于智能巡检机器人进行吸烟行为检测。3.根据权利要求2所述的基于深度神经网络的吸烟行为检测方法，其特征在于，将训练好的所述第一吸烟行为检测模型经过轻量化处理和推理加速处理得到第二吸烟行为检测模型，具体为：将训练好的所述第一吸烟行为检测模型进行剪枝处理，再使用TensorRT对所述第一吸烟行为检测模型进行检测加速处理得到第二吸烟行为检测模型。4.根据权利要求3所述的基于深度神经网络的吸烟行为检测方法，其特征在于，根据以下步骤对所述第一吸烟行为检测模型进行训练：步骤S1：初始化所述第一吸烟行为检测模型，将训练集输入至所述第一吸烟行为检测模型；所述第一吸烟行为检测模型包括特征融合和上采样模块、注意力机制模块和检测模块；步骤S2：所述训练集向前传递至特征融合和上采样模块，经过所述特征融合和上采样模块的特征融合和上采样处理后输入至所述注意力机制模块；步骤S3：所述注意力机制模块对输入的图像数据进行下采样和多尺度融合处理后得到相应的特征图，再对所述特征图进行通道和空间计算得到相应的权重参数，并将所述权重参数传递所述检测模...

【专利技术属性】
技术研发人员：万里红，袁野，吴国栋，
申请(专利权)人：河南爬客智能机器人有限公司，
类型：发明
国别省市：