一种基于视觉-气味多传感器的出租车舒适度识别方法技术

本发明专利技术公开了一种基于视觉

【技术实现步骤摘要】
一种基于视觉
‑
气味多传感器的出租车舒适度识别方法


[0001]本专利技术涉及多传感器数据融合技术，尤其涉及一种面向出租车内环境，利用车载摄像头图像、气味传感器浓度检测数据作为输入信号，通过多模态数据处理、融合网络进行车内舒适度识别的设计方法。

技术介绍

[0002]如今，在“低碳出行、大众交通”的理念下，出租车已经成为人们日常出行的主要交通工具。然而，随着时代的发展和社会的进步，人们更加关注出行的体验感和舒适度。出租车内环境“舒适度”会直接影响乘客的乘坐体验。其主要的影响因素包括客座整洁程度和车内空气质量，很多乘客对于客座位置的整洁度具有较高的要求，对于客座垫上的脚印、污渍脚踏垫上的杂物不能忍受。另一方面，对于气味敏感的乘客来说，出租车内的空气质量比较重要，不能忍受车内的烟味、酒味、尾气等异味。目前，现有的网约车软件未能提供给乘客相关选车的判断依据，形成“车选乘客、盲盒体验”的现象。
[0003]面向车内环境检测系统的研究不多，且设计角度单一。大多仅限于车内空气质量检测或目标识别。例如，一氧化碳、二氧化氮等有毒气体与车内的大件物品的遗留情况。常见的车内环境检测方法如下：以传感器阵列为气体探测器，利用SD卡为数据存储模块、以单片机为核心，实现空气质量的硬件测量。以近红外摄像头作为监控设备，通过匹配可疑物周围最大面积物体区域的特征与该可疑物的拥有者区域特征，来判别车内是否有遗留物。
[0004]现有面向出租车的环境检测系统和服务存在如下问题：
①
检测角度单一，缺乏多种信息的融合。
②
检测结果未有利用，缺少舒适度评价函数。
③
软件服务功能缺失，不能给乘客提供在线选车的数据支持。针对上述问题，本专利技术设计提出了基于视觉
‑
气味多传感器的出租车“舒适度”检测方法及系统，

技术实现思路

[0005]为了解决上述问题，本专利技术的主要目的在于提供一种基于视觉
‑
气味多传感器的出租车舒适度识别方法，其先进性表现为：实时监测车内的异味、空气质量和车内整洁程度；并根据传感器检测数据建立环境舒适度函数，客观评价检测结果，利用软件服务界面向网约乘客提高在线选车依据，帮助乘客改善出行的体验感和舒适度，改变车选乘客、盲盒体验的现状。
[0006]为达到上述目的，本专利技术的技术方案是：一种基于视觉
‑
气味多传感器的出租车舒适度识别方法，该方法包括：
[0007]步骤1)通过车载摄像头获取客座位置的图像，构建车内整洁度识别网络，对客座位置的整洁度进行识别；
[0008]步骤2)利用气味传感器和单片机设计车内空气质量检测装置，对四种常见车内异味及其空气质量进行检测；
[0009]步骤3)根据步骤1、2的检测结果，构建出租车舒适度函数，对车内环境舒适度进行
评价；
[0010]步骤4)设计用户界面，利用直观的车内图像、空气质量相关的数据与图表向用户提供选车依据。
[0011]步骤1)的具体内容为：
[0012]首先，在车内顶棚安装车载摄像头与MQ气味传感器，具体安装方法如下：安装位置居于顶棚纵向中轴线，靠近前边缘1/3
‑
1/2处。即，车内前排座位上方位置。收集车内环境数据集，根据整洁情况分为：优(无乘客)、良(无乘客)、差(无乘客)、有乘客人四类。
[0013]然后，构建车内整洁度识别网络。该网络由四个模块组成：底层特征提取模块、特征编码模块、上层特征提取模块、分类预测模块。
[0014]其中，底层特征提取模块由一个输入层(224
×
224
×
3)、两个3
×
3卷积层、一个最大池化层(112
×
112
×
3)、两个3
×
3卷积层、一个最大池化层(56
×
56
×
256)、三个3
×
3卷积层、一个最大池化层(28
×
28
×
512)、三个3
×
3卷积层、一个最大池化层(14
×
14
×
512)、三个3
×
3卷积层、一个最大池化层(7
×7×
512)构成，输出7
×7×
512特征图。
[0015]特征编码模块由列编码器、行编码器和通道编码器三个编码器并联组成。其中，列编码器将三维h
×
w
×
c特征图的所有列向量排列成h
×
(w
×
c)的二维特征。行编码器将三维h
×
w
×
c特征图的所有行向量排列成w
×
(h
×
c)的二维特征。通道编码器将三维h
×
w
×
c特征图的所有通道向量排列成c
×
(h
×
w)的二维特征。
[0016]上层特征提取模块将三个编码器的输出分别送到三个LSTM网络进行列、行、通道维度的特征变化规律建模，输出F
LSTMH
、F
LSTMW
、F
LSTMC
特征；然后，将上述三种特征进行通道拼接F
LSTM
＝(F
LSTMH
；F
LSTMW
；F
LSTMC
)。
[0017]分类预测模块，由两个全连接层和一个softmax层组成。两个全连接层将F
LSTM
特征进行空间映射，再通过softmax层获取整洁度分类的概率分布。
[0018]步骤2)的具体内容为：
[0019]首先，选择MQ系列传感器作为车载异味检测器，测量车内常见异味浓度，包括：MQ
‑
2烟雾气敏传感器、MQ
‑
3酒精乙醇传感器、MQ
‑
7一氧化碳传感器和MQ
‑
9可燃气体传感器。
[0020]然后，选用STM32单片控制、读取上述四个MQ气味传感器的数据。具体方法如下：STM32通过USART1进行串口收发。先使能GPIO和USART，配置串口1的时钟。在USART1 GPIO配置中，先配置USART1 Tx(PA.09)作为复用功能。其中，设置串口1通过PA9引脚输出、GPIO模式为片上外设输出、引脚速度为50MHz并初始化PA口，然后配置USART1 Rx(PA.10)为浮动状态，其中设置串口1通过PA10引脚输入、设置输入方式为浮空并初始化PA口。在USART1模式配置中，设置串口波特率为115200，数据长度为8位，1个停止位，无校验位，硬件流控制位，设置接收模式为全双工，最后串口初始化并使能。使用ADC1通道，将PA0、PA1、PA2、PA3作为模拟通道引脚，分别得到MQ
‑
...

【技术保护点】

【技术特征摘要】
1.一种基于视觉
‑
气味多传感器的出租车舒适度识别方法，其特征在于：包括如下步骤：步骤1)通过车载摄像头获取客座位置的图像，构建车内整洁度识别网络，对客座位置的整洁度进行识别；步骤2)利用气味传感器和单片机设计车内空气质量检测装置，对四种常见车内异味及其空气质量进行检测；步骤3)根据步骤1、2的检测结果，构建出租车舒适度函数，对车内环境舒适度进行评价；步骤4)设计用户界面，利用直观的车内图像、空气质量相关的数据与图表向用户提供选车依据。2.根据权利要求1所述的基于视觉
‑
气味多传感器的出租车舒适度识别方法，其特征在于：所述的步骤1)为：1
‑
1首先，在车内顶棚安装车载摄像头与MQ气味传感器，具体安装方法如下：安装位置居于顶棚纵向中轴线，靠近前边缘1/3
‑
1/2处，即，车内前排座位上方位置，收集车内环境数据集，根据整洁情况分为：优(无乘客)、良(无乘客)、差(无乘客)、有乘客人四类；1
‑
2然后，构建车内整洁度识别网络，该网络由四个模块组成：底层特征提取模块、特征编码模块、上层特征提取模块、分类预测模块；其中，底层特征提取模块由一个输入层(224
×
224
×
3)、两个3
×
3卷积层、一个最大池化层(112
×
112
×
3)、两个3
×
3卷积层、一个最大池化层(56
×
56
×
256)、三个3
×
3卷积层、一个最大池化层(28
×
28
×
512)、三个3
×
3卷积层、一个最大池化层(14
×
14
×
512)、三个3
×
3卷积层、一个最大池化层(7
×7×
512)构成，输出7
×7×
512特征图；特征编码模块由列编码器、行编码器和通道编码器三个编码器并联组成；其中，列编码器将三维h
×
w
×
c特征图的所有列向量排列成h
×
(w
×
c)的二维特征；行编码器将三维h
×
w
×
c特征图的所有行向量排列成w
×
(h
×
c)的二维特征；通道编码器将三维h
×
w
×
c特征图的所有通道向量排列成c
×
(h
×
w)的二维特征；上层特征提取模块将三个编码器的输出分别送到三个LSTM网络进行列、行、通道维度的特征变化规律建模，输出F
LSTMH
、F
LSTMW
、F
LSTMC
特征；然后，将上述三种特征进行通道拼接F
LSTM
＝(F
LSTMH
；F
LSTMW
；F
LSTMC
)；分类预测模块，由两个全连接层和一个softmax层组成，两个全连接层将F
LSTM
特征进行空间映射，再通过softmax层获取整洁度分类的概率分布。3.根据权利要求1所述的基于视觉
‑
气味多传感器的出租车是舒适度识别方法，其特征在于：所述的步骤2)为：2
‑
1首先，选择MQ系列传感器作为车载异味检测器，测量车内常见异味浓度，包括：MQ
‑
2烟雾气敏传感器、MQ
‑
3酒精乙醇传感器、MQ
‑
7一氧化碳传感器和MQ
‑
9可燃气...

【专利技术属性】
技术研发人员：王晗，季钰姣，刘佳丽，刘志轩，
申请(专利权)人：南通大学，
类型：发明
国别省市：