基于AI技术的公交车载视觉智能感知系统技术方案

本发明专利技术公开了一种公交车载视觉智能感知系统，步骤包括：1)分别采集客户上下车时图像、车内站立区域乘客拥挤的图像和司机的人脸图像；2)将步骤1)中采集到的图像信号转换成视频信号；3)将步骤2)中的视频信号进行基于深度学习分析方法的计算；4)通过基于深度学习分析方法的计算后得到的相关数据并按照协议要求进行数据整理；5)整理后的数据与智能管理平台建立无线数据通信。采用人工智能技术实现乘客统计，车内拥挤度和人脸识别，可将定位信息和相关信息同步上传至后端服务平台，实现对每个站点、每条线路的客流量统计，为动态公交客流分析与预测、公交调度的优化和决策、调控和引导等交通需求提供有力的数据支撑。

Vehicle vision intelligent perception system based on AI Technology

The present invention discloses a bus vehicle visual intelligent perception system. The steps include: 1) collect images of customers when they get off and get out of the car, the crowded images of the passengers in the standing area of the car and the face image of the driver; 2) convert the image signal collected in step 1 into video signal; 3) the video signal in step 2) is based on the depth. The calculation of the learning analysis method; 4) the data obtained by the calculation based on the depth learning analysis method and the data arrangement according to the requirements of the protocol; 5) the data and the intelligent management platform are set up to establish the wireless data communication. Artificial intelligence technology is used to realize passenger statistics, vehicle congestion and face recognition. The location information and related information can be uploaded to the back end service platform, and the traffic statistics for each site and each line can be realized, the dynamic bus traffic analysis and prediction, the optimization of the bus dispatching, the decision making, the regulation and the guidance and so on are made. Demand provides strong data support.

【技术实现步骤摘要】
基于AI技术的公交车载视觉智能感知系统
本专利技术涉及视觉智能感知系统，尤其涉及一种基于AI技术的公交车载视觉智能感知系统。
技术介绍
伴随着我国城镇化的不断发展，与日俱增的城市人口使大中城市的交通压力越来越大，发展智能公交既是民众出行的需要，也是建设低碳城市的需要。GPS/GPRS/3G等技术在公交调度中已经普及应用，可以实时监控车辆的位置及车速等信息，对车辆调度、智能报站、运营安全管理已经发挥了很大的作用。但是公交客流信息的实时获取一直是困扰行业的疑难问题，准确采集公交车辆的实时载客信息及站点上下客信息，从而实现智能公交发展战略、优化公交线路、提高公交营运效率、提升百姓满意度，提高居民出行公交分担率，这将是下一步提升公交信息化的发展方向，也是最终实现智能交通的必由之路。目前国内外公交车乘客计数系统的技术主要有三种：主动红外技术、车辆测重技术、基于机器视觉的图像分析技术。(1)主动红外技术红外光幕客流传感器安装在公交车前后门的上部，通过多个发射头发射定制波长的红外线覆盖一定的区域，并通过传感器检测从乘客身上反射回来的光线，从而自动识别乘客上下车方向及人数。由于采用自身光源，它不易受外界环境温度、光线状况的影响，可判别上下车方向，能够达到较高的精度，上下客准确率可达到92％以上。(2)车辆测重技术：目前的公交车悬架有空气悬架和钢板弹簧悬架两种，针对空气悬架车辆，通过在空气弹簧的气路上安装压力传感器，检测气囊的压力，再结合气囊支撑截面变化曲线及温度补偿、倾斜补偿等算法可以计算出气囊的承载重量。对于钢板弹簧车辆，通过在钢板弹簧旁边安装高度传感器，检测钢板弹簧受压后的变形量，再结合钢板弹簧的压力变形曲线图及倾斜补偿等算法可以计算出钢板弹簧的承载重量。应用车辆载重检测技术可以检测到载客的总重量，再根据乘客的平均体重计算出车厢载客人数，这种技术的优点是人数越多，检测准确率越高，但是由于乘客平均体重是一个非常主观的数据，无法适应每种特定情况下的问题，导致数据存在无法抗力性的变化。(3)基于机器视觉的图像分析技术将图像传感器安装在公交车出入口附近,通过对图像处理、识别、分析，进而实现人数统计。其包含单目图像识别跟踪技术、双目立体成像和图像视觉处理技术、3D图像技术。基于机器视觉的方法是目前比较先进的技术，在国内外的研究与应用中,基于视频图像分析的计数系统已经应用到了乘客计数监测与统计中。不过图像分析技术容易受不同光照条件的影响，进而无法满足极高精度的场景。市面上，基于图像分析技术的乘客计数系统实际测试精度大概均在92％左右。因此，国内尚无一种方法能够极准确地对公交客流作出统计和分析。在此技术背景下，一种具有强适用性、高鲁棒性的公交车载视觉智能感知系统的研发是十分必要的。
技术实现思路
本专利技术要解决的技术问题是提供了一种基于AI技术的公交车载视觉智能感知系统，方便监控人员对公交车辆的历史和实时运营情况有更直观的了解，为公交的统一调度和规划提供有力的支撑。为了解决上述技术问题，本专利技术的技术方案为：一种公交车载视觉智能感知系统，步骤包括：1)分别采集客户上下车时图像、车内站立区域乘客拥挤的图像和司机的人脸图像；2)将步骤1)中采集到的图像信号转换成视频信号；3)将步骤2)中的视频信号进行基于深度学习分析方法的计算；4)通过基于深度学习分析方法的计算后得到的相关数据并按照协议要求进行数据整理；5)整理后的数据与智能管理平台建立无线数据通信；作为优选，所述步骤3)中的深度学习分析方法，包括：乘客计数算法、车内拥挤判断算法和人脸识别算法。作为优选，所述乘客计数算法，包括：1)2D图像采集；2)图像预处理：将采集到的图像利用张正友标定进行校正，再利用滤波算法对校正后的图像进行滤波处理；3)裁剪的深度学习神经网络：将处理后的图片样本通过在caffe框架的裁剪成9层深度学习神经网络进行训练，得到高检测率低误报率的分类器；4)检测定位修正：利用分类器检测到初步目标的位置，重新利用相似性度量算法进行精定位，并将对应的初步目标位置保存新的目标链中；5)人体目标跟踪：利用初步目标的运动参数预测下一帧中初步目标可能出现的区域；对相邻帧间初步目标的运动变化，利用特征值计算代价函数值，求出当前帧中初步目标在下一帧中的对应过后续目标，建立对应关系；更新已被跟踪初步目标的目标链、目标位置信息和目标特征量；6)人体运动轨迹判断决策：记录每个目标在检测区域从进入到离开的所有运动轨迹，然后将存储的轨迹模型进行模板匹配。作为优选，所述车内拥挤判断算法，包括：1)将车内站立区域乘客拥挤的图像分成三类；2)利用图像预处理算法将图像进行滤波处理；3)将三类的样本利用裁剪的深度学习神经网络进行训练，得到乘客拥挤程度值；4)将得到的乘客拥挤程度值通过按照车内拥挤三种状态分类模块进行分类。作为优选，所述人脸识别算法模块，包括：1)判断驾驶员区域是否存在人脸；2)如果有，进行抓拍，利用无线网络将图片传送到智能管理平台进行人脸识别算法比对，如果没有，返回步骤1)；3)智能管理平台通过大规模深度学习神经网络模型进行人脸与非人脸的样本进行训练，得到人脸检测的模型；4)智能管理平台再通过大规模深度学习神经网络模型进行人脸和对应的标签的训练，得到人脸识别的模型；5)智能管理平台将输入的图像通过两层模型得到最终的结果和数据库的人脸数据进行比对，判断司机是否存在中途换人。本专利技术具有以下的特点和有益效果：采用人工智能技术实现乘客统计，车内拥挤度和人脸识别，可将定位信息和相关信息同步上传至后端服务平台，实现对每个站点、每条线路的客流量统计，为动态公交客流分析与预测、公交调度的优化和决策、调控和引导等交通需求提供有力的数据支撑。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术的流程图。图2为本专利技术乘客计数算法的流程图。图3为本专利技术车内拥挤判断算法的流程图。图4为本专利技术的人脸识别算法的流程图。具体实施方式下面结合附图对本专利技术的具体实施方式作进一步说明。在此需要说明的是，对于这些实施方式的说明用于帮助理解本专利技术，但并不构成对本专利技术的限定。此外，下面所描述的本专利技术各个实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互组合。如图所示，一种公交车载视觉智能感知系统，步骤包括：1)分别采集客户上下车时图像、车内站立区域乘客拥挤的图像和司机的人脸图像；2)将步骤1)中采集到的图像信号转换成视频信号；3)将步骤2)中的视频信号进行基于深度学习分析方法的计算；4)通过基于深度学习分析方法的计算后得到的相关数据并按照协议要求进行数据整理；5)整理后的数据存储于数据库内，通过GPRS模块与智能管理平台建立无线数据通信；其中，步骤3)中的深度学习分析方法，包括：乘客计数算法、车内拥挤判断算法和人脸识别算法模块。于本专利技术中，乘客计数算法，包括：1)2D图像采集；2)图像预处理：将采集到的图像利用张正友标定进行校正，再利用滤波算法对校正后的图像进行滤波处理；3)裁剪的深度学习神经本文档来自技高网...

【技术保护点】
1.一种公交车载视觉智能感知系统，其特征在于：步骤包括：1)分别采集客户上下车时图像、车内站立区域乘客拥挤的图像和司机的人脸图像；2)将步骤1)中采集到的图像信号转换成视频信号；3)将步骤2)中的视频信号进行基于深度学习分析方法的计算；4)通过基于深度学习分析方法的计算后得到的相关数据并按照协议要求进行数据整理；5)整理后的数据与智能管理平台建立无线数据通信。

【技术特征摘要】
1.一种公交车载视觉智能感知系统，其特征在于：步骤包括：1)分别采集客户上下车时图像、车内站立区域乘客拥挤的图像和司机的人脸图像；2)将步骤1)中采集到的图像信号转换成视频信号；3)将步骤2)中的视频信号进行基于深度学习分析方法的计算；4)通过基于深度学习分析方法的计算后得到的相关数据并按照协议要求进行数据整理；5)整理后的数据与智能管理平台建立无线数据通信。2.根据权利要求1所述的公交车载视觉智能感知系统，其特征在于：所述步骤3)中的深度学习分析方法，包括：乘客计数算法、车内拥挤判断算法和人脸识别算法。3.根据权利要求2所述的公交车载视觉智能感知系统，其特征在于：所述乘客计数算法，包括：1)2D图像采集；2)图像预处理：将采集到的图像利用张正友标定进行校正，再利用滤波算法对校正后的图像进行滤波处理；3)裁剪的深度学习神经网络：将处理后的图片样本通过在caffe框架的裁剪成9层深度学习神经网络进行训练，得到高检测率低误报率的分类器；4)检测定位修正：利用分类器检测到初步目标的位置，重新利用相似性度量算法进行精定位，并将对应的初步目标位置保存新的目标链中；5)人体目标跟踪：利用初步目标的运动参数预测下一帧中初步目标可能出现的区域；对相邻帧间初步目标的运动变化，利用特征值...

【专利技术属性】
技术研发人员：王杰，
申请(专利权)人：杭州律橙电子科技有限公司，
类型：发明
国别省市：浙江,33