一种基于图像识别的跨线路公交客流OD数据采集的方法及装置、移动端设备、服务器制造方法及图纸

本发明专利技术公开了一种基于图像识别的跨线路公交客流OD数据采集的方法，包括如下步骤，步骤1，匹配公交车辆所属的公交线路,并判断即将进入的站点是否为换乘站点；步骤2，在所述换乘站点，根据数据处理终端获取的视频图像信息，提取每位乘客的上车或下车的特征向量；步骤3，上传乘客信息至服务器；步骤4，服务器对同一换乘站点的乘客进行匹配，得到跨线路OD数据。本发明专利技术首次实现了城市跨线路客流OD数据实时完整的采集，数据采集的过程中，仅在换乘站点进行公交乘客特征向量的提取和上传，节省数据处理终端的功耗，减少所需的通讯流量；为公交客流采集领域带来质的飞跃，为公交客流数据的应用领域提供有力的数据支撑。用领域提供有力的数据支撑。

【技术实现步骤摘要】
一种基于图像识别的跨线路公交客流OD数据采集的方法及装置、移动端设备、服务器


[0001]本专利技术涉及智能交通领域和人工智能图像识别领域，具体涉及一种基于图像识别的跨线路公交客流OD数据采集的方法及装置、移动端设备、服务器。

技术介绍

[0002]近年来，城市公共交通发展已经成为城市发展最重要的部分之一，公交是公共交通的重要组成部分，合理的进行公交线路规划是城市发展急需解决的问题。而公交客流OD(Original Destination)的有效获取，对于公交的线网优化、行车组织、智能调度和站点布局都具有极其重要的意义。我公司之前研发了一种基于图像识别的客流OD信息获取方法，专利号为201811611724.4，该方法通过图像识别技术能够把同一线路下某一个乘客的上下车图像对应起来，同时结合车载GPS 定位装置获取乘客上下车时的时间、地点、站点信息，从而精确获取某一乘客完整的单线路客流OD数据。但是上述方法只能获取同一线路的客流OD信息，本专利技术旨在解决城市跨线路客流OD数据采集的问题，进而通过单线路客流OD数据和跨线路客流OD数据的联动，得到全公交线网的客流OD数据。

技术实现思路

[0003]为了克服现有技术的不足，本专利技术的目的在于提供一种基于图像识别的跨线路公交客流OD数据采集的方法，该方法首次实现了城市跨线路客流OD数据实时完整的采集，为公交客流采集领域带来质的飞跃，为公交客流数据的应用领域提供有力的数据支撑。
[0004]为达到上述目的，本专利技术是通过以下的技术方案来实现的。<br/>[0005]步骤1，匹配公交车辆所属的公交线路,并判断即将进入的站点是否为换乘站点；
[0006]通过数据处理终端实时获取公交车辆行驶过程中的当前GPS位置，使用线路匹配算法，匹配出公交车辆所属的公交线路(也为公交车辆所运营的公交线路)；同时利用所述GPS位置，判断出公交车当前是否处于进站位置；若公交车处于进站位置，判断即将驶入的公交站点是否属于换乘站点；若为换乘站点，则进入步骤2，所述换乘站点是指有多条公交线路经过的站点；所述数据处理终端存储有城市每条公交线路上行方向和下行方向的站点位置信息，以及多条公交线路交叉的换乘站点信息；
[0007]步骤2，在所述换乘站点，根据数据处理终端获取的视频图像信息，提取每位乘客的上车或下车的特征向量；
[0008]步骤21，使用随机梯度下降算法，在训练样本集上训练得到提取特征向量的深度神经网络和用于特征向量匹配的度量矩阵M；
[0009]步骤22，使用步骤21训练好的深度神经网络提取特征向量，具体如下：
[0010]在所述换乘站点，数据处理终端通过安装在公交车门处的摄像装置，获取到每位乘客上车和下车的视频图像信息，通过图像多目标检测算法，优选深度神经网络SSD算法，对所述视频图像中的每位乘客进行检测，通过多目标跟踪算法优选KCF算法，对所述视频图
像中的每位乘客进行跟踪，形成乘客上车或下车的完整轨迹图像序列；所述完整轨迹包含了多张视频图像，选择完整轨迹图像序列中处于图像中央区域的n张视频图像，获取n张视频图像中对应的ROI区域，对ROI区域提取对应的特征向量，通过对每张视频图像的特征向量进行加权平均，得到每位乘客下车或上车的特征向量；
[0011]优选的，所述步骤21的使用随机梯度下降算法，在训练样本集上训练得到深度神经网络和度量矩阵M，具体流程如下：
[0012](1)构建训练样本集
[0013]收集换乘乘客的下车和上车的完整轨迹图像序列，选取完整轨迹图像序列中处于图像中央区域的数张视频图像，在图像中标注出该乘客实际的ROI区域，使用图像预处理和图像增广措施，将图像归一化到相同的尺寸，把同一位乘客换乘时的下车和上车图像归为同一个类别，构建出训练数据集；
[0014](2)训练深度神经网络模型和训练度量矩阵
[0015]结合深度神经网络算法和度量学习算法，使用三元组训练方法，每次输入三张图片，其中两张图片属于同一个类别，另一张图片属于其它类别；使用深度神经网络(优选采用ResNet50，去除全连接层)对三张图片分别进行特征的提取，分别获取到对应的特征向量：x
i
、y
i
、z
j
，(对于ResNet50网络，优选获取到2048 维的特征向量)；
[0016]基于马氏距离的度量学习方法，属于同一类别样本对的距离为基于马氏距离的度量学习方法，属于同一类别样本对的距离为属于不同类别样本对的距离为属于不同类别样本对的距离为其中M是度量矩阵；针对于跨线OD的实际场景，实际发生跨线换乘的公交乘客所占据的比率较小，在设计三元组损失时，为了增加对跨线OD实际场景的推广性，增大负样本和正样本之间的距离，(使得同一类别图像的距离拉近，使得不同类别图像的距离增大)即将三元组损失L＝ [‖x
i-z
i
‖
M-‖x
i-z
j
‖
M
+α]+
中α的值由通常的1改为2；
[0017]使用随机梯度下降算法，根据计算得到的三元组损失，更新度量矩阵M和网络模型参数的值，最终得到训练好的深度神经网络和度量矩阵M；
[0018]步骤3，上传乘客信息至处理器
[0019]所述数据处理终端将所述乘客信息上传至处理器，所述乘客信息包括步骤1 得到的所属的公交线路、步骤2中所述换乘站点、换乘站点的每位乘客的下车或上车的特征向量，换乘站点的每位乘客的下车或上车时间。
[0020]在数据采集的过程中，仅在换乘站点进行公交乘客特征向量的提取和上传，节省数据处理终端的功耗，减少所需的通讯流量。
[0021]步骤4，处理器对同一换乘站点的乘客进行匹配，得到跨线路OD数据，具体如下：
[0022]把归属同一换乘站点的乘客特征向量归为一个集合，对集合中间隔Tmin内的乘客特征向量进行匹配，所述间隔Tmin是指同一换乘站点上车时间在下车时间之后Tmin，使用步骤21训练得到的度量矩阵M，计算两特征向量之间的距离，距离小于阈值f且距离最近的一对下车和上车特征向量即认为属于同一位乘客，从而获取到跨线路客流OD数据。
[0023]优选的，还包括步骤5，对单线路客流OD数据和跨线路客流OD数据的联动，得到全公交线网的客流OD数据，即得到某乘客t1时刻在x1站上车，未换乘或者t2时刻在x2站换乘或
者在多站换乘，t3时刻在x3站下车的客流数据。
[0024]基于相同的技术构思，本专利技术还提供一种基于图像识别的跨线路公交客流 OD数据采集的装置，如图3所示，该装置包括线路和站点匹配模块、特征提取模块、传输模块、匹配模块，上述模块依次电连接；
[0025]所述线路和站点匹配模块执行基于图像识别的跨线路公交客流OD数据采集的方法的步骤1的步骤；
[0026]所述特征提取模块执行基于图像识别的跨线路公交客流OD数据采集的方法的步骤2的步骤；
[0027]所述传输本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像识别的跨线路公交客流OD数据采集的方法，其特征在于，包括以下具体步骤：步骤1，匹配公交车辆所属的公交线路，并判断即将进入的站点是否为换乘站点；步骤2，在所述换乘站点，根据数据处理终端获取的视频图像信息，提取每位乘客的上车或下车的特征向量；步骤21，使用随机梯度下降算法，在训练样本集上训练得到深度神经网络和度量矩阵M；步骤22，使用步骤21训练好的深度神经网络对视频图像提取特征向量，具体如下：在所述换乘站点，数据处理终端通过安装在公交车门处的摄像装置，获取到每位乘客上车和下车的视频图像信息，通过图像多目标检测算法对所述视频图像中的每位乘客进行检测，通过多目标跟踪算法，对所述视频图像中的每位乘客进行跟踪，形成乘客上车或下车的完整轨迹图像序列；选择完整轨迹图像序列中处于图像中央区域的n张视频图像，获取n张视频图像中对应的ROI区域，对ROI区域提取对应的特征向量，通过对每张视频图像的特征向量进行加权平均，得到每位乘客下车或上车的特征向量；步骤3，上传乘客信息至处理器所述数据处理终端将乘客信息上传至处理器；所述乘客信息包括步骤1得到的所属的公交线路、步骤2中所述换乘站点、换乘站点的每位乘客的下车或上车的特征向量、换乘站点的每位乘客的下车或上车时间；步骤4，处理器对同一换乘站点的乘客进行匹配，得到跨线路OD数据，具体如下：把归属同一换乘站点的乘客特征向量归为一个集合，对集合里上车时间在下车时间之后Tmin内的乘客特征向量进行匹配，使用步骤21训练得到的度量矩阵M，计算两特征向量之间的距离，距离小于阈值f且距离最近的一对下车和上车特征向量即认为属于同一位乘客，从而获取到跨线路客流OD数据。2.根据权利要求1所述的一种基于图像识别的跨线路公交客流OD数据采集的方法，其特征在于，所述步骤1中匹配公交车辆所属的公交线路,并判断即将进入的站点是否为换乘站点，具体为：通过数据处理终端实时获取公交车辆行驶过程中的当前GPS位置，使用线路匹配算法，匹配出公交车辆所属的公交线路；利用所述GPS位置判断出公交车当前是否处于进站位置；若公交车处于进站位置，判断即将驶入的公交站点是否属于换乘站点；若为换乘站点，则进入步骤2；所述数据处理终端存储有城市每条公交线路上行方向和下行方向的站点位置信息，以及多条公交线路交叉的换乘站点信息。3.根据权利要求2所述的一种基于图像识别的跨线路公交客流OD数据采集的方法，其特征在于，步骤21的使用随机梯度下降算法，在训练样本集上训练得到深度神经网络和度量矩阵M，具体流程如下：(1)构建训练样本集收集换乘乘客的下车和上车的完整轨迹图像序列，选取完整轨迹图像序列中处于图像中央区域的数张视频图像，在图像中标注出该乘客实际的ROI区域，使用图像预处理和图像增广措施，将图像归一化到相同的尺寸，把同一位乘客换乘时的下车和上车图像归为同一个类别，构建出训练数据集；
(2)训练深度神经网络模型和训练度量矩阵M结合深度神经网络算...

【专利技术属性】
技术研发人员：李军，林坚，周金明，
申请(专利权)人：南京行者易智能交通科技有限公司，
类型：发明
国别省市：