基于图像识别的客流OD数据获取方法、装置、移动端设备、服务器及模型训练方法制造方法及图纸

本发明专利技术公开了一种基于图像识别的客流OD数据获取方法，包括如下步骤：步骤1，获取每个乘客上车或下车的图像信息，并标记图像中乘客区域；步骤2，提取每位乘客区域的特征，作为乘客唯一特征属性；步骤3，对所有上车乘客和下车乘客进行特征匹配，特征最接近的匹配为一个人。通过图像识别技术能够把某一个乘客的上下车图像对应起来，同时关联每个乘客的时空信息，从而在不需要乘客配合的情况下，精确获取精确到每一乘客完整的上下车客流OD信息，为公交线网优化、智能调度提供有效的数据支撑。智能调度提供有效的数据支撑。

【技术实现步骤摘要】
基于图像识别的客流OD数据获取方法、装置、移动端设备、服务器及模型训练方法


[0001]本专利技术涉及图像识别和机器学习领域，尤其涉及基于图像识别的客流OD数据获取方法、装置、移动端设备、服务器及模型训练方法。

技术介绍

[0002]近年来，城市公共交通发展已经成为城市发展最重要的部分之一，公交是公共交通的重要组成部分，合理的进行公交线路规划是城市发展急需解决的问题。而公交客流OD(Original Destination)数据的有效获取，对于公交的线网优化、行车组织、智能调度和站点布局都具有极其重要的意义。目前现有的公交OD获取的方法均需要乘客的配合，如需要配合刷卡、配合携带信号接收装置等，均不能获得精确的客流OD数据。

技术实现思路

[0003]针对现有技术中客流OD数据的获取需要乘客的配合，不能获得精确的客流OD数据的问题，本专利技术通过公交车原有布置在前后门的摄像装置获取乘客上下车时的图像，通过图像识别技术能够把某一个乘客的上下车图像对应起来，同时关联每个乘客的时空信息(时间、地点、站点信息)，从而在不需要乘客配合的情况下，精确获取到每一乘客完整的上下车客流OD信息；为公交线网优化、智能调度提供有效的数据支撑。
[0004]第一方面，提供了一种基于图像识别的客流OD数据获取方法，包括以下步骤：
[0005]步骤1，获取每个乘客上车或下车的图像信息，并标记图像中乘客区域；所述每个乘客上车或下车的图像信息关联了乘客上下车时的时间、地点和/或站点信息；
[0006]步骤2，提取每位乘客区域的特征，作为乘客唯一特征属性；
[0007]步骤3，对所有上车乘客和下车乘客进行特征匹配，特征最接近的匹配为一个人。
[0008]优选的，步骤1中所述获取每个乘客上车或下车的图像信息，并标记图像中乘客区域，具体为：获取每个乘客上车或下车的完整图像轨迹，并标记出完整图像轨迹中每个图像的包含乘客的目标框区域，作为乘客区域。
[0009]进一步的，步骤1中所述标记出完整图像轨迹中每个图像的包含乘客的目标框区域，作为乘客区域，具体为：步骤11，通过图像目标检测方法检测出乘客在视频帧图像中的位置，标记出包含乘客的目标框区域，若所述乘客目标框为第一次出现时，对其附加一个乘客id号，否则与上一帧的相应的目标框做相似度计算，若相似度计算结果大于阈值α，则视为同一乘客id号，否则，对该目标框附加一个新的乘客id号。
[0010]优选的，步骤1所述标记出完整图像轨迹中每个图像的包含乘客的目标框区域，作为乘客区域，之后还包括步骤13：在某乘客轨迹点提取结束后，根据所述摄像装置位置设定乘客的位移长度阈值，若该id号乘客的轨迹位移长度小于阈值β，则判定该轨迹无效，丢弃该轨迹的结果。
[0011]优选的，步骤1所述标记出完整图像轨迹中每个图像的包含乘客的目标框区域，作
为乘客区域，之后还包括步骤12，对目标检测方法丢失的一些视频帧图像进行乘客目标框的补全。
[0012]优选的，步骤12中所述对目标检测方法丢失的一些视频帧图像进行乘客目标框的补全，具体方法如下：若从上一视频帧图像中检测或跟踪到某id号的乘客目标框，而当前视频帧图像未检测到对应id号的乘客目标框，且上一视频帧之后的连续m个视频帧图像中检测到该id号的乘客的次数超过n次，1≤n＜m，则使用图像跟踪方法，用上一视频帧图像检测或跟踪的乘客目标框在当前视频帧图像上做跟踪预测，以此得到的跟踪预测框作为检测方法在当前帧丢失的该id号的乘客目标框，以所有该id号的乘客的目标框组合形成该乘客上车或者下车的完整图像轨迹点。
[0013]优选的，步骤2中所述提取每位乘客区域的特征，具体为：分别对自定义时间段内的每个上下车乘客的完整图像轨迹中的所有目标框提取特征，计算所述所有目标框的平均特征，作为某个乘客的唯一的上车或下车特征属性，并分别储存乘客的上车特征属性和下车特征属性。
[0014]进一步的，步骤2中所述提取每位乘客区域的特征是采用深度学习孪生网络进行特征提取，所述孪生网络包含两个相同类型或不同类型的网络和对应的两个图像输入端。
[0015]优选的，步骤3中所述对所有上车乘客和下车乘客进行特征匹配，具体是对自定义时间段内的所有乘客的上车特征属性和下车特征属性，使用特征匹配方法，特征最接近的匹配为一个人，即把同一个乘客的上车与下车特征属性相关联。
[0016]进一步的，步骤3中所述特征匹配方法，具体是通过计算所有上车乘客的特征和所有下车乘客的特征的所有欧式距离，去除上车时间发生在下车时间之后的欧式距离数值，之后使用迭代算法对所有欧式距离数据匹配出上下车乘客一一对应关系。
[0017]第二方面，提供了一种基于图像识别的客流OD数据获取装置，该装置包括图像获取模块、特征提取模块、特征匹配模块，上述模块依次电连接；
[0018]所述图像获取模块用于执行所有可能的实现方式中任一项所述的基于图像识别的客流OD数据获取方法的步骤1的步骤；
[0019]所述特征提取模块用于执行所有可能的实现方式中任一项所述的基于图像识别的客流OD数据获取方法的步骤2的步骤；
[0020]所述特征匹配模块用于所有可能的实现方式中任一项所述的基于图像识别的客流OD数据获取方法的步骤3的步骤。
[0021]第三方面，提供了一种移动端设备，该设备包含所有可能的实现方式中任一项所述基于图像识别的客流OD数据获取装置。
[0022]第四方面，提供了一种服务器，该服务器包含所有可能的实现方式中任一项所述基于图像识别的客流OD数据获取装置。
[0023]第五方面，提供了一种基于图像识别的客流OD数据模型训练方法，该训练方法采用深度学习孪生网络作为客流OD的特征提取模型，用于所有可能的实现方式中任一项所述的基于图像识别的客流OD数据获取方法中步骤2的提取每位乘客区域的特征，所述深度学习孪生网络包含两个相同类型或不同类型的网络和对应的两个图像输入端，其训练过程包括以下步骤：
[0024](1)构建训练样本集
[0025]采集同一乘客上下车的图像序列，使用图像预处理和图像增广措施，构建训练样本集，把同一个乘客的上车图像和下车图像分别输入两个图像输入端；
[0026](2)模型训练
[0027]使用训练样本集对深度学习中的孪生网络进行训练，通过训练将同一乘客的上车特征与下车特征的距离拉近，而将不同乘客的上车特征与下车特征的距离保持不变或放远，训练时的网络损失为分类损失1、特征损失、分类损失2的加权和；
[0028](3)进行特征提取
[0029]利用训练好的孪生网络的两个网络中的任一网络分别对自定义时间段内每个上下车乘客的完整的图像轨迹点中的所有目标框提取特征，计算所述所有目标框的平均特征，作为某个乘客的唯一的上车或下车特征属性，并把所有的上车特征属性保存到上车特征存储模块中，把所有的下车特征属性保存到下车特征存储模块中，形成乘客的上车特征库和下车特征库。
[0030]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于图像识别的客流OD数据获取方法，其特征在于，包括以下步骤：步骤1，获取每个乘客上车或下车的图像信息，并标记图像中乘客区域；所述每个乘客上车或下车的图像信息关联了乘客上下车时的时间、地点和/或站点信息；步骤2，提取每位乘客区域的特征，作为乘客唯一特征属性；步骤3，对所有上车乘客和下车乘客进行特征匹配，特征最接近的匹配为一个人。2.根据权利要求1所述的基于图像识别的客流OD数据获取方法，其特征在于，步骤1中所述获取每个乘客上车或下车的图像信息，并标记图像中乘客区域，具体为：获取每个乘客上车或下车的完整图像轨迹，并标记出完整图像轨迹中每个图像的包含乘客的目标框区域，作为乘客区域。3.根据权利要求2所述的基于图像识别的客流OD数据获取方法，其特征在于，步骤1中所述标记出完整图像轨迹中每个图像的包含乘客的目标框区域，作为乘客区域，具体为：步骤11，通过图像目标检测方法检测出乘客在视频帧图像中的位置，标记出包含乘客的目标框区域，若所述乘客目标框为第一次出现时，对其附加一个乘客id号，否则与上一帧的相应的目标框做相似度计算，若相似度计算结果大于阈值α，则视为同一乘客id号，否则，对该目标框附加一个新的乘客id号。4.根据权利要求2-3任一项所述的基于图像识别的客流OD数据获取方法，其特征在于，步骤1所述标记出完整图像轨迹中每个图像的包含乘客的目标框区域，作为乘客区域，之后还包括步骤13：在某乘客轨迹点提取结束后，根据所述摄像装置位置设定乘客的位移长度阈值，若该id号乘客的轨迹位移长度小于阈值β，则判定该轨迹无效，丢弃该轨迹的结果。5.根据权利要求2-3任一项所述的基于图像识别的客流OD数据获取方法，其特征在于，步骤1所述标记出完整图像轨迹中每个图像的包含乘客的目标框区域，作为乘客区域，之后还包括步骤12，对目标检测方法丢失的一些视频帧图像进行乘客目标框的补全。6.根据权利要求5所述的基于图像识别的客流OD数据获取方法，其特征在于，步骤12中所述对目标检测方法丢失的一些视频帧图像进行乘客目标框的补全，具体方法如下：若从上一视频帧图像中检测或跟踪到某id号的乘客目标框，而当前视频帧图像未检测到对应id号的乘客目标框，且上一视频帧之后的连续m个视频帧图像中检测到该id号的乘客的次数超过n次，1≤n＜m，则使用图像跟踪方法，用上一视频帧图像检测或跟踪的乘客目标框在当前视频帧图像上做跟踪预测，以此得到的跟踪预测框作为检测方法在当前帧丢失的该id号的乘客目标框，以所有该id号的乘客的目标框组合形成该乘客上车或者下车的完整图像轨迹点。7.根据权利要求2-3或6任一项所述的基于图像识别的客流OD数据获取方法，其特征在于，步骤2中所述提取每位乘客区域的特征，具体为：分别对自定义时间段内的每个上下车乘客的完整图像轨迹中的所有目标框提取特征，计算所述所有目标框的平均特征，作为某个乘客的唯一的上车或下车特征属性，并分别储存乘客的上车特征属性和下车特征属性。8.根据权利要求7所述的基于图像识别的客流OD数据获取方法，其特征在于，步骤2中所述提取每位乘客区域的特征是采用深度学习孪生网络进行特征提取，所述孪生网络包...

【专利技术属性】
技术研发人员：林坚，李军，周金明，
申请(专利权)人：南京行者易智能交通科技有限公司，
类型：发明
国别省市：