一种基于计算机视觉的开放道路交通参与者数据采集方法技术

本发明专利技术公开一种基于计算机视觉的开放道路交通参与者数据采集方法，包括对道路上行人及车辆的行动数据进行采集，获取到包含有交通行为的视频；用目标检测网络得到交通参与者检测的数据；提取图像中所有的特征点，并除去检测到的交通参与者上的特征点；基于检测到的特征点，对视频和检测结果进行增稳处理；用目标追踪算法得到每个交通参与者的轨迹；用视频第一帧中标志性地标的世界坐标和对应的像素坐标，计算从世界坐标系到像素坐标系的变换矩阵；并计算得到交通参与者轨迹数据中每个轨迹点的世界坐标系下的坐标；对于每一条轨迹，估计得到每个轨迹点的速度并对轨迹滤波；将道路情况以图像的形式绘制出来；提取出每个交通参与者的特征描述。

A Data Acquisition Method for Open Road Traffic Participants Based on Computer Vision

【技术实现步骤摘要】
一种基于计算机视觉的开放道路交通参与者数据采集方法
本专利技术涉及一种基于计算机视觉的开放道路交通参与者数据采集方法，可以用于采集开放道路上的交通参与者的运动轨迹，属于计算机视觉

技术介绍
近年来，深度学习发展迅速，这离不开大量的数据，特别是监督学习，更是需要大量的已经标注过的数据。在语音、图像领域有很多针对不同问题的数据集，如针对语音识别、语音分离、语音活动检测、目标检测、实例分割等问题的数据集。但是在自动驾驶领域，却鲜有相关的数据集，特别是能够复现整个道路路况的数据。现有的一些针对自动驾驶的数据集，往往是在汽车上采集的激光雷达数据、毫米波雷达数据、GPS数据、车速数据、图像数据、司机的动作数据，一辆用于采集数据的汽车的成本会很高，同样一辆车也无法复现整个道路的情况。若只从车中去采集数据，除非道路上的每一辆车都装有采集数据的设备，不然很难保证能够复现整个道路的信息，但是若要让每辆车都安装采集数据的设备，从成本角度考虑不现实。除此之外，若我们拿到了很多轨迹，但这些轨迹都是由几辆专门采集数据的车采集的，这样采集出来的数据的分布会与真实数据的分布有差异。正确的方法应当是采集尽可能多的不同的车辆在不同的场景下的轨迹信息，这样的数据才更具有普偏性。因此，为了能够记录整个道路的路况，且能够采集到尽可能多的不同的车的数据，亟需一种新的技术方案来实现这一目标。
技术实现思路
专利技术目的：为了克服现有技术的缺陷，本专利技术提出了一种基于计算机视觉的数据采集方法，能够采集到每个时刻的整个道路的路况信息，包括每个交通参与者(机动车、行人、非机动车)的位置、速度以及不可通行区域的位置。并最终得到每个运动物体每一时刻的状态和动作的表示，状态包括自身状态----当前位置、速度以及目标位置，环境状态----周围物体数据(种类、距离、速度)的向量化表示，动作为速度大小、方向的变化量。技术方案：一种基于计算机视觉的开放道路交通参与者数据采集方法，包括以下步骤：步骤1：用无人机在开放道路的上方悬停拍摄一段视频，为了拍摄到更多人和车辆等交通参与者，相机朝向应与道路走向平行，获取到包含有交通行为的视频。步骤2：裁剪出视频中感兴趣的区域，并根据之后图像检测网络的输入要求对其进行大小调整。步骤3：用目标检测网络对裁剪后的视频进行检测，检测的目标包括人和车辆等交通参与者，并得到检测的数据。步骤4：提取裁剪后的图像中所有的特征点，并除去步骤3中检测到的交通参与者上的特征点。步骤5：基于步骤4中得到的特征点，对图像进行增稳。步骤6：用基于图像和检测数据的追踪方法对交通参与者进行追踪，得到每个交通参与者的轨迹。步骤7：用视频第一帧中标志性地标的世界坐标和对应的像素坐标，计算从世界坐标系到像素坐标系的变换矩阵H。并用此变换矩阵H作用于交通参与者的轨迹数据，计算得到交通参与者轨迹数据中每个轨迹点的世界坐标系下的坐标。再将此变换矩阵H作用于第一帧图像中的不可通行区域上，得到不可通行区域在世界坐标系下的坐标。步骤8：对于每一条轨迹，由相邻的轨迹点的坐标进行差分便可估计得到每个轨迹点的速度，同时对每条轨迹进行滤波除去噪声。步骤9：用步骤7中不可通行区域的坐标和步骤8中滤波后的交通参与者的轨迹可以将道路情况重现出来，并以图像的形式绘制出来。步骤10：有了描述道路情况的图像，我们可以根据我们的需要提取出每个交通参与者的特征描述。所述的步骤3中的目标检测网络选用YOLOv3网络。所述交通参与者包括行人、汽车、公交车、自行车和摩托车。所述的步骤4、5中的特征点可取SIFT特征点，同样可以采用其他手工提取的特征。所述的步骤5中的特征匹配，当选取SIFT特征点时，可以用SIFT特征描述向量之间的欧氏距离来衡量两特征点的相似度，若采用其余特征则需按照其余特征的特性去匹配。所述的步骤5中的视频增稳算法：令初始的帧间变换矩阵T为单位阵。视频每经过N帧，将当前帧图像与之前第N帧图像提取出的特征点进行匹配，计算出当前帧到之前第N帧的变换矩阵K，令帧间变换矩阵T＝T*K，并将帧间变换矩阵T作用于当前图像以及检测的数据。所述的步骤6中的目标追踪算法：首先用核化相关滤波器(KCF)预测当前需要追踪的交通参与者在当前帧的追踪框，并以交并比为指标，用匈牙利算法去匹配当前帧检测出来的交通参与者的检测框和用KCF预测出来的追踪框，对于能够成功匹配的检测框与追踪框，用卡尔曼滤波器将二者信息融合。对于没有成功匹配到的追踪框，视为检测丢失，若连续检测丢失次数过多(如大于50次)，则认为该目标消失，不再继续追踪它，否则，继续追踪。对于没有成功匹配到的检测框，视为新加入的目标，开始对其进行追踪。最后用需要追踪的目标的图像像素信息更新KCF的参数。所述的步骤7中的标志性地标为斑马线和车道线。所述的步骤7中的不可通行区域需要分别对不同的交通参与者划分其对应的不可通行区域，如行人的不可通行区域是行人无法到达的地方，如花坛等，机动车的不可通行区域是机动车不应该行驶的地方，如非机动车道等。所述的步骤8中的滤波器用卡尔曼滤波器。所述的步骤9中的图像的形式是占据栅格地图(OccupancyGridMap)的形式。所述的步骤10中的特征描述包括自身的状态、环境的状态、自身的动作，环境的状态为类似激光雷达的数据，即将每个物体周围360度预设距离内的物体的距离、速度、种类拼成一向量。而自身的状态包括自身的位置、速度以及目标的位置，自身的动作为速度大小、方向的变化量。有益效果：现存的自动驾驶数据集往往都依赖于车辆上的传感器，本专利技术提供的基于计算机视觉的开放道路交通参与者数据采集方法，不依赖于车辆上的传感器，并且能够将道路情况还原出来，同时能够尽可能多的采集不同道路参与者的轨迹，与现有数据集的数据采集方式相比，成本低，更易于实施，且采集到的数据更具有普遍性。附图说明图1为本专利技术方法的流程图。具体实施方式下面结合具体实施例，进一步阐明本专利技术，应理解这些实施例仅用于说明本专利技术而不用于限制本专利技术的范围，在阅读了本专利技术之后，本领域技术人员对本专利技术的各种等价形式的修改均落于本申请所附权利要求所限定的范围。如图1所示，基于计算机视觉的开放道路交通参与者数据采集方法，包括如下步骤：步骤1：用无人机在开放道路的上方悬停拍摄一段视频，为了拍摄到更多人和车辆等交通参与者，相机朝向应与道路走向平行，获取到包含有交通行为的视频。步骤2：裁剪出视频中感兴趣的区域，并根据之后图像检测网络的输入要求对其进行大小调整。步骤3：用目标检测网络对裁剪后的视频进行检测，检测的目标包括人和车辆等交通参与者，并得到检测的数据。步骤4：提取裁剪后的图像中所有的特征点，并除去步骤3中检测到的交通参与者上的特征点。步骤5：基于步骤4中得到的特征点，对图像进行增稳。步骤6：用基于图像和检测数据的追踪方法对交通参与者进行追踪，得到每个交通参与者的轨迹。步骤7：用视频第一帧中标志性地标的世界坐标和对应的像素坐标，计算从世界坐标系到像素坐标系的变换矩阵H。并用此变换矩阵H作用于交通参与者的轨迹数据，计算得到交通参与者轨迹数据中每个轨迹点的世界坐标系下的坐标。再将此变换矩阵H作用于第一帧图像中的不可通行区域上，得到不可通行区域在世界坐标系下的坐标。步骤8：对于每一条轨迹，由相本文档来自技高网...

【技术保护点】
1.一种基于计算机视觉的开放道路交通参与者数据采集方法，其特征在于，包括以下步骤：步骤1：获取到包含有交通参与者的视频；步骤2：裁剪出视频中感兴趣的区域，并根据目标检测网络的输入要求进行大小调整；步骤3：用目标检测网络对裁剪后的视频进行检测，检测的目标为交通参与者，并得到检测的数据；步骤4：提取裁剪后的图像中所有的特征点，并除去步骤3中检测到的交通参与者上的特征点；步骤5：基于步骤4中得到的特征点，对视频进行增稳；步骤6：用基于图像和检测数据的追踪方法对交通参与者进行追踪，得到每个交通参与者的轨迹；步骤7：用视频第一帧中标志性地标的世界坐标和对应的像素坐标，计算从世界坐标系到像素坐标系的变换矩阵H；并用此变换矩阵H作用于交通参与者的轨迹数据，计算得到交通参与者轨迹数据中每个轨迹点的世界坐标系下的坐标；再将此变换矩阵H作用于第一帧图像中的不可通行区域上，得到其在世界坐标系下的坐标；步骤8：对于每一条轨迹，由相邻的轨迹点的坐标进行差分便可估计得到每个轨迹点的速度，同时对每条轨迹进行滤波除去噪声；步骤9：用步骤7中的不可通行区域的坐标和步骤8中滤波后的交通参与者的轨迹可以将道路情况重现出来，并以图像的形式绘制出来；步骤10：有了描述道路情况的图像，我们可以根据我们的需要提取出每个交通参与者的特征描述。...

【技术特征摘要】
1.一种基于计算机视觉的开放道路交通参与者数据采集方法，其特征在于，包括以下步骤：步骤1：获取到包含有交通参与者的视频；步骤2：裁剪出视频中感兴趣的区域，并根据目标检测网络的输入要求进行大小调整；步骤3：用目标检测网络对裁剪后的视频进行检测，检测的目标为交通参与者，并得到检测的数据；步骤4：提取裁剪后的图像中所有的特征点，并除去步骤3中检测到的交通参与者上的特征点；步骤5：基于步骤4中得到的特征点，对视频进行增稳；步骤6：用基于图像和检测数据的追踪方法对交通参与者进行追踪，得到每个交通参与者的轨迹；步骤7：用视频第一帧中标志性地标的世界坐标和对应的像素坐标，计算从世界坐标系到像素坐标系的变换矩阵H；并用此变换矩阵H作用于交通参与者的轨迹数据，计算得到交通参与者轨迹数据中每个轨迹点的世界坐标系下的坐标；再将此变换矩阵H作用于第一帧图像中的不可通行区域上，得到其在世界坐标系下的坐标；步骤8：对于每一条轨迹，由相邻的轨迹点的坐标进行差分便可估计得到每个轨迹点的速度，同时对每条轨迹进行滤波除去噪声；步骤9：用步骤7中的不可通行区域的坐标和步骤8中滤波后的交通参与者的轨迹可以将道路情况重现出来，并以图像的形式绘制出来；步骤10：有了描述道路情况的图像，我们可以根据我们的需要提取出每个交通参与者的特征描述。2.如权利要求1所述的基于计算机视觉的开放道路交通参与者数据采集方法，其特征在于，所述步骤3中目标检测网络选用YOLOv3网络。3.如权利要求1所述的基于计算机视觉的开放道路交通参与者数据采集方法，其特征在于，所述步骤4、5中特征点取SIFT特征点。4.如权利要求1所述的基于计算机视觉的开放道路交通参与者数据采集方法，其特征在于，所述步骤5中的特征匹配，当选取SIFT特征点时，用SIFT特征描述向量之间的欧氏距离来衡量两特征点的相似度。5.如权利要求1所述的基于计算机视觉的开放道路交通参与者数据采集方法，其特征在于，所述步骤5...

【专利技术属性】
技术研发人员：俞扬，罗凡明，詹德川，周志华，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏,32