本发明专利技术公开了一种基于图像拼接和数据融合的车辆轨迹构建方法及装置，方法包括：截取第一视频和第二视频具有相同绝对时间的视频流数据，获得第一和第二车辆目标识别框数据，通过仿射变换矩阵对第二车辆目标识别框数据进行坐标转换，基于第一车辆目标识别框数据和仿射变换后的第二车辆目标识别框数据，得到目标车辆识别数据，进而得到长距离轨迹构建数据；本发明专利技术通过仿射变换矩阵将第二视频中的图像变换至第一视频的坐标系下，解决了长距离车辆轨迹构建过程中多个视频的图像拼接的问题；本发明专利技术通过将重合边框进行融合，解决了多个视频的拼接区域的轨迹数据重合的问题，可广泛应用于智能交通技术领域。用于智能交通技术领域。用于智能交通技术领域。
【技术实现步骤摘要】
一种基于图像拼接和数据融合的车辆轨迹构建方法及装置
[0001]本专利技术涉及智能交通
，尤其是一种基于图像拼接和数据融合的车辆轨迹构建方法及装置。
技术介绍
[0002]高精度、长距离的轨迹数据是交通安全领域研究开展的基础，它能为交通冲突分析、驾驶行为建模、驾驶行为风险预测和微观交通流特征分析等各种研究课题提供了数据基础。而获取这种轨迹数据需要一种高效可靠的方法。随着无人机技术的飞速发展，从高空视角采集视频数据，从视频中提取高精度车辆轨迹数据，已成为一种研究趋势。近年来陆续提取了高速公路路段、环形道路路段、交叉口道路路段的车辆轨迹数据。它们研究的特点是使用一架无人机对目标路段展开拍摄，然后构建车辆轨迹提取流程从高空视频中提取车辆轨迹数据，所提取的数据具有高精度的特点。
[0003]然而，由于摄像头拍摄性能的原因，无人机飞行高度越大，所拍摄的图像画质越差，这样导致一架无人机拍摄的道路车辆行驶视频的覆盖范围有限。通常在保证视频车辆清晰度的前提下，一架无人机拍摄的视频最高可覆盖350米左右长的道路路段。而通过这样的视频提取出的车辆轨迹数据其长度也会有所限制，这进而限制了交通流领域需要长距离轨迹数据作为基础的研究。因此提取长距离的车辆轨迹数据成为了一个研究需求。现有研究中，还少有研究针对长距离的车辆轨迹数据展开。有人直接对多个无人机拍摄视频提取的轨迹进行关联，使用交通工程知识连接轨迹数据，这种方法直接对轨迹数据进行处理，未利用视频与轨迹之间的关联性，直接导致轨迹数据无法重现于视频数据中，产生的轨迹数据无法精确评估其准确性。
[0004]为了获取更长距离的高精度车辆轨迹数据，一种可行的思路是使用多台无人机同步拍摄视频，然后将不同视频中的车辆轨迹拼接起来，从而产生更长距离的车辆轨迹。这种思路需要解决两个关键问题，一个是解决多个视频拼接问题，另一个是解决视频拼接区域的轨迹数据融合问题。前者是将多个视频图像变换到同一个坐标空间下，进而将从视频中提取的车辆识别框数据变换到同一个坐标空间，后者是对来自不同视频的车辆识别框数据进行融合，形成多个视频下连续的车辆轨迹数据。
技术实现思路
[0005]有鉴于此，本专利技术实施例提供一种可长距离且高精度的基于图像拼接和数据融合的车辆轨迹构建方法。
[0006]一方面，本专利技术实施例提供了一种基于图像拼接和数据融合的车辆轨迹构建方法，包括：
[0007]截取第一视频和第二视频具有相同绝对时间的视频流数据，获得第一车辆目标识别框数据和第二车辆目标识别框数据；
[0008]基于所述第一视频和所述第二视频，通过第一操作得到仿射变换矩阵；
[0009]通过所述仿射变换矩阵对所述第二车辆目标识别框数据进行坐标转换，得到仿射变换后的第二车辆目标识别框数据；
[0010]基于所述第一车辆目标识别框数据和所述仿射变换后的第二车辆目标识别框数据，得到目标车辆识别数据；
[0011]通过第二操作将所述目标车辆识别数据中重合的边框进行融合，得到目标边框；
[0012]基于所述目标边框，得到长距离轨迹构建数据。
[0013]可选地，所述基于所述第一视频和所述第二视频，通过第一操作得到仿射变换矩阵这一步骤，包括：
[0014]抽取所述第一视频中目标帧的帧图像，得到第一目标帧图像；
[0015]抽取所述第二视频中目标帧的帧图像，得到第二目标帧图像；
[0016]选取所述第一目标帧图像中与所述第二目标帧图像重合且不共线的三个像素点作为基准点；
[0017]获取所述第一目标帧图像中的所述基准点的第一坐标值；
[0018]获取所述第二目标帧图像中的所述基准点的第二坐标值；
[0019]基于所述第一坐标值和所述第二坐标值，计算得到仿射变换矩阵。
[0020]可选地，所述通过所述仿射变换矩阵对所述第二车辆目标识别框数据进行坐标转换，得到仿射变换后的第二车辆目标识别框数据这一步骤中，坐标变换的计算公式为：
[0021][0022]其中，为仿射变换后的第二车辆目标识别框数据，Η为所述仿射变换矩阵，“·”为点积运算，为所述第二车辆目标识别框数据。
[0023]可选地，所述通过第二操作将所述目标车辆识别数据中重合的边框进行融合，得到目标边框这一步骤，包括：
[0024]对所述目标车辆识别数据进行第一遍历，得到第一边框；
[0025]在所述第一遍历中，对所述目标车辆识别数据进行第二遍历，得到第二边框；
[0026]通过交并比计算公式计算所述第一边框和所述第二边框的交并比；
[0027]当所述交并比小于预设的阈值时，将所述第一边框作为目标边框；
[0028]当所述交并比大于或等于预设的阈值时，将所述第一边框与所述第二边框进行融合，得到所述目标边框。
[0029]可选地，所述基于所述目标边框，得到长距离轨迹构建数据这一步骤中，所述长距离轨迹构建数据的表达式为：
[0030][0031]其中，Trajectory
i,new
()表示长距离轨迹构建数据，表示所述目标边框的左上角横坐标，表示所述目标边框的左上角纵坐标，表示所述目标边框的右下角横坐标，表示所述目标边框的右下角纵坐标。
[0032]可选地，所述通过交并比计算公式计算所述第一边框和所述第二边框的交并比这
一步骤中，所述交并比计算公式的表达式为：
[0033][0034]其中，IOU
p,q
表示所示第一边框与所述第二边框的交并比，S
p
表示所述第一边框的面积，S
q
表示所述第二边框的面积，S
p∩q
表示所述第一边框与所述第二边框的重合面积。
[0035]可选地，所述基于所述第一坐标值和所述第二坐标值，计算得到仿射变换矩阵这一步骤，包括：
[0036]通过所述第一坐标值得到第一坐标点矩阵；
[0037]通过所述第二坐标值得到第二坐标点矩阵；
[0038]由所述第一坐标点矩阵与所述第二坐标点矩阵的逆矩阵进行点乘运算，得到仿射变换矩阵。
[0039]另一方面，本专利技术实施例还提供了一种基于图像拼接和数据融合的车辆轨迹构建装置，包括：
[0040]第一模块，用于截取第一视频和第二视频具有相同绝对时间的视频流数据，获得第一车辆目标识别框数据和第二车辆目标识别框数据；
[0041]第二模块，用于基于所述第一视频和所述第二视频，通过第一操作得到仿射变换矩阵；
[0042]第三模块，用于通过所述仿射变换矩阵对所述第二车辆目标识别框数据进行坐标转换，得到仿射变换后的第二车辆目标识别框数据；
[0043]第四模块，用于基于所述第一车辆目标识别框数据和仿射变换后的第二车辆目标识别框数据，得到目标车辆识别数据；
[0044]第五模块，用于通过第二操作将所述目标车辆识别数据中重合的边框进行融合，得到目标边框；
[0045]第六模块，用于基本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于图像拼接和数据融合的车辆轨迹构建方法，其特征在于，包括：截取第一视频和第二视频具有相同绝对时间的视频流数据，获得第一车辆目标识别框数据和第二车辆目标识别框数据；基于所述第一视频和所述第二视频，通过第一操作得到仿射变换矩阵；通过所述仿射变换矩阵对所述第二车辆目标识别框数据进行坐标转换，得到仿射变换后的第二车辆目标识别框数据；基于所述第一车辆目标识别框数据和所述仿射变换后的第二车辆目标识别框数据，得到目标车辆识别数据；通过第二操作将所述目标车辆识别数据中重合的边框进行融合，得到目标边框；基于所述目标边框，得到长距离轨迹构建数据。2.根据权利要求1所述的一种基于图像拼接和数据融合的车辆轨迹构建方法，其特征在于，所述基于所述第一视频和所述第二视频，通过第一操作得到仿射变换矩阵这一步骤，包括：抽取所述第一视频中目标帧的帧图像，得到第一目标帧图像；抽取所述第二视频中目标帧的帧图像，得到第二目标帧图像；选取所述第一目标帧图像中与所述第二目标帧图像重合且不共线的三个像素点作为基准点；获取所述第一目标帧图像中的所述基准点的第一坐标值；获取所述第二目标帧图像中的所述基准点的第二坐标值；基于所述第一坐标值和所述第二坐标值，计算得到仿射变换矩阵。3.根据权利要求1所述的一种基于图像拼接和数据融合的车辆轨迹构建方法，其特征在于，所述通过所述仿射变换矩阵对所述第二车辆目标识别框数据进行坐标转换，得到仿射变换后的第二车辆目标识别框数据这一步骤中，坐标变换的计算公式为：其中，为仿射变换后的第二车辆目标识别框数据，Η为所述仿射变换矩阵，“·”为点积运算，为所述第二车辆目标识别框数据。4.根据权利要求1所述的一种基于图像拼接和数据融合的车辆轨迹构建方法，其特征在于，所述通过第二操作将所述目标车辆识别数据中重合的边框进行融合，得到目标边框这一步骤，包括：对所述目标车辆识别数据进行第一遍历，得到第一边框；在所述第一遍历中，对所述目标车辆识别数据进行第二遍历，得到第二边框；通过交并比计算公式计算所述第一边框和所述第二边框的交并比；当所述交并比小于预设的阈值时，将所述第一边框作为目标边框；当所述交并比大于或等于预设的阈值时，将所述第一边框与所述第二边框进行融合，得到所述目标边框。5.根据权利要求1所述的一种基于图像拼接和数据融合的车辆轨迹构建方法，其特征
在于，所述...
【专利技术属性】
技术研发人员：贺宜，曹博，
申请(专利权)人：武汉理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。