多传感数据时空同步方法及道路多传感数据车载采集系统技术方案

本发明专利技术提供了一种多传感数据时空同步方法及道路多传感数据车载采集系统；该发明专利技术提出了一种多传感数据的时空同步实现方法，多传感数据的时空同步指的是多路视频数据与行驶车辆的GPS位姿数据在单帧数据的时间维度上和不同采集设备的空间维度上实现一一对齐；同时该发明专利技术给出了一种道路交通环境多传感数据的车载采集系统，该系统可以实时记录行驶车辆的道路交通环境的多传感数据如多路视频数据和行驶车辆的GPS位姿数据；采集系统采集的杂乱的多传感数据由于无法实现不同种类数据之间的交互而只能单独使用，而经过时空同步的多传感数据则可以无缝衔接重现行车场景，可以为视觉场景理解、无人驾驶车辆环境认知等热点研究问题提供全面客观地真实数据和离线仿真验证数据。

【技术实现步骤摘要】
【专利摘要】本专利技术提供了一种多传感数据时空同步方法及道路多传感数据车载采集系统；该专利技术提出了一种多传感数据的时空同步实现方法，多传感数据的时空同步指的是多路视频数据与行驶车辆的GPS位姿数据在单帧数据的时间维度上和不同采集设备的空间维度上实现一一对齐；同时该专利技术给出了一种道路交通环境多传感数据的车载采集系统，该系统可以实时记录行驶车辆的道路交通环境的多传感数据如多路视频数据和行驶车辆的GPS位姿数据；采集系统采集的杂乱的多传感数据由于无法实现不同种类数据之间的交互而只能单独使用，而经过时空同步的多传感数据则可以无缝衔接重现行车场景，可以为视觉场景理解、无人驾驶车辆环境认知等热点研究问题提供全面客观地真实数据和离线仿真验证数据。【专利说明】多传感数据时空同步方法及道路多传感数据车载采集系统
本专利技术涉及信号处理、计算机视觉和道路交通环境等
，特别涉及一种多 传感数据时空同步方法及道路多传感数据车载采集系统。
技术介绍
道路交通环境数据的采集是交通领域各项研究的基础，精确的交通数据的采集技 术是人们永恒的研究课题。作为交通领域的重要研究项目，无人驾驶车辆是集环境认知，决 策规划和自动控制功能于一体的"车辆-环境"闭环系统，具有识别所在的交通环境，实现 车辆的自主驾驶的能力。但随着无人驾驶车研究的深入，一些相关的问题渐渐浮出了水面。 唯一能验证算法的正确性以及系统对多种交通环境的适应性与鲁棒性的方法就是大量的 实地试验。但由于无人驾驶技术的目前的局限性与不成熟性，决定了无人驾驶车辆的实地 调试的种种困难。一旦无人驾驶车辆在实车调试中出现了异常情况，轻者会造成无人车辆 的损坏和实验器材的报废，重则会造成严重的交通事故并且危及实验人员与道路上路人的 人身生命安全。 针对以上遇到的问题，我们提出了无人驾驶车辆环境能力认知评估与离线测试平 台。该项目是利用真实道路交通环境的多传感数据，旨在建立一种离线的测试环境，解决无 人车辆道路环境认知算法研究中的测试以及认知能力客观评估问题。而本专利给出了多传 感数据时空同步方法及道路多传感数据车载采集系统，为环境能力离线测试平台提供了时 空同步一致性配准后的道路交通多传感数据。多传感数据的时空一致性配准就是将时域上 不同步，空域上属于不同坐标系的多源观测数据进行时空对准，从而将多源数据纳入一个 统一的参考框架中，为数据融合的后期工作进行铺垫。 对于某一段典型道路交通环境而言，数据采集车或无人驾驶车辆在三维空间中行 驶，车载多传感器在时间维度上进行采样，最终每个传感器得到的每帧数据都是四维时空 中的一个采样点。由于不同传感器在采集车上的安装位置和朝向不同，导致量测数据在空 域上属于不同坐标系；同时由于不同传感器启动时刻和采集帧率的差异，量测数据在时域 上也不同步。因此，这些多源异构的原始传感数据不能直接作为无人驾驶车辆环境认知和 自主驾驶能力评估与离线测试的输入，必须对时空不一致的数据进行关联配准，将其纳入 到一个统一的参考框架中。时空一致性配准之后的道路交通环境数据是无人驾驶车辆环 境认知离线测试的基础，车载道路多传感数据的获取与时空同步实现方法为离线测试平台 提供了大量的具有标准形式的真实场景多传感数据，以便用于无人车辆环境认知的离线测 试。同样还为计算机视觉领域中的视觉场景理解、多视角几何成像、场景虚拟现实、图像拼 接、图像分割、交通元素检测与识别、车辆行人检测与识别等热点研究问题提供全面客观的 真实数据和离线仿真验证数据。
技术实现思路
为了解决上述现有技术上存在的问题，本专利技术的目的在于提供一种多传感数据时 空同步方法及道路多传感数据车载采集系统，解决了多传感数据的时间和空间一致性配准 问题。 为了达到以上目的，本专利技术采用如下技术方案： 道路多传感数据车载采集系统，包括多台摄像机、功能集成的芯片盒、主控制计算 机、多台从计算机和GPS天线，所述多台摄像机根据用户需要选择两种摆放方式置于车顶： 摆放方式1通过固定支架固定在车顶，相邻摄像机间的光轴夹角为45°，多台摄像机处在 同一个水平面并且每台摄像机的中轴线延长交于圆心；摆放方式2通过活动支架固定在车 顶，相邻摄像机间的光轴夹角为任意角度；所述功能集成的芯片盒、主控制计算机和多台从 计算机均放置在车内，所述GPS天线放置在车顶正中间；所述功能集成的芯片盒内包括多 个交换机、两个GPS芯片和一个同步触发芯片，所述每个交换机的输入端和多台摄像机连 接，输出端和主控制计算机或从计算机连接，摄像机将所获取的视频数据通过交换机传输 给主控制计算机或从计算机进行处理；所述主控制计算机通过同步触发芯片分别和多个摄 像机连接，主控制计算机将触发信号发送至多台摄像机使其同时触发采集图像视频；所述 GPS芯片的输入端和GPS天线连接，输出端和主控制计算机连接，GPS芯片将行驶车辆的GPS 位姿数据传送至主控制计算机进行处理。 所述采集系统中单台摄像机采集帧率最大达15帧每秒，所述采集车辆时速最高 达81km/h ;多摄像机摆放方式1保证相邻摄像机具有10%的视场冗余，摄像机总视场固定 为200. 3度；多摄像机摆放方式2能够调整多摄像机朝向，具有灵活的视场，最大获得225 度的无冗余总视场；所述采集系统在硬件设计上是能够扩充的，能够灵活增加或减少摄像 机、交换机的数量以及摄像机、交换机、计算机的连接数目，来获得不同的视场角或者采集 帧率的道路交通多传感视频数据。 上述所述的系统实现的多传感数据时空同步方法，包括如下步骤： 步骤1 :多传感数据的采集 根据用户需求的不同，用户选择两种采集系统工作模式之一来驱动采集系统一 "按照时间间隔触发"和"按照空间位置触发"；主控制计算机发出触发信号，通过功能集成 的芯片盒中的同步触发芯片变成多路同步触发信号，发送至多路摄像机，以完成多路摄像 机的时空同步触发；主控制计算机同时发出GPS芯片的启动信号至GPS芯片，以完成GPS芯 片的启动；之后按照采集系统的硬件连接主控制计算机和从计算机接收到视频数据和行驶 车辆的GPS位姿数据，进行处理、存储并记录数据接收的时间数据作为时间戳数据； 当用户选择"按照时间间隔触发"时，按照如下步骤来获取道路交通环境多传感数 据： (1)用户向主控制计算机输入摄像机采集帧率f，主控制计算机上的GPS连接端口 M，GPS芯片的波特率BaudRate的初始化参数，主控制计算机按照用户输入设置采集系统参 数； (2)主控制计算机发出GPS芯片的启动信号至GPS芯片，GPS芯片通过与GPS卫星 通信，按照输入的GPS波特率BaudRate以4帧每秒的速度把车辆的GPS位姿信号发至主控 制计算机； (3)主控制计算机接受车辆的GPS位姿信号，存储GPS位姿信号并把接收到每帧 GPS位姿数据的时间作为时间戳数据存储到主控制计算机中； (4)根据输入摄像机采集帧率f获取采集时间间隔T，由主控制计算机以CPU毫秒 时钟为计时单位开始计时，每到间隔T时间主控制计算机便通过U盘口发送一个多路摄像 机上升沿触发信号，并把触发信号发送时间作为触发时间戳记录到主控制计算机中； (5)主本文档来自技高网...

【技术保护点】
道路多传感数据车载采集系统，其特征在于：包括多台摄像机、功能集成的芯片盒、主控制计算机、多台从计算机和GPS天线，所述多台摄像机根据用户需要选择两种摆放方式置于车顶：摆放方式1通过固定支架固定在车顶，相邻摄像机间的光轴夹角为45°，多台摄像机处在同一个水平面并且每台摄像机的中轴线延长交于圆心；摆放方式2通过活动支架固定在车顶，相邻摄像机间的光轴夹角为任意角度；所述功能集成的芯片盒、主控制计算机和多台从计算机均放置在车内，所述GPS天线放置在车顶正中间；所述功能集成的芯片盒内包括多个交换机、两个GPS芯片和一个同步触发芯片，所述每个交换机的输入端和多台摄像机连接，输出端和主控制计算机或从计算机连接，摄像机将所获取的视频数据通过交换机传输给主控制计算机或从计算机进行处理；所述主控制计算机通过同步触发芯片分别和多个摄像机连接，主控制计算机将触发信号发送至多台摄像机使其同时触发采集图像视频；所述GPS芯片的输入端和GPS天线连接，输出端和主控制计算机连接，GPS芯片将行驶车辆的GPS位姿数据传送至主控制计算机进行处理。

【技术特征摘要】

【专利技术属性】
技术研发人员：刘跃虎，李辛昭，翟少卓，苏远歧，崔志超，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西;61