一种数据处理方法、路况监测方法及装置和系统制造方法及图纸

本申请公开了一种数据处理方法、路况监测方法及装置，通过对视频数据与毫米波雷达数据的融合处理，使得被监测道路上的目标即可以被“看见”，而且也知道该目标的速度、距离等信息，这样，一方面，使得监测结果更加精准；另一方面，保证了本申请支持需要关联到具体目标的业务。同时，达到了更高的监控效果。达到了更高的监控效果。达到了更高的监控效果。

【技术实现步骤摘要】
一种数据处理方法、路况监测方法及装置和系统


[0001]本申请涉及但不限于智能监控技术，尤指一种数据处理方法、路况监测方法及装置和系统。

技术介绍

[0002]目前，基于城市路况监控大多是基于视频的分析系统，在目标测速、目标距离检测、全天候全天时等监控效果上都不理想。

技术实现思路

[0003]本申请提供一种数据处理方法、路况监测方法及装置和系统，能够达到更高的监控效果。
[0004]本专利技术实施例提供了一种数据处理方法，包括：
[0005]获取图像数据和毫米波雷达数据；
[0006]对所述图像数据和毫米波雷达数据进行时间域对齐，得到第一中间结果；
[0007]利用单应性矩阵对所述第一中间结果进行空间域对齐，获取所述图像数据和雷达数据的映射关系。
[0008]本申请还提供了一种路况监测方法，包括：
[0009]对视频数据和毫米波雷达数据进行对齐处理；
[0010]对对齐处理后的视频数据和毫米波雷达数据进行特征处理，获取路况监测结果。
[0011]在一种示例性实例中，所述对视频数据和毫米波雷达数据进行融合处理，包括：
[0012]对所述视频数据和所述毫米波雷达数据进行时间域对齐；
[0013]对时间域对齐后的视频数据和毫米波雷达数据进行空间域对齐。
[0014]在一种示例性实例中，所述对视频数据和毫米波雷达数据进行时间域对齐，包括：
[0015]根据所述毫米波雷达数据、所述视频数据中携带的时间戳信息，获取在时间上同步的毫米波雷达数据与视频数据对。
[0016]在一种示例性实例中，所述对时间域对齐后的视频数据和毫米波雷达数据进行空间域对齐，包括：
[0017]分别获取预设时间段内的毫米波雷达数据和视频数据，计算毫米波雷达数据中目标的坐标信息、视频数据中目标的坐标信息；
[0018]利用单应性矩阵构建毫米波雷达数据中目标的坐标信息和视频数据中目标的坐标信息之间的目标坐标的映射关系。
[0019]在一种示例性实例中，所述获取路况监测结果，包括：
[0020]将所述对齐处理后的视频数据输入图像特征层提取基础图像特征，将所述对齐处理后的毫米波雷达数据输入雷达特征层提取基础毫米波雷达特征；
[0021]根据所述映射关系叠加提取的基础图像特征和基础毫米波雷达特征后输入融合层以提取融合特征信息；
[0022]将融合特征信息输入检测层以检测出所述路况监测结果。
[0023]在一种示例性实例中，所述毫米波雷达数据还包括：毫米波雷达数据适配的权重图。
[0024]本申请还提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行上述任一项所述的路况监测方法。
[0025]本申请又提供了一种实现路况监测的设备，包括存储器和处理器，其中，存储器中存储有以下可被处理器执行的指令：用于执行上述任一项所述的路况监测方法的步骤。
[0026]本申请再提供了一种路况监测系统，包括：多个摄像装置、多个毫米波雷达、融合处理装置、深度学习装置；其中，
[0027]摄像装置，用于采集获得视频数据；
[0028]毫米波雷达，用于采集获得毫米波雷达数据；
[0029]第一处理装置，用于对视频数据和毫米波雷达数据进行对齐处理系；
[0030]第二处理装置，用于对对齐处理后的视频数据和毫米波雷达数据进行特征处理，获取路况监测结果。
[0031]在一种示例性实例中，所述第一处理装置用于：
[0032]对所述视频数据和所述毫米波雷达数据进行时间域对齐；
[0033]对时间域对齐后的视频数据和毫米波雷达数据进行空间域对齐，获取所述毫米波雷达数据与视频数据的映射关系。
[0034]本申请实施例通过对视频数据与雷达数据的融合处理，使得被监测道路上的目标即可以被“看见”，而且也知道该目标的速度、距离等信息，这样，一方面，使得监测结果更加精准；另一方面，保证了本申请支持需要关联到具体目标的业务。同时，达到了更高的监控效果。
[0035]本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
[0036]附图用来提供对本申请技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。
[0037]图1为本申请路况监测方法的流程示意图；
[0038]图2为本申请路况监测所涉及不同平面之间的关系示意图；
[0039]图3为本申请路况监测中的深度学习架构示意图；
[0040]图4为本申请路况监测系统的应用场景示意图。
具体实施方式
[0041]为使本申请的目的、技术方案和优点更加清楚明白，下文中将结合附图对本申请的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
[0042]在本申请一个典型的配置中，计算设备包括一个或多个处理器、输入/输出接口、
网络接口和内存。
[0043]内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
[0044]计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0045]在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0046]目前工业界另外一个接近的产品是基于毫米波雷达的城市路况实时分析系统，这个系统由于没有融合视频信息，在目标类别判断、目标特征信息提取上有天然的缺陷。
[0047]图1为本申请路况监测方法的流程示意图，如图1所示，包括：
[0048]步骤100：对视频数据和毫米波雷达数据进行对齐处理。
[0049]在一种本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，包括：获取图像数据和毫米波雷达数据；对所述图像数据和毫米波雷达数据进行时间域对齐，得到第一中间结果；利用单应性矩阵对所述第一中间结果进行空间域对齐，获取所述图像数据和雷达数据的映射关系。2.一种路况监测方法，包括：对视频数据和毫米波雷达数据进行对齐处理；对对齐处理后的视频数据和毫米波雷达数据进行特征处理，获取路况监测结果。3.根据权利要求2所述的路况监测方法，其中，所述对视频数据和毫米波雷达数据进行融合处理，包括：对所述视频数据和所述毫米波雷达数据进行时间域对齐；对时间域对齐后的视频数据和毫米波雷达数据进行空间域对齐。4.根据权利要求3所述的路况监测方法，其中，所述对视频数据和毫米波雷达数据进行时间域对齐，包括：根据所述毫米波雷达数据、所述视频数据中携带的时间戳信息，获取在时间上同步的毫米波雷达数据与视频数据对。5.根据权利要求3所述的路况监测方法，其中，所述对时间域对齐后的视频数据和毫米波雷达数据进行空间域对齐，包括：分别获取预设时间段内的毫米波雷达数据和视频数据，计算毫米波雷达数据中目标的坐标信息、视频数据中目标的坐标信息；利用单应性矩阵构建毫米波雷达数据中目标的坐标信息和视频数据中目标的坐标信息之间的目标坐标的映射关系。6.根据权利要求5所述的路况监测方法，其中，所述获取路况监测结果，包括：将所述对齐处理后的视频数据输入图像特征层提...

【专利技术属性】
技术研发人员：夏循龙，刘云夫，邓兵，冯亚闯，熊晔颖，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：