一种分布式流数据处理方法、装置及设备制造方法及图纸

本说明书实施例中公开了一种分布式流数据处理方法、装置及设备。包括：获取数据采集设备在第一空间分区内的第一时间范围采集的第一流数据集合，以及在第二空间分区内的第二时间范围采集的第二流数据集合，两个数据集合内各个流数据均至少包括用于描述流数据生成时间的时间属性信息和生成位置的位置属性信息，根据时间属性信息和位置属性信息，确定存在于第一流数据集合与第二流数据集合中的针对同一事件的目标流数据集合，然后对目标流数据集合中的各个流数据进行去重处理，最后将去重处理后的流数据输出至用于自动驾驶决策规划的数据处理设备。本方案将对自动驾驶决策规划造成干扰的重复数据去除，从而可以提升自动驾驶决策规划的准确性。决策规划的准确性。决策规划的准确性。

【技术实现步骤摘要】
一种分布式流数据处理方法、装置及设备


[0001]本申请涉及数据处理
，尤其涉及一种分布式流数据处理方法、装置及设备。

技术介绍

[0002]自动驾驶车辆是一个集环境感知、规划决策、多等级辅助驾驶等功能于一体的综合系统，它集中运用了计算机、现代传感、信息融合、通讯、人工智能及自动控制等技术，属于典型的高新技术综合体。
[0003]自动驾驶车辆的实时运行数据对合理规划自动驾驶车辆的运行起着至关重要的作用。自动驾驶车辆在道路上行驶的过程中，会产生各类事件，比如：紧急刹车事件、紧急停车事件等。针对车辆发生的各类事件，人们希望能够尽快获取车辆各类事件数据的所有数据。因此，为了提升获取车辆各类事件数据的速度，通常会将车辆道路进行空间分区，同时获取不同分区内的车辆事件数据。然而对车辆道路进行空间分区后，难免会有一些车辆事件发生在空间分区与空间分区的接壤区域，即该类车辆事件的一部分发生在第一个空间分区，剩余部分发生在第二个空间分区，因此，无法确定这类车辆事件具体归属于哪一个空间分区。为了杜绝此类问题，在进行空间分区时，将任意相邻两个空间分区之间设置一定的重合区域，重合区域即属于第一个空间分区，又属于第二个空间分区。那么发生在空间分区与空间分区接壤区域的车辆事件即归属于第一个空间分区，又归属于第二个空间分区。当将两个空间分区内的车辆事件数据发送至自动驾驶规划设备后，针对同一车辆事件的重复数据就会被重复处理，重复处理的车辆事件不仅会增加数据处理设备的负担，造成数据处理资源的浪费，还会对自动驾驶决策规划设备造成干扰，导致自动驾驶决策规划设备无法针对自动驾驶车辆做出正确的分析判断，进而将错误的指令发送给自动驾驶车辆，以使自动驾驶车辆发生无法估量的后果。
[0004]基于此，如何针对同一事件的重复车辆事件数据进行去重处理，成为了亟待解决的技术问题。

技术实现思路

[0005]本说明书实施例提供的一种分布式流数据处理方法、装置及设备，可以将针对同一事件的重复车辆事件数据进行去重处理，从而可以避免自动驾驶规划设备因重复数据的干扰，对自动驾驶车辆的分析造成误判，以提升自动驾驶规划设备对自动驾驶车辆分析结果的准确性。
[0006]为解决上述技术问题，本说明书实施例是这样实现的：
[0007]一种分布式流数据处理方法，包括，
[0008]获取数据采集设备在第一空间分区内的第一时间范围采集的第一流数据集合。
[0009]获取所述数据采集设备在第二空间分区内的第二时间范围采集的第二流数据集合；所述第一空间分区与所述第二空间分区在空间上具有重叠区域；所述第一时间范围与
所述第二时间范围在时间上具有重叠范围；所述第一流数据集合与所述第二流数据集合中的各个流数据均至少包括用于描述流数据的生成时间的时间属性信息，以及用于描述流数据的生成位置的位置属性信息。
[0010]根据所述时间属性信息以及所述位置属性信息，确定存在于所述第一流数据集合与所述第二流数据集合中的针对同一事件的目标流数据集合。
[0011]根据预设规则，对所述目标流数据集合中的各个流数据进行去重处理，得到处理后的流数据。
[0012]将所述处理后的流数据输出至用于自动驾驶决策规划的数据处理设备。
[0013]一种分布式流数据处理装置，包括，
[0014]第一获取模块，用于获取数据采集设备在第一空间分区内的第一时间范围采集的第一流数据集合。
[0015]第二获取模块，用于获取所述数据采集设备在第二空间分区内的第二时间范围采集的第二流数据集合；所述第一空间分区与所述第二空间分区在空间上具有重叠区域；所述第一时间范围与所述第二时间范围在时间上具有重叠范围；所述第一流数据集合与所述第二流数据集合中的各个流数据均至少包括用于描述流数据的生成时间的时间属性信息，以及用于描述流数据的生成位置的位置属性信息。
[0016]确定模块，用于根据所述时间属性信息以及所述位置属性信息，确定存在于所述第一流数据集合与所述第二流数据集合中的针对同一事件的目标流数据集合。
[0017]处理模块，用于根据预设规则，对所述目标流数据集合中的各个流数据进行去重处理，得到处理后的流数据。
[0018]输出模块，用于将所述处理后的流数据输出至用于自动驾驶决策规划的数据处理设备。
[0019]一种分布式流数据处理设备，包括，
[0020]至少一个处理器；以及，
[0021]与所述至少一个处理器通信连接的存储器；其中，
[0022]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
[0023]获取数据采集设备在第一空间分区内的第一时间范围采集的第一流数据集合。
[0024]获取所述数据采集设备在第二空间分区内的第二时间范围采集的第二流数据集合；所述第一空间分区与所述第二空间分区在空间上具有重叠区域；所述第一时间范围与所述第二时间范围在时间上具有重叠范围；所述第一流数据集合与所述第二流数据集合中的各个流数据均至少包括用于描述流数据的生成时间的时间属性信息，以及用于描述流数据的生成位置的位置属性信息。
[0025]根据所述时间属性信息以及所述位置属性信息，确定存在于所述第一流数据集合与所述第二流数据集合中的针对同一事件的目标流数据集合。
[0026]根据预设规则，对所述目标流数据集合中的各个流数据进行去重处理，得到处理后的流数据。
[0027]将所述处理后的流数据输出至用于自动驾驶决策规划的数据处理设备。
[0028]本说明书中提供的至少一个实施例能够实现以下有益效果：
[0029]将针对同一事件的重复上报的车辆事件数据，通过去重处理后可以只保留其中一次上报的车辆事件数据，一方面可以避免因大量的重复数据需服务器处理，造成服务器资源浪费，提升服务器资源利用的有效性。另一方面也可以避免重复的车辆事件数据对自动驾驶规划设备的干扰和影响，以使自动驾驶规划设备可以利用去重处理后的车辆事件数据对自动驾驶车辆做出准确的分析判断，提升自动驾驶规划设备针对自动驾驶车辆所做出的数据分析结果的准确性。
附图说明
[0030]为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0031]图1为本说明书实施例提供的一种分布式流数据处理方法的流程示意图；
[0032]图2为本说明书实施例提供的对应于图1的一种分布式流数据处理装置的结构示意图；
[0033]图3为本说明书实施例提供的对应于图1的一种分布式流数据处理设备的结构示意图；
[0034]图4为本说明书实时例提供的道路空间分区示意图。
具体实施方式
[0035]为使本说明书一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式流数据处理方法，其特征在于，包括：获取数据采集设备在第一空间分区内的第一时间范围采集的第一流数据集合；获取所述数据采集设备在第二空间分区内的第二时间范围采集的第二流数据集合；所述第一空间分区与所述第二空间分区在空间上具有重叠区域；所述第一时间范围与所述第二时间范围在时间上具有重叠范围；所述第一流数据集合与所述第二流数据集合中的各个流数据均至少包括用于描述流数据的生成时间的时间属性信息，以及用于描述流数据的生成位置的位置属性信息；根据所述时间属性信息以及所述位置属性信息，确定存在于所述第一流数据集合与所述第二流数据集合中的针对同一事件的目标流数据集合；根据预设规则，对所述目标流数据集合中的各个流数据进行去重处理，得到处理后的流数据；将所述处理后的流数据输出至用于自动驾驶决策规划的数据处理设备。2.如权利要求1所述的方法，其特征在于，所述时间属性信息包括所述事件发生的时间戳信息；所述位置属性信息包括所述事件发生的经纬度信息。3.如权利要求2所述的方法，其特征在于，所述根据所述时间属性信息以及所述位置属性信息，确定存在于所述第一流数据集合与所述第二流数据集合中的针对同一事件的目标流数据集合，具体包括：从所述第一流数据集合与所述第二流数据集合中，获取第一流数据和第二流数据；获取所述第一流数据的第一时间戳信息与第一经纬度信息；获取所述第二流数据的第二时间戳信息与第二经纬度信息；根据所述第一时间戳信息和所述第二时间戳信息，生成时间差值；根据所述第一经纬度信息和所述第二经纬度信息，生成距离差值；根据所述时间差值与所述距离差值，确定存在于所述第一流数据集合与所述第二流数据集合中的针对同一事件的目标流数据集合。4.如权利要求3所述的方法，其特征在于，根据所述时间差值与所述距离差值，确定存在于所述第一流数据集合与所述第二流数据集合中的针对同一事件的目标流数据集合，具体包括：判断是否所述时间差值小于第一预设值，以及所述距离差值小于第二预设值，得到判断结果；若所述判断结果表示所述时间差值小于所述第一预设值，且所述距离差值小于所述第二预设值，则确定所述第一流数据和所述第二流数据归属于所述同一事件的所述目标流数据集合；若所述判断结果表示所述时间差值大于等于所述第一预设值，和/或所述距离差值大于等于所述第二预设值，则确定所述第一流数据和所述第二流数据不归属于所述同一事件的所述目标流数据集合。5.如权利要求2所述的方法，其特征在于，所述根据预设规则，对所述目标流数据集合中的各个流数据进行去重处理，得到处理后的流数据，具体包括：获取所述目标流数据集合中各个目标流数据的接收时间信息；根据各个所述接收时间信息的时间顺序，对各个所述目标流数据进行排序；
将最早接收时间信息或者最晚接收时间信息对应的目标流数据，确定为所述处理后的流数据。6.如权利要求2所述的方法，其特征在于，所述根据预设规则，对所述目标流数据集合中的各个流数据进行去重处理，得到处理后的流数据，具体包括：获取所述目标流数据集合中各个目标流数据的所述时间戳信息；根据各个所述时间戳信息的时间顺序，对各个所述目标流数据进行排序；将最早时间戳信息或者最晚时间戳信息对应的目标流数据，确定为所述处理后的流数据；或者，获取所述目标流数据集合中各个目标流数据的所述经纬度信息；根据各个所述经纬度信息的...

【专利技术属性】
技术研发人员：王治国，
申请(专利权)人：云控智行科技有限公司，
类型：发明
国别省市：