基于大数据进行初次入城车辆分析的方法及系统技术方案

本申请公开一种基于大数据进行初次入城车辆分析的方法及系统，方法包括：采集车辆信息数据并将车辆信息数据随机传递到分布式列存储数据库中的各处理节点；各处理节点并行工作，各所述处理节点中的数据存储单元分别接收并分类存储车辆信息数据，触发数据处理单元使数据处理单元计算[s，e]时间范围内的车牌号集合U以及[s‑h，s)时间范围内车牌号集合V，计算U‑V，并将差集U‑V和[s‑h，s)时间范围内车牌号集合V发送至客户端；客户端对各差集U‑V和集合V进行汇总，形成集合U1和V1；通过计算U1‑V1获得[s，e]时间范围内初次入城的车辆的车牌号集合R。如此解决了现有技术中无法基于大数据进行复杂查询的问题。

The method and system for the analysis of the first entering city vehicle based on large data

The invention discloses a method and system analysis, the first vehicles entering the city based on large data collection methods include: vehicle information data and vehicle information data transmitted to the randomly distributed column storage database in each processing node; each processing node in parallel, each of the nodes in the data storage unit respectively receive and storage classification the vehicle information data, triggering a data processing unit of the data processing unit calculates [s, the license plate number e] time range set U and [s h, s) time within the scope of the license plate number set V, U and V calculation, U V and [s difference set h, s) time within the scope of the license plate number set V sent to the client; the client of the U difference set V and set V summary form sets U1 and V1; [s U1 V1 obtained by calculating the vehicle license plate number, first in the city within the scope of the collection of R e] time. This solves the problem of complex queries that can not be based on large data in the existing technology.

【技术实现步骤摘要】
基于大数据进行初次入城车辆分析的方法及系统
本申请涉及公共安全领域，具体地说，涉及一种基于大数据进行初次入城车辆分析的方法及系统。
技术介绍
近年来随着人们消费理念的转变和消费水平的提高、轨道交通的加宽和拓展等因素使得私家车越来越普及。但是私家车在给人们的生活带来便利的同时也给违法分子提供了一款作案工具，进而对公安部门的案件侦破带来了一大难题。现如今城市日过车数量基数巨大，如何在如此大基数的过车数据中挖掘出涉案车辆成为了困扰公安部门的一大难题。所谓初次入城的车辆指的是在指定时间范围内出现出现过，但是在往前追溯的指定时间范围内没有出现过的车辆。更加严谨的表述如下：指定开始时间s、结束时间e、回溯时长h，那么在[s,e]时间范围内出现过，在[s-h,s)时间范围内没有出现过的车辆，我们称之为符合条件的初次入城的车辆。初次入城车辆作为涉案车辆比较高的群体而备受公安部门的关注。入城踩点、跨城逃窜、套牌车辆在一定程度上都属于初次入城车辆。传统的排查初次入城车辆的方法是基于传统关系型数据库(RDBMS，RelationalDatabaseManagementSystem)的，如Oracle、MySQL等，首先从数据库中查询出[s,e]时间范围内经过的所有车牌号集合U，然后查询出[s-h,s)范围内的所有过车的车牌号V，最后求出集合U和集合V的差集就是符合条件的初次入城的车辆。这种方式在数据量不大的情况下是没有问题，但是随着数据量的逐渐增大，传统的数据库技术很难解决基于大数据的复杂查询。因此，如何基于大数据进行初次入城车辆的分析成为现阶段亟待解决的技术问题。
技术实现思路
有鉴于此，本申请所要解决的技术问题是提供了一种基于大数据进行初次入城车辆分析的方法及系统，解决了现有技术中无法基于大数据进行复杂查询的技术问题，而且计算速度快、稳定性高，能够自动筛选出初次入城的车辆，减少了公安部门破案任务的复杂性。为了解决上述技术问题，本申请有如下技术方案：第一方面，本申请提供一种基于大数据进行初次入城车辆分析的方法，包括：通过监控设备采集经过卡口的车辆信息数据，并将所述车辆信息数据随机传递到分布式列存储数据库中的若干处理节点，各处理节点包括数据存储单元和数据处理单元，所述车辆信息数据包括：车牌号、车辆品牌、车辆类型、车辆年款、车辆系列、过车图片地址、车身颜色、车牌颜色、过车时间、卡口编号；所述分布式列存储数据库中的若干处理节点并行工作，各所述处理节点中的数据存储单元分别接收所述车辆信息数据，按照预设的数据存储规则对所述车辆信息数据进行分类有序存储，并在接收到所述车辆信息数据后触发对应的数据处理单元，所述数据处理单元根据预设的开始时间s、结束时间e、回溯时长h、车辆出现次数t，分别计算[s，e]时间范围内的车牌号集合U以及[s-h，s)时间范围内车牌号集合V，计算U-V，其中，U-V代表集合U和集合V的差集，并将差集U-V和[s-h，s)时间范围内车牌号集合V发送至客户端；所述客户端汇总各所述处理节点处的所述数据处理单元发送的差集U-V，并对多个差集U-V取并集，形成集合U1；所述客户端同时汇总各所述处理节点处的[s-h，s)时间范围内车牌号集合V，并对多个集合V取并集，形成集合V1；所述客户端对集合U1和集合V1进行处理，通过计算U1-V1获得[s，e]时间范围内初次入城的车辆的车牌号集合R，其中U1-V1为集合U1和集合V1的差集；将所述初次入城的车辆的车牌号集合R进行展示。可选地，其中：所述预设的数据存储规则与检索查询项目对应，所述检索查询项目包括所述所述车辆信息数据中的一项或多项的组合。可选地，其中：所述检索查询项目包括过车时间、车牌号和卡口编号中的一项或多项的组合。可选地，其中：当所述分布式列存储数据库中的任一所述处理节点出现故障时，故障的所述处理节点将自动将其内部所存储的数据传递至其他正常工作的处理节点。第二方面，本申请提供一种基于大数据进行初次入城车辆分析的系统，其特征在于，包括：监控设备，用于采集经过卡口的车辆信息数据，并将所述车辆信息数据随机传递到分布式列存储数据库中的若干处理节点，各处理节点包括数据存储单元和数据处理单元，所述车辆信息数据包括：车牌号、车辆品牌、车辆类型、车辆年款、车辆系列、过车图片地址、车身颜色、车牌颜色、过车时间、卡口编号；分布式列存储数据库，所述分布式列存储数据库包括若干处理节点，各所述处理节点并行工作，所述处理节点包括数据存储单元和数据处理单元，各所述处理节点中的数据存储单元分别用于接收所述车辆信息数据，按照预设的数据存储规则对所述车辆信息数据进行分类有序存储，并用于在接收到所述车辆信息数据后触发对应的数据处理单元；所述数据处理单元用于根据预设的开始时间s、结束时间e、回溯时长h、车辆出现次数t，分别计算[s，e]时间范围内的车牌号集合U以及[s-h，s)时间范围内车牌号集合V，并计算U-V，其中，U-V代表集合U和集合V的差集，所述数据处理单元还用于将差集U-V和[s-h，s)时间范围内车牌号集合V发送至客户端；客户端，用于汇总各所述处理节点处的所述数据处理单元发送的差集U-V，并对多个差集U-V取并集，形成集合U1；所述客户端还用于汇总各所述处理节点处的[s-h，s)时间范围内车牌号集合V，并对多个集合V取并集，形成集合V1；所述客户端还用于对集合U1和集合V1进行处理，通过计算U1-V1获得[s，e]时间范围内初次入城的车辆的车牌号集合R，其中U1-V1为集合U1和集合V1的差集，并将所述初次入城的车辆的车牌号集合R进行展示。可选地，其中：所述预设的数据存储规则与检索查询项目对应，所述检索查询项目包括所述所述车辆信息数据中的一项或多项的组合。可选地，其中：所述检索查询项目包括过车时间、车牌号和卡口中的一项或多项的组合。可选地，其中：当所述分布式列存储数据库中的任一所述处理节点出现故障时，故障的所述处理节点用于将自动将其内部所存储的数据传递至其他正常工作的处理节点。与现有技术相比，本申请所述的方法及系统，达到了如下效果：第一，本专利技术所提供的基于大数据进行初次入城车辆分析的方法及系统，在大数据前提下能够自动筛选出初次入城车辆，减少了公安部门破案任务的复杂性，有利于案件快速侦破。第二，本专利技术所提供的基于大数据进行初次入城车辆分析的方法及系统，若干处理节点并行工作，计算速度快，能够自动过滤掉大部分不符合条件的数据，较快地筛选出初次入城的车辆。第三，本专利技术所提供的基于大数据进行初次入城车辆分析的方法及系统，稳定性高，即使有某个处理节点出现故障，该故障的处理节点也能够自动将其上所存储的数据发送到其他正常的处理节点进行处理，有利于提高计算的稳定性以及系统的稳定性。附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1所示为本申请实施例中所述一种基于大数据进行初次入城车辆分析的方法的流程图；图2所示为本申请实施例中所述一种基于大数据进行初次入城车辆分析的系统的一种结构图；图3所示为将HBase应用于本申请基于大数据进行初次入城车辆分析的系统的一种结构图；图4所示为计算初次入城车辆的本文档来自技高网...

【技术保护点】
一种基于大数据进行初次入城车辆分析的方法，包括：通过监控设备采集经过卡口的车辆信息数据，并将所述车辆信息数据随机传递到分布式列存储数据库中的若干处理节点，各处理节点包括数据存储单元和数据处理单元，所述车辆信息数据包括：车牌号、车辆品牌、车辆类型、车辆年款、车辆系列、过车图片地址、车身颜色、车牌颜色、过车时间、卡口编号；所述分布式列存储数据库中的若干处理节点并行工作，各所述处理节点中的数据存储单元分别接收所述车辆信息数据，按照预设的数据存储规则对所述车辆信息数据进行分类有序存储，并在接收到所述车辆信息数据后触发对应的数据处理单元，所述数据处理单元根据预设的开始时间s、结束时间e、回溯时长h、车辆出现次数t，分别计算[s，e]时间范围内的车牌号集合U以及[s‑h，s)时间范围内车牌号集合V，计算U‑V，其中，U‑V代表集合U和集合V的差集，并将差集U‑V和[s‑h，s)时间范围内车牌号集合V发送至客户端；所述客户端汇总各所述处理节点处的所述数据处理单元发送的差集U‑V，并对多个差集U‑V取并集，形成集合U1；所述客户端同时汇总各所述处理节点处的[s‑h，s)时间范围内车牌号集合V，并对多个集合V取并集，形成集合V1；所述客户端对集合U1和集合V1进行处理，通过计算U1‑V1获得[s，e]时间范围内初次入城的车辆的车牌号集合R，其中U1‑V1为集合U1和集合V1的差集；将所述初次入城的车辆的车牌号集合R进行展示。...

【技术特征摘要】
1.一种基于大数据进行初次入城车辆分析的方法，包括：通过监控设备采集经过卡口的车辆信息数据，并将所述车辆信息数据随机传递到分布式列存储数据库中的若干处理节点，各处理节点包括数据存储单元和数据处理单元，所述车辆信息数据包括：车牌号、车辆品牌、车辆类型、车辆年款、车辆系列、过车图片地址、车身颜色、车牌颜色、过车时间、卡口编号；所述分布式列存储数据库中的若干处理节点并行工作，各所述处理节点中的数据存储单元分别接收所述车辆信息数据，按照预设的数据存储规则对所述车辆信息数据进行分类有序存储，并在接收到所述车辆信息数据后触发对应的数据处理单元，所述数据处理单元根据预设的开始时间s、结束时间e、回溯时长h、车辆出现次数t，分别计算[s，e]时间范围内的车牌号集合U以及[s-h，s)时间范围内车牌号集合V，计算U-V，其中，U-V代表集合U和集合V的差集，并将差集U-V和[s-h，s)时间范围内车牌号集合V发送至客户端；所述客户端汇总各所述处理节点处的所述数据处理单元发送的差集U-V，并对多个差集U-V取并集，形成集合U1；所述客户端同时汇总各所述处理节点处的[s-h，s)时间范围内车牌号集合V，并对多个集合V取并集，形成集合V1；所述客户端对集合U1和集合V1进行处理，通过计算U1-V1获得[s，e]时间范围内初次入城的车辆的车牌号集合R，其中U1-V1为集合U1和集合V1的差集；将所述初次入城的车辆的车牌号集合R进行展示。2.根据权利要求1所述基于大数据进行初次入城车辆分析的方法，其特征在于，所述预设的数据存储规则与检索查询项目对应，所述检索查询项目包括所述所述车辆信息数据中的一项或多项的组合。3.根据权利要求2所述基于大数据进行初次入城车辆分析的方法，其特征在于，所述检索查询项目包括过车时间、车牌号和卡口编号中的一项或多项的组合。4.根据权利要求1所述基于大数据进行初次入城车辆分析的方法，其特征在于，当所述分布式列存储数据库中的任一所述处理节点出现故障时，故障的所述处理节点将自动将其内部所存储的数据传递至其他正常工作的处理节点。5.一种基于大数据进行初次入城车辆分析的系统，其特征在于，包括：监控设...

【专利技术属性】
技术研发人员：李占强，辛国茂，李善宝，马述杰，
申请(专利权)人：泰华智慧产业集团股份有限公司，
类型：发明
国别省市：山东,37