一种车辆初次入城信息处理方法及信息处理系统技术方案

本发明专利技术属于交通信息处理技术领域，公开了一种车辆初次入城信息处理方法及信息处理系统，在Greenplum中建立一张最近一个月的有完整车牌的车辆轨迹数据的数据表；将过去两年的全部过车数据存储在大数据库HIVE上；通过计算引擎Spark的窗口处理程序生成数据表；通过spark sql每天定时生成每个车牌该天第一次经过每个卡口的过车轨迹信息的数据表；自定义条件进行数据查询，并通过可视化界面输出查询结果。本发明专利技术合理利用Greenplum数据库的分区、SQL语言和大数据HIVE以及高速的计算引擎Spark高效的计算出各种自定义条件下的初次入城车辆轨迹信息。

An information processing method and information processing system for vehicle entering the city for the first time

【技术实现步骤摘要】
一种车辆初次入城信息处理方法及信息处理系统
本专利技术属于交通信息处理
，尤其涉及一种车辆初次入城信息处理方法。
技术介绍
目前，最接近的现有技术：近年来随着各地平安城市、天网工程的深推进建设，为公安机关的视频侦查工作提供了越来越丰富的情报来源，尤其是这其中的过车数据。随着越来越多的案件与车辆相关，过车数据已经成为案件侦破，抓捕犯罪嫌疑人的关键突破点。可以说，掌握了车辆动态就掌握了犯罪嫌疑人的动态。由此视频侦查技术也成为继刑事技术，技侦技术和网侦技术之后的第四大技术。而在乘车犯罪的过程中，犯罪分子经常会有一个共同的规律，就是他们往往会离开常住地去异地作案，并且在违法犯罪的前不久才首次出现在该违法地点所在的城市，这就为公安机关办案或排查提供了重要线索；而在现在的卡口系统中，过车记录的数量越来越多，成为海量的数据。据统计在一个普通的中等县城每天卡口、电警等设备拍摄的过车数据的数量就有400万之多，在这些海量的数据中检索分析初次入城车辆的时间地点，为公安机关提供办案线索，从而达到快速的破案，是公安干警们一直存在的需求，比如选定案发时间范围和回溯时间范围，查询在回溯时间范围内未出现过而案发时间范围内首次出现的车辆，在此之上还可以叠加出现次数、卡口范围、车辆类型、车身颜色等限制条件，从而更精确的排查嫌疑车辆。传统的初次入城分析，最常见的一种是对用户选取的案发时间范围内的过车数据先按车牌号去掉重复数据，然后将用户选取的回溯时间范围内的过车数据也按车牌号去重，最终得到两个较小的数据集，再对两个数据集做关联，得出在案发时间段内出现过，而在回溯时间段内未出现过的车辆数据；该种方案很容易实现，然而存在明显的缺点，首先用户选取的回溯时间可能相当长，以一个县一天的过车数据为400万条为例，用户为了更精确的确定初次入城，往往会选择30天以上的回溯时间，这样就需要扫描1.2亿条数据做去重，耗时很长，5个节点单次查询往往需要20分钟以上。综上所述，现有技术存在的问题是：现有计算车辆初次入城时间的方法计算速度慢，其需要大量的存储空间，无法灵活高效的进行入城时间的计算。选取的范围变大，计算内存需求就变大耗费资源就变多。解决上述技术问题的难度：利用小计算资源的情况解决大数据量碰撞分析秒级响应的要求，而且要求可以查实时的初次入城情况。解决上述技术问题的意义：根据预先计算的中间结果，用户可以选择长时间范围全区域查看初次入城的数据在秒级出来，并且不浪费其他用户使用其他业务需要的资源。加上实时保存一个月的数据存储实时数据可以满足查询分析实时数据的需求，离线分析部分解决跨度时间大范围碰撞分析速度慢浪费资源的问题，实时数据解决离线没办法马上计算的问题。
技术实现思路
针对现有技术存在的问题，本专利技术提供了一种车辆初次入城信息处理方法。本专利技术是这样实现的，一种车辆初次入城信息处理方法，所述车辆初次入城信息处理方法包括：利用Greenplum数据库的分区、SQL语言和大数据库HIVE以及计算引擎Spark通过自定义条件进行初次入城车辆轨迹信息的计算。进一步，所述车辆初次入城信息处理方法包括以下步骤：步骤一，在Greenplum中建立一张最近一个月的有完整车牌的车辆轨迹数据的数据表vehicletrack_mm；步骤二，将过去两年的全部过车数据存储在大数据库HIVE上；步骤三，通过计算引擎Spark的窗口处理程序生成数据表vehicletrack_up、vehicletrack_samepot_up、vehicletrack_samearea_up；步骤四，通过sparksql每天定时生成每个车牌该天第一次经过每个卡口的过车轨迹信息vehicletrack_first；步骤五，自定义条件进行数据查询，并通过可视化界面输出查询结果。进一步，步骤三中，所述数据表vehicletrack_up、vehicletrack_samepot_up、vehicletrack_samearea_up的生成方法如下：1)利用spark程序订阅hive的数据源信息数据，数据增量流入对车辆轨迹信息窗口依次移动；2)通过map和reduce函数将过车数据规范化并且按照不同的key进行分组，根据不同的key生成不同的中间表；3)通过orderby命令将同一个组的数据进行按时间从小到大排序；4)将最小的数据按excel的格式放入到redis，并将除最小数据以外的其他数据与所述最小数据的redis数据进行比对；5)如果当前数据过车时间-redis过车时间<2天，则将redis的数据丢弃，并且把当前数据存放至redis；如果当前数据过车时间-redis的过车时间>＝2天，则把当前数据根据key保存到相应的中间表，然后把当前数据放到redis重复步骤4)，根据不同的key生成中间表。进一步，步骤2)中，所述根据不同的key生成不同的中间表包括：当key为车牌号码和车牌种类时，则生成vehicletrack_up；当key为车牌号码和车牌种类以及点位时，则生成vehicletrack_samepot_up；当key为车牌号码和车牌种类以及区域时，则生成vehicletrack_samearea_up。进一步，步骤五中，所述数据查询方法包括：(1)当查询某段时间内回溯时长是N天的初次入城数据，则通过查询语句直接查询vehicletrack_up即可；(2)当查询某单个区域某段时间内回溯时长是N天的初次入城数据，则通过查询语句直接查询vehicletrack_samearea_up；(3)当查询某单个点位某段时间内回溯时长是N天的初次入城数据，则通过查询语句查询vehicletrack_samepot_up；(4)当查询混合点位或者混合区域的某段时间内回溯时长是N天的初次入城数据，则通过统计sql进行查询。进一步，步骤(4)中，所述通过统计sql进行查询包括：利用Greenplum的Lag函数，通过Lag()取当前顺序的上一行记录，结合over分组统计数据；计算出每个车牌在每个条件下的上一条的过车时间然后进行相减得到大于回溯时长的车辆轨迹数据；同时当时间范围较小包含时间实时的时，统计sql中的vehicletrack_mm；当时间范围较大时则统计vehicletrack_first。本专利技术的另一目的在于实施所述车辆初次入城信息处理方法的车辆初次入城信息处理系统，所述车辆初次入城信息处理系统包括：初始数据表建立模块：用于在Greenplum数据库中建立最近一个月的拥有完整车牌的车辆轨迹数据数据表vehicletrack_mm；大数据库HIVE：用于存储过去2年全部的过车数据；中间表生成模块：用于通过Spark的窗口处理程序生成数据表vehicletrack_up、vehicletrack_samepot_up、vehicletrack_本文档来自技高网...

【技术保护点】
1.一种车辆初次入城信息处理方法，其特征在于，所述车辆初次入城信息处理方法包括：/n利用Greenplum数据库的分区、SQL语言和大数据库HIVE以及计算引擎Spark通过自定义条件进行初次入城车辆轨迹信息的计算。/n

【技术特征摘要】
1.一种车辆初次入城信息处理方法，其特征在于，所述车辆初次入城信息处理方法包括：
利用Greenplum数据库的分区、SQL语言和大数据库HIVE以及计算引擎Spark通过自定义条件进行初次入城车辆轨迹信息的计算。


2.如权利要求1所述车辆初次入城信息处理方法，其特征在于，所述车辆初次入城信息处理方法包括以下步骤：
步骤一，在Greenplum中建立一张最近一个月的有完整车牌的车辆轨迹数据的数据表vehicletrack_mm；
步骤二，将过去两年的全部过车数据存储在大数据库HIVE上；
步骤三，通过计算引擎Spark的窗口处理程序生成数据表vehicletrack_up、vehicletrack_samepot_up、vehicletrack_samearea_up；
步骤四，通过sparksql每天定时生成每个车牌该天第一次经过每个卡口的过车轨迹信息vehicletrack_first；
步骤五，自定义条件进行数据查询，并通过可视化界面输出查询结果。


3.如权利要求2所述车辆初次入城信息处理方法，其特征在于，步骤三中，所述数据表vehicletrack_up、vehicletrack_samepot_up、vehicletrack_samearea_up的生成方法如下：
1)利用spark程序订阅hive的数据源信息数据，数据增量流入对车辆轨迹信息窗口依次移动；
2)通过map和reduce函数将过车数据规范化并且按照不同的key进行分组，根据不同的key生成不同的中间表；
3)通过orderby命令将同一个组的数据进行按时间从小到大排序；
4)将最小的数据按excel的格式放入到redis，并将除最小数据以外的其他数据与所述最小数据的redis数据进行比对；
5)如果当前数据过车时间-redis过车时间<2天，则将redis的数据丢弃，并且把当前数据存放至redis；如果当前数据过车时间-redis的过车时间>＝2天，则把当前数据根据key保存到相应的中间表，然后把当前数据放到redis重复步骤4)，根据不同的key生成中间表。


4.如权利要求3所述车辆初次入城信息处理方法，其特征在于，步骤2)中，所述根据不同的key生成不同的中间表包括：
当key为车牌号码和车牌种类时，则生成vehicletrack_up；
当key为车牌号码和车牌种类以及点位时，则生成vehicletrack_samepot_up；
当key为车牌号码和车牌种类以及区域时，则生成vehicletrack_samearea_up。


5.如权利要求2所述车辆初次入城信息处理方法，其特征在于，步骤五中，所述数据查询方法包括：
(1)当查询某段时间内回溯时长是N天的初次入城数据，则通过查询语句直接查询vehicletrack_up即可；
(2)当查询某单个区域某段时间内回溯时长是N天的初次入城数据，则通过查询语句直接查询vehicletrack_samearea_up；
(3)当查询某单个点位某段时间内回溯时长是N天的初次入城数据，则通过查询语句查询vehicletrack_same...

【专利技术属性】
技术研发人员：林雪红，
申请(专利权)人：福建威盾科技集团有限公司，
类型：发明
国别省市：福建;35