一种车辆初次入城信息处理方法及信息处理系统技术方案

技术编号:24289742 阅读:38 留言:0更新日期:2020-05-26 20:05
本发明专利技术属于交通信息处理技术领域,公开了一种车辆初次入城信息处理方法及信息处理系统,在Greenplum中建立一张最近一个月的有完整车牌的车辆轨迹数据的数据表;将过去两年的全部过车数据存储在大数据库HIVE上;通过计算引擎Spark的窗口处理程序生成数据表;通过spark sql每天定时生成每个车牌该天第一次经过每个卡口的过车轨迹信息的数据表;自定义条件进行数据查询,并通过可视化界面输出查询结果。本发明专利技术合理利用Greenplum数据库的分区、SQL语言和大数据HIVE以及高速的计算引擎Spark高效的计算出各种自定义条件下的初次入城车辆轨迹信息。

An information processing method and information processing system for vehicle entering the city for the first time

【技术实现步骤摘要】
一种车辆初次入城信息处理方法及信息处理系统
本专利技术属于交通信息处理
,尤其涉及一种车辆初次入城信息处理方法。
技术介绍
目前,最接近的现有技术:近年来随着各地平安城市、天网工程的深推进建设,为公安机关的视频侦查工作提供了越来越丰富的情报来源,尤其是这其中的过车数据。随着越来越多的案件与车辆相关,过车数据已经成为案件侦破,抓捕犯罪嫌疑人的关键突破点。可以说,掌握了车辆动态就掌握了犯罪嫌疑人的动态。由此视频侦查技术也成为继刑事技术,技侦技术和网侦技术之后的第四大技术。而在乘车犯罪的过程中,犯罪分子经常会有一个共同的规律,就是他们往往会离开常住地去异地作案,并且在违法犯罪的前不久才首次出现在该违法地点所在的城市,这就为公安机关办案或排查提供了重要线索;而在现在的卡口系统中,过车记录的数量越来越多,成为海量的数据。据统计在一个普通的中等县城每天卡口、电警等设备拍摄的过车数据的数量就有400万之多,在这些海量的数据中检索分析初次入城车辆的时间地点,为公安机关提供办案线索,从而达到快速的破案,是公安干警们一直存在的需求,比如选定案发时间范本文档来自技高网...

【技术保护点】
1.一种车辆初次入城信息处理方法,其特征在于,所述车辆初次入城信息处理方法包括:/n利用Greenplum数据库的分区、SQL语言和大数据库HIVE以及计算引擎Spark通过自定义条件进行初次入城车辆轨迹信息的计算。/n

【技术特征摘要】
1.一种车辆初次入城信息处理方法,其特征在于,所述车辆初次入城信息处理方法包括:
利用Greenplum数据库的分区、SQL语言和大数据库HIVE以及计算引擎Spark通过自定义条件进行初次入城车辆轨迹信息的计算。


2.如权利要求1所述车辆初次入城信息处理方法,其特征在于,所述车辆初次入城信息处理方法包括以下步骤:
步骤一,在Greenplum中建立一张最近一个月的有完整车牌的车辆轨迹数据的数据表vehicletrack_mm;
步骤二,将过去两年的全部过车数据存储在大数据库HIVE上;
步骤三,通过计算引擎Spark的窗口处理程序生成数据表vehicletrack_up、vehicletrack_samepot_up、vehicletrack_samearea_up;
步骤四,通过sparksql每天定时生成每个车牌该天第一次经过每个卡口的过车轨迹信息vehicletrack_first;
步骤五,自定义条件进行数据查询,并通过可视化界面输出查询结果。


3.如权利要求2所述车辆初次入城信息处理方法,其特征在于,步骤三中,所述数据表vehicletrack_up、vehicletrack_samepot_up、vehicletrack_samearea_up的生成方法如下:
1)利用spark程序订阅hive的数据源信息数据,数据增量流入对车辆轨迹信息窗口依次移动;
2)通过map和reduce函数将过车数据规范化并且按照不同的key进行分组,根据不同的key生成不同的中间表;
3)通过orderby命令将同一个组的数据进行按时间从小到大排序;
4)将最小的数据按excel的格式放入到redis,并将除最小数据以外的其他数据与所述最小数据的redis数据进行比对;
5)如果当前数据过车时间-redis过车时间<2天,则将redis的数据丢弃,并且把当前数据存放至redis;如果当前数据过车时间-redis的过车时间>=2天,则把当前数据根据key保存到相应的中间表,然后把当前数据放到redis重复步骤4),根据不同的key生成中间表。


4.如权利要求3所述车辆初次入城信息处理方法,其特征在于,步骤2)中,所述根据不同的key生成不同的中间表包括:
当key为车牌号码和车牌种类时,则生成vehicletrack_up;
当key为车牌号码和车牌种类以及点位时,则生成vehicletrack_samepot_up;
当key为车牌号码和车牌种类以及区域时,则生成vehicletrack_samearea_up。


5.如权利要求2所述车辆初次入城信息处理方法,其特征在于,步骤五中,所述数据查询方法包括:
(1)当查询某段时间内回溯时长是N天的初次入城数据,则通过查询语句直接查询vehicletrack_up即可;
(2)当查询某单个区域某段时间内回溯时长是N天的初次入城数据,则通过查询语句直接查询vehicletrack_samearea_up;
(3)当查询某单个点位某段时间内回溯时长是N天的初次入城数据,则通过查询语句查询vehicletrack_same...

【专利技术属性】
技术研发人员:林雪红
申请(专利权)人:福建威盾科技集团有限公司
类型:发明
国别省市:福建;35

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1