一种基于RBM数据结构实现区域首次出现的实施方法技术

本发明专利技术公开了一种基于RBM数据结构实现区域首次出现的实施方法，该方法具体包括下述步骤：步骤一：将车牌号映射成int型的ID，将近几个月的车牌号与ID映射结果放到缓存中，同时将所有车牌号和ID映射结果持久化到数据库；本发明专利技术通过应用于车辆首次入城该业务场景外，还应用于地点可灵活选择，即空间上的灵活性更大，且时间范围也可灵活选择，并实时分析出结果，为实现时间空间灵活性选择以及实时分析的效果，运用Roaring Bitmap数据结构来替代传统的关系存储，节省了物理存储空间，又提升了运算效率，查询时间更快，该方法还可应用于车辆大数据挖掘领域，但不限于此领域，对于WIFI大数据挖掘领域同样适用，从而使得该方法的应用范围广泛。围广泛。围广泛。

【技术实现步骤摘要】
Bitmap，并存储到分布式数据库中，提高检索效率。
[0015]作为本专利技术的进一步改进方案：步骤四种的算法逻辑流程具体为：
[0016]K1：用户从前端传入回溯时间，查询时间，区域；
[0017]K2：根据输入的查询时间判断是否只是分析当天的车辆相对于回溯时间内，在目标区域有哪些车辆首次出现。若是，则从当天的缓存数据中查询；若否，则从当天缓存数据和历史持久化数据库中查询。此过程可获得查询时空的过车数据集合；
[0018]K3：根据输入的回溯时间和区域，从持久化的数据库中查询回溯时空的过车数据集合；
[0019]K4：在查询时空中出现且在回溯时空中从未出现过，即是在该区域该时间段首次出现的车牌号，即在RBM1出现，且不在RBM2出现的车牌号就是符合逻辑的车牌号。
[0020]图1中车牌号与ID的映射：将近几个月的车牌号放到缓存中和同时将所有车牌号和ID映射结果持久化。图2中数据压缩存储流程图：(1)对每天过车数据按卡口，车牌号去重获得去重后的数据；(2)将每条去重后的过车记录转换成以卡口为key，以由当前卡口下的车牌号组成的Roaring Bitmap为value 的map，并按照日期存储到数据库；(3)将当前日期下所有卡口对应RoaringBitmap合并获得全城范围的Roaring Bitmap，并存储到分布式数据库中，提高检索效率。图3中算法逻辑流程图：(1)用户从前端传入回溯时间，查询时间，区域；(2)根据输入的查询时间判断是否只是分析当天的车辆相对于回溯时间内，在目标区域有哪些车辆首次出现。若是，则从当天的缓存数据中查询；若否，则从当天缓存数据和历史持久化数据库中查询。此过程可获得查询时空的过车数据集合，图3中简称为RBM1；(3)根据输入的回溯时间和区域，从持久化的数据库中查询回溯时空的过车数据集合，图3中简称为RBM2；在查询时空中出现且在回溯时空中从未出现过，即是在该区域该时间段首次出现的车牌号，即在RBM1出现且不在RBM2出现的车牌号就是符合逻辑的车牌号。此运算即是利用Roaring Bitmap快速高效的位图运算的优势，以实现实时分析。
[0021]RBM具体指代Roaring Bitmap。
[0022]本专利技术的有益效果：
[0023]通过将车牌号映射成int型的ID，将近几个月的车牌号与ID映射结果放到缓存中，同时将所有车牌号和ID映射结果持久化到数据库；将历史过车数据按照Roaring Bitmap数据结构进行压缩存储；将当天过车数据按照上述步骤二中的流程压缩后，存到缓存中，每10分钟更新一次；用户输入回溯时间，目标区域，查询时间，以获取在回溯时间，目标区域未出现，且查询时间出现的车辆，通过应用于车辆首次入城该业务场景外，还应用于地点可灵活选择，即空间上的灵活性更大，且时间范围也可灵活选择，并实时分析出结果，为实现时间空间灵活性选择以及实时分析的效果，运用Roaring Bitmap数据结构来替代传统的关系存储，节省了物理存储空间，又提升了运算效率，查询时间更快，该方法还可应用于车辆大数据挖掘领域，但不限于此领域，对于WIFI大数据挖掘领域同样适用，从而使得该方法的应用范围广泛；
附图说明
[0024]下面结合附图对本专利技术作进一步的说明。
[0025]图1为本专利技术涉及的车牌号-ID映射流程图。
[0026]图2为本专利技术涉及的过车数据压缩流程图。
[0027]图3为本专利技术涉及的算法逻辑流程图。
具体实施方式
[0028]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。
[0029]请参阅图1-3所示，本专利技术为一种基于RBM数据结构实现区域首次出现的实施方法，该方法具体包括下述步骤：
[0030]步骤一：将车牌号映射成int型的ID，以缩小占用空间。车牌号与ID的映射，运用LRU策略，将近几个月的车牌号与ID映射结果放到缓存中。同时将所有车牌号和ID映射结果持久化到数据库。此映射结果可以通过车牌号查ID，也可以通过ID查到对应车牌号，车牌号与ID映射流程图如下图1；
[0031]步骤二：将历史过车数据按照Roaring Bitmap数据结构进行压缩存储，减少数据存储占用空间。数据压缩存储流程图如下图2：
[0032]S1：对每天过车数据按卡口，车牌号去重，获得去重后的数据；
[0033]S2：将每条去重后的过车记录转换成以卡口为key，以由当前卡口下的车牌号组成的Roaring Bitmap为value的map，并按照日期存储到数据库；
[0034]S3：将当前日期下所有卡口对应Roaring Bitmap合并获得全城范围的 Roaring Bitmap，并存储到分布式数据库中，提高检索效率。
[0035]步骤三：将当天过车数据按照下图2中的流程压缩后，存到缓存中，每10 分钟更新一次。存到缓存中可实现快速检索当天的过车数据。
[0036]步骤四：在上述步骤一至步骤三完成后，用户输入回溯时间，目标区域，查询时间，以获取在回溯时间，目标区域未出现且查询时间出现的车辆有哪些。算法逻辑流程图如下图3：
[0037]K1：用户从前端传入回溯时间，查询时间，区域；
[0038]K2：根据输入的查询时间判断是否只是分析当天的车辆相对于回溯时间内，在目标区域有哪些车辆首次出现。若是，则从当天的缓存数据中查询；若否，则从当天缓存数据和历史持久化数据库中查询。此过程可获得查询时空的过车数据集合，图3中简称为RBM1；
[0039]K3：根据输入的回溯时间和区域，从持久化的数据库中查询回溯时空的过车数据集合，图3中简称为RBM2；
[0040]K4：在查询时空中出现且在回溯时空中从未出现过，即是在该区域该时间段首次出现的车牌号，即在RBM1出现且不在RBM2出现的车牌号就是符合逻辑的车牌号。此运算即是利用Roaring Bitmap快速高效的位图运算的优势，以实现实时分析。
[0041]实施例一
[0042]一天过车数据3700万条，为实现区域首次出现，需要3个字段，卡口，车牌号，过车时间。按照卡口，车牌号去重后有2200万条记录。该市共有5000 个卡口，则一个卡口平均抓拍4400个不同的车牌号。
[0043]空间占用维度：
[0044]运用Roaring Bitmap数据结构空间占用计算如下：一个卡口下对应一个 Roaring Bitmap，该Roaring Bitmap包含来了该卡口所有的车牌号，即此例中的4400个车牌号放在一个Roaring Bitmap。而一个Roaring Bitmap中由int 型的车牌号构成，一个int型的车牌号存储到Roaring Bitmap中只占用2byte。因此，一个卡口下存储44本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于RBM数据结构实现区域首次出现的实施方法，其特征在于，该方法具体包括下述步骤：步骤一：将车牌号映射成int型的ID，将近几个月的车牌号与ID映射结果放到缓存中，同时将所有车牌号和ID映射结果持久化到数据库；步骤二：将历史过车数据按照Roaring Bitmap数据结构进行压缩存储；步骤三：将当天过车数据按照上述步骤二中的流程压缩后，存到缓存中，每10分钟更新一次；步骤四：在上述步骤一至步骤三完成后，用户输入回溯时间，目标区域，查询时间，以获取在回溯时间，目标区域未出现，且查询时间出现的车辆。2.根据权利要求1所述的一种基于RBM数据结构实现区域首次出现的实施方法，其特征在于，步骤一中是通过LRU策略进行处理将车牌号映射成int型的ID中，在将所有车牌号和ID映射结果持久化到数据库后，通过车牌号查ID，或通过ID查到对应车牌号。3.根据权利要求1所述的一种基于RBM数据结构实现区域首次出现的实施方法，其特征在于，步骤二中数据压缩存储流程的具体过程为：S1：对每天过车数据按卡口，车牌号去重，获得去重后...

【专利技术属性】
技术研发人员：宋冕冕，张跃，胡兴，谢伟，武永涛，何焜，许鹏，刘云龙，高军，闻号，李航，洪汛，孙雪永，
申请(专利权)人：安徽四创电子股份有限公司，
类型：发明
国别省市：