【技术实现步骤摘要】
本专利技术涉及大量数据存储，具体涉及一种过车记录大数据标准化存储方法。
技术介绍
1、据中国自行车协会数据，2021年我国电动车保有量达到3.4亿辆，年生产销售电动自行车超过3000万辆。在电动自行车快速增长的背后，是居高不下的交通事故率。伴随着这些原因，相关政府积极推出rfid电子车牌。这直接导致车辆相关数据急剧增长，短时间内的车辆相关数据可达到数百tb甚至数十pb规模。面对如此海量复杂的数据，传统的技术无法持续处理此大数量的实时分析和存取处理等需求。
技术实现思路
1、有鉴于此，本专利技术要解决的问题是提供一种过车记录大数据标准化存储方法，能够持续分析和存储大量车辆途径数据。
2、为解决上述技术问题，本专利技术采用的技术方案是：
3、一种过车记录大数据标准化存储方法，包括，步骤一，前端系统间隔第一时间阈值采集一次射频车牌数据和图片车牌数据，同时刻采集的射频车牌数据和图片车牌数据通过匹配策略匹配，判断射频车牌数据是否有匹配的图片车牌数据，有匹配的射频车牌数据生成双基匹配数据，无匹配的射频车牌数据生成单基数据；
4、步骤二，后端系统包括存储双基匹配数据的第一存储区和存储单基数据的第二存储区，通过筛选策略去除与第一存储区和第二存储区重复的双基匹配数据和单基数据，同时刻采集的双基匹配数据和单基数据分别存储至第一存储区和第二存储区；
5、步骤三，后端系统依据降重策略将第一存储区和第二存储内存储时间超过第二时间阈值的双基匹配数据和单基数据推入
6、进一步的，所述匹配策略包括：任意射频车牌数据依次与图片车牌数据匹配，判断射频车牌数据与图片车牌数据是否一致，否，与下一图片车牌数据匹配，是，获取该射频车牌数据以生成双基匹配数据；
7、射频车牌数据与所有图片车牌数据均不匹配，获取该射频车牌数据以生成单基数据。
8、进一步的，所述筛选策略包括：第n时刻接收的双基匹配数据与第一存储区和第二存储区内的双基匹配数据比较，去除第n时刻内重复的双基匹配数据再推送至第一存储区；
9、第n时刻接收的单基数据与第一存储区和第二存储区内的单基数据比较，去除第n时刻内重复的单基数据再推送至第二存储区。
10、进一步的，所述降重策略包括：标记第n-1时刻第一存储区内出现重复的双基匹配数据和第二存储区内产生重复的单基数据，并删除未重复的标记；
11、第n时刻第一存储区和第二存储区内超过第二时间阈值，且无标记的双基匹配数据和单基数据推入总消息队列。
12、进一步的，执行所述匹配策略前，包括统一射频车牌数据格式：射频车牌数据包括属性数据对应的信息数据，所述信息数据包括名字段和信息段；
13、以固定的属性数据顺序获取信息数据，所述信息数据的名字段修改成统一格式。
14、进一步的，所述属性数据包括设备id、车牌号、采样时间。
15、进一步的，执行所述匹配策略前，包括统一图片车牌数据格式，统一方法与射频车牌数据相同。
16、进一步的，所述前端系统包括图片采集单元和rfid信号采集单元，所述rfid信号采集单元用于获取射频车牌数据，所述图片采集单元用于获取图片车牌数据。
17、本专利技术具有的优点和积极效果是：
18、通过使用信息队列的形式处理和推送行车数据，将双基匹配数据和单基数据第一存储区和第二存储区，每次往第一存储区内推送双基匹配数据时，使用筛选策略丢弃已经推送至第一存储区和第二存储区的双基匹配数据，丢弃已经推送至第一存储区和第二存储区的单基数据，第一存储区和第二存储区内存储时间超过第二时间阈值的双基匹配数据和单基数据推入总消息队列，可有效的降低队列主体内双基匹配数据重叠的概率，同时提高数据的准确性。
19、通过设置降重策略去除连续多次接收双基匹配数据和单基数据时，导致双基匹配数据和单基数据重复存入第一存储区和第二存储区，降低总消息队列内数据重复的概率。
20、通过将双基匹配数据和单基数据统一格式处理，节省存储和处理内存，以便大量数据的同步处理。
本文档来自技高网...【技术保护点】
1.一种过车记录大数据标准化存储方法，其特征在于，包括，
2.根据权利要求1所述的一种过车记录大数据标准化存储方法，其特征在于，所述匹配策略包括：任意射频车牌数据依次与图片车牌数据匹配，判断射频车牌数据与图片车牌数据是否一致，否，与下一图片车牌数据匹配，是，获取该射频车牌数据以生成双基匹配数据；
3.根据权利要求1所述的一种过车记录大数据标准化存储方法，其特征在于，所述筛选策略包括：第N时刻接收的双基匹配数据与第一存储区和第二存储区内的双基匹配数据比较，去除第N时刻内重复的双基匹配数据再推送至第一存储区；
4.根据权利要求1所述的一种过车记录大数据标准化存储方法，其特征在于，所述降重策略包括：标记第N-1时刻第一存储区内出现重复的双基匹配数据和第二存储区内产生重复的单基数据，并删除未重复的标记；
5.根据权利要求1所述的一种过车记录大数据标准化存储方法，其特征在于，执行所述匹配策略前，包括统一射频车牌数据格式：射频车牌数据包括属性数据对应的信息数据，所述信息数据包括名字段和信息段；
6.根据权利要求5所述的一种过车记录大
7.根据权利要求5所述的一种过车记录大数据标准化存储方法，其特征在于，执行所述匹配策略前，包括统一图片车牌数据格式，统一方法与射频车牌数据相同。
8.根据权利要求1所述的一种过车记录大数据标准化存储方法，其特征在于，所述前端系统包括图片采集单元和RFID信号采集单元，所述RFID信号采集单元用于获取射频车牌数据，所述图片采集单元用于获取图片车牌数据。
...【技术特征摘要】
1.一种过车记录大数据标准化存储方法，其特征在于，包括，
2.根据权利要求1所述的一种过车记录大数据标准化存储方法，其特征在于，所述匹配策略包括：任意射频车牌数据依次与图片车牌数据匹配，判断射频车牌数据与图片车牌数据是否一致，否，与下一图片车牌数据匹配，是，获取该射频车牌数据以生成双基匹配数据；
3.根据权利要求1所述的一种过车记录大数据标准化存储方法，其特征在于，所述筛选策略包括：第n时刻接收的双基匹配数据与第一存储区和第二存储区内的双基匹配数据比较，去除第n时刻内重复的双基匹配数据再推送至第一存储区；
4.根据权利要求1所述的一种过车记录大数据标准化存储方法，其特征在于，所述降重策略包括：标记第n-1时刻第一存储区内出现重复的双基匹配数据和第二存储区内产生重复的单基数据，并删...
【专利技术属性】
技术研发人员：曾雪飞，黄蓓，
申请(专利权)人：高新兴智联科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。