数据防重复过滤方法、装置、存储介质及电子设备制造方法及图纸

本发明专利技术提供一种数据防重复过滤方法、装置、存储介质及电子设备，包括以下步骤：接收车辆报文数据；所述车辆报文数据包括设备序列号、消息ID和业务数据；判断数据库中所述设备序列号下是否已存所述消息ID；若未存所述消息ID，则存储所述车辆报文数据；否则，将所述车辆报文数据作为重复数据过滤丢弃。本发明专利技术的数据防重复过滤方法、装置、存储介质及电子设备通过车辆报文数据的消息ID的比对实现数据的防重复过滤，从而有效提升了车辆网数据的有效性。性。性。

【技术实现步骤摘要】
数据防重复过滤方法、装置、存储介质及电子设备


[0001]本专利技术涉及数据处理的
，特别是涉及一种数据防重复过滤方法、装置、存储介质及电子设备。

技术介绍

[0002]车联网的概念源于物联网，即车辆物联网，是以行驶中的车辆为信息感知对象，借助新一代信息通信技术，实现车与X(即车与车、人、路、服务平台)之间的网络连接，提升车辆整体的智能驾驶水平，为用户提供安全、舒适、智能、高效的驾驶感受与交通服务，同时提高交通运行效率，提升社会交通服务的智能化水平。其中，车与云平台间的通信是指车辆通过卫星无线通信或移动蜂窝等无线通信技术实现与车联网服务平台的信息传输，接受平台下达的控制指令，实时共享车辆数据。
[0003]因此，车联网服务器平台在获取车辆数据，如车辆实时数据、历史信息、事件信息、行驶信息等的同时，还需要对数据进行分析、存储。这是因为各行业的个性化业务需求对数据的有效性有较高的要求。因此，如何在大并发的数据上报过程中，避免由于车辆错误等原因造成数据重复上报的问题，成为当前亟待解决的课题。

技术实现思路
r/>[0004]鉴本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据防重复过滤方法，其特征在于，包括以下步骤：接收车辆报文数据；所述车辆报文数据包括设备序列号、消息ID和业务数据；判断数据库中所述设备序列号下是否已存所述消息ID；若未存所述消息ID，则存储所述车辆报文数据；否则，将所述车辆报文数据作为重复数据过滤丢弃。2.根据权利要求1所述的数据防重复过滤方法，其特征在于，还包括接收所述车辆报文数据后，将接收到的车辆报文数据存储至消息队列，通过消费所述消息队列来获取所述设备序列号和消息ID。3.根据权利要求1所述的数据防重复过滤方法，其特征在于，所述数据库采用非关系型数据库。4.根据权利要求1所述的数据防重复过滤方法，其特征在于，判断所述数据库中所述设备序列号下是否已存所述消息ID包括以下步骤：获取所述数据库中所述设备序列号对应的已存最大消息ID；判断所述消息ID是否大于所述已存最大消息ID；若是，则判断未存所述消息ID；若否，则判断已存所述消息ID。5.根据权利要求4所述的数据防重复过滤方法，其特征在于，存储所述车辆报文数据包括以下步骤：判断所述消息ID是否大于预设最大消息ID；若是，重置所述消息ID并存储；若否，直接存储所述消息ID；将所述设备序列号存储至所述数据库中；将所述业务数据存储至所述数据库中。6.根据权利要求5所述的数据防重复过滤方法，其特征在于，重置所述消息ID时，采用所述消息ID除以所述预设最大消息ID的余数。7.一种数据防重复过滤装置，其特征在于，包括接收模块、判断模块和过滤处理模块；所述接收模块，接收车辆报文数据；所述车辆报文数据包括设备序列号、消息ID和业务数据；所述判断模块，判断数据库中所述设备序列号下是否已存所述消息ID；所述过滤处理模块，若未存所述消息ID，则存储所述车辆报文数据；否则，将所述车辆...

【专利技术属性】
技术研发人员：徐俊，
申请(专利权)人：上海博泰悦臻网络技术服务有限公司，
类型：发明
国别省市：