一种数据上传方法技术

本发明专利技术提供的一种数据上传方法

【技术实现步骤摘要】
一种数据上传方法、数据清洗方法、系统及相关设备


[0001]本专利技术涉及车辆通信数据处理
，尤其涉及一种数据上传方法
、
数据清洗方法
、
系统及相关设备
。

技术介绍

[0002]随着智能汽车的发展和智能网联技术的落地，越来越多的需求分析
、
功能设计
、
功能评价
、
设计迭代都可以基于实车数据采集
、
分析的结果来提供方向指引
。
例如，常见的自动驾驶
、
智能座舱等功能，都会通过埋点等方法采集数据
、
分析数据
、
迭代功能
。
因此，这也对数据可靠性提出了更高的要求
。
[0003]但是，因为汽车所跑的区域通常复杂多变，会包括很多通信基站覆盖不佳的区域
(
如很多城际高速公路
、
隧道等
)
，且快速行驶的车辆在两个通信基站之间本身就可能存在重联，这些都会造成网络通信的不稳定
。
因此，在如此不稳定网络下，获取到的数据也就会存在各种各样的问题
。
[0004]尤其是在分析数据的变化趋势方面，因为数据的重复
、
逆序
、
大幅时间跳变等原因，造成分析数据状态变化的结果与实际情况存在过大的偏离
。

技术实现思路

[0005]针对现有技术中存在的问题，本专利技术提供一种数据上传方法
、
数据清洗方法
、
系统及相关设备，在数据上传过程中过滤掉脏数据，提升获取数据的有效性，使得后续数据分析得到的数据状态变化的结果与实际情况相符合，从而更大程度
、
更高效率地发挥数据的价值
。
[0006]第一方面，本专利技术提供一种数据上传方法，应用于车端，包括：
[0007]按照预定周期生成递增序列值；
[0008]将所述递增序列值响应于车辆事件，根据所述车辆事件的发生时间确定第一序列值；
[0009]将所述第一序列值写入与所述车辆事件相关联的数据包中包括的打包时间序列值字段和重传时间序列值字段；
[0010]响应于所述数据包重传，根据所述数据包的重传时间确定第二序列值；
[0011]基于所述第二序列值，更新所述数据包中的重传时间序列值字段，而保持所述打包时间序列值字段不变；
[0012]获取所述数据包上传时的
GNSS
时间值，写入所述数据包中并上传至云端进行数据清洗
。
[0013]第二方面，本专利技术还提供一种数据清洗方法，应用于云端，包括：
[0014]接收车端发送的每个数据包，将接收时的互联网时间值写入所述数据包中，所述数据包中包括有：打包时间序列值
、
重传时间序列值
、
数据上传时的
GNSS
时间值和云端接收数据的互联网时间值；
[0015]根据每个所述数据包中的所述
GNSS
时间值
、
所述互联网时间值
、
所述打包时间序列值和所述重传时间序列值，对接收的所述数据包进行数据清洗并分类入库，按照所述打包时间序列值的顺序对正常的所述数据包进行排序，使得数据清洗后保留的所述数据包的数据顺序与车端上传时的数据顺序保持一致
。
[0016]根据本专利技术提供的一种数据清洗方法，所述根据每个所述数据包中的所述
GNSS
时间值
、
所述互联网时间值
、
所述打包时间序列值和所述重传时间序列值，对接收的所述数据包进行数据清洗并分类入库的步骤，包括：
[0017]判断所述
GNSS
时间值与所述互联网时间值之间的差值是否超出临界阈值；
[0018]若是，则判定所述数据包为异常数据包，将所述异常数据包存储至脏数据库，将所述异常数据包中的打包时间序列值和脏数据标识存储至主数据库；
[0019]若否，则判定所述数据包为正常数据包，将所述正常数据包存储至所述主数据库
。
[0020]根据本专利技术提供的一种数据清洗方法，所述根据每个所述数据包中的所述
GNSS
时间值
、
所述互联网时间值
、
所述打包时间序列值和所述重传时间序列值，对接收的所述数据包进行数据清洗并分类入库的步骤，还包括：
[0021]获取一个数据打包事件的一个数据包中的打包时间序列值，判断所述打包时间序列值与所述数据打包事件的其他数据包中的打包时间序列值是否存在重复；
[0022]若是，则在所述其他数据包中，将所述重传时间序列值最小的所述数据包判定为正常数据包并存储至主数据库，将其他所述数据包判定为异常数据包并存储至脏数据库；
[0023]若否，则判定所述数据打包阶段的不同数据包均为正常数据包，并存储至所述主数据库
。
[0024]根据本专利技术提供的一种数据清洗方法，所述根据每个所述数据包中的所述
GNSS
时间值
、
所述互联网时间值
、
所述打包时间序列值和所述重传时间序列值，对接收的所述数据包进行数据清洗并分类入库的步骤，还包括：
[0025]获取连续多个数据包中打包时间序列值的事件发生时间，判断所述事件发生时间的递增顺序与上传时的所述
GNSS
时间值的递增顺序是否一致；
[0026]若否，则判定所述连续多个数据包为异常数据包，将所述异常数据包存储至脏数据库，将所述异常数据包中的打包时间序列值和脏数据标识存储至主数据库；
[0027]若是，则判定所述连续多个数据包均为正常数据包，将所述正常数据包存储至所述主数据库
。
[0028]根据本专利技术提供的一种数据清洗方法，在所述脏数据库中按照预设的数据修改机制对所述异常数据包进行自动修正，并将修正后的所述异常数据包作为所述正常数据包存储至所述主数据库
。
[0029]第三方面，本专利技术还提供一种数据上传系统，应用于车端，包括：
[0030]递增序列值生成模块，用于按照预定周期生成递增序列值；
[0031]第一序列值确定模块，用于将所述递增序列值响应于车辆事件，根据所述车辆事件的发生时间确定第一序列值；
[0032]第一序列值写入模块，用于将所述第一序列值写入与所述车辆事件相关联的数据包中包括的打包时间序列值字段和重传时间序列值字段；
[0033]第二序列值确定模块，用于响应于所述数据包重传，根据所述数据包的重传时间
确定第二序列值；
[0034]第二序列值写入模块，基于所述第二序列值，更新所述数据包中的重传时间序列值字段，而保持所述打包时间序列值字段不变；
[0035]GNSS
时间值写入模块，用于获本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据上传方法，其特征在于，应用于车端，包括：按照预定周期生成递增序列值；将所述递增序列值响应于车辆事件，根据所述车辆事件的发生时间确定第一序列值；将所述第一序列值写入与所述车辆事件相关联的数据包中包括的打包时间序列值字段和重传时间序列值字段；响应于所述数据包重传，根据所述数据包的重传时间确定第二序列值；基于所述第二序列值，更新所述数据包中的重传时间序列值字段，而保持所述打包时间序列值字段不变；获取所述数据包上传时的
GNSS
时间值，写入所述数据包中并上传至云端进行数据清洗
。2.
一种数据清洗方法，其特征在于，应用于云端，包括：接收车端发送的每个数据包，将接收时的互联网时间值写入所述数据包中，所述数据包中包括有：打包时间序列值
、
重传时间序列值
、
数据上传时的
GNSS
时间值和云端接收数据的互联网时间值；根据每个所述数据包中的所述
GNSS
时间值
、
所述互联网时间值
、
所述打包时间序列值和所述重传时间序列值，对接收的所述数据包进行数据清洗并分类入库，按照所述打包时间序列值的顺序对正常的所述数据包进行排序，使得数据清洗后保留的所述数据包的数据顺序与车端上传时的数据顺序保持一致
。3.
根据权利要求2所述的数据清洗方法，其特征在于，所述根据每个所述数据包中的所述
GNSS
时间值
、
所述互联网时间值
、
所述打包时间序列值和所述重传时间序列值，对接收的所述数据包进行数据清洗并分类入库的步骤，包括：判断所述
GNSS
时间值与所述互联网时间值之间的差值是否超出临界阈值；若是，则判定所述数据包为异常数据包，将所述异常数据包存储至脏数据库，将所述异常数据包中的打包时间序列值和脏数据标识存储至主数据库；若否，则判定所述数据包为正常数据包，将所述正常数据包存储至所述主数据库
。4.
根据权利要求2所述的数据清洗方法，其特征在于，所述根据每个所述数据包中的所述
GNSS
时间值
、
所述互联网时间值
、
所述打包时间序列值和所述重传时间序列值，对接收的所述数据包进行数据清洗并分类入库的步骤，还包括：获取一个数据打包事件的一个数据包中的打包时间序列值，判断所述打包时间序列值与所述数据打包事件的其他数据包中的打包时间序列值是否存在重复；若是，则在所述其他数据包中，将所述重传时间序列值最小的所述数据包判定为正常数据包并存储至主数据库，将其他所述数据包判定为异常数据包并存储至脏数据库；若否，则判定所述数据打包阶段的不同数据包均为正常数据包，并存储至所述主数据库
。5.
根据权利要求2所述的数据清洗方法，其特征在于，所述根据每个所述数据包中的所述
GNSS
时间值
、
...

【专利技术属性】
技术研发人员：何特，
申请(专利权)人：嬴彻星创智能科技上海有限公司，
类型：发明
国别省市：