一种数据处理方法、装置、系统及电子设备制造方法及图纸

本申请涉及数据处理技术领域，特别涉及一种数据处理方法、装置、系统及电子设备。该方法包括：获取车辆数据；并对车辆数据进行拆包，得到多个数据包；根据多个数据包中每个数据包的消息头，将每个数据包的消息体中各字段解析为对应的结构体；结构体具有可读格式；将每个数据包的结构体写入第一类存储系统；第一类存储系统用于分析车辆情况；定时将第一类存储系统中第一类结构体存储于第二类存储系统；并删除第一类存储系统中第一类结构体；第一类结构体用于表征写入第一类存储系统的时间满足预设时间段的结构体；第二类存储系统用于存储第一类结构体的二进制数据。通过两类存储系统合理存储车辆数据，节约存储成本。节约存储成本。节约存储成本。

【技术实现步骤摘要】
一种数据处理方法、装置、系统及电子设备


[0001]本申请涉及数据处理
，特别涉及一种数据处理方法、装置、系统及电子设备。

技术介绍

[0002]随着汽车的普及，对应车辆安全监控的重视程度也逐渐攀升。尤其是针对新能源汽车的电池安全监控，对新能源汽车安全来说是非常重要的。
[0003]车辆安全监控包括对车辆安全的管理和分析，所以需要对车辆数据进行采集和存储。例如，电池安全监控包括对电池安全以及电池生命周期的管理与分析离不开车辆数据的采集与存储。并且，由于车辆数量多且各车辆的实时车辆数据均需要进行统一的实时存储，需要耗费较高的成本。
[0004]另外，当前根据国家工业与信息化部的政策要求，新能源车企生产的新能源车型要获得生产资质，取得公告，就必须整车配备车载监控终端，并且要符合GB/T 32960数据协议标准。GB/T32960协议是车载终端与服务平台通信协议，主要对车载终端与服务平台之间的通信链接的建立、传输的数据报文格式及其定义、实时信息上传等做出规定。
[0005]例如，根据GB/T 32960数据协议规定，车辆最长不超过30秒就需要发送一次数据车端数据，从协议中计算可得出发送一次数据大小的理论上限约为：65KB，可以计算得出以下数据：车辆最长不超过30秒就需要发送一次数据，且发送一次的数据大小的上限约为：65KB，可以计算得出：若每天有1万台车进行数据的发送，那么这些数据每天所占用的存储总量为1.74TB，同时将这些二进制数据解析为人可读的格式，则结构体量将会是原来3倍，将达到5.22TB，即1万辆车每天产生的数量为5.22TB，在一年之后的每一天都将存储着1905TB(365*5.22TB)数据。因此，对于企业来说，该数据存储的费用将是一笔很高的成本。
[0006]因此，需要提供一种数据处理方法、装置、系统及电子设备，可以合理存储车辆数据；节约车辆数据的存储成本。

技术实现思路

[0007]本申请实施例提供了一种数据处理方法、装置、系统及电子设备，可以合理存储车辆数据；节约车辆数据的存储成本。
[0008]第一方面，本申请实施例提供了一种数据处理方法，该方法包括：
[0009]获取车辆数据；并对所述车辆数据进行拆包，得到多个数据包；所述车辆数据属于二进制数据；
[0010]根据所述多个数据包中每个数据包的消息头，将每个所述数据包的消息体中各字段解析为对应的结构体；所述结构体具有可读格式；
[0011]将每个所述数据包的所述结构体写入第一类存储系统；所述第一类存储系统用于分析车辆情况；
[0012]定时将所述第一类存储系统中第一类结构体存储于第二类存储系统；并删除所述
第一类存储系统中的所述第一类结构体；所述第一类结构体用于表征写入所述第一类存储系统的时间满足预设时间段的所述结构体；所述第二类存储系统用于存储所述第一类结构体的二进制数据。
[0013]一些可选的实施例中，根据所述多个数据包中每个数据包的消息头，将每个所述数据包的消息体中各字段解析为对应的结构体，包括：
[0014]根据每个所述数据包的所述消息头，确定每个所述数据包的消息类型；
[0015]根据每个所述数据包的所述消息类型，将每个所述数据包的所述消息体中各字段解析为对应的结构体。
[0016]一些可选的实施例中，定时将所述第一类存储系统中第一类结构体存储于第二类存储系统，包括：
[0017]基于所述车辆数据的通讯协议，定时将所述第一类存储系统中所述第一类结构体还原为二进制数据，得到还原后数据；
[0018]将所述还原后数据压缩，并存储于所述第二类存储系统。
[0019]一些可选的实施例中，所述车辆数据包括整车数据、驱动电机数据、燃料电池数据和发动机数据中的至少一种。
[0020]一些可选的实施例中，所述分析车辆情况包括车辆电池安全监测和车辆电池生命周期分析中至少一种。
[0021]一些可选的实施例中，所述可读格式包括JSON格式和CSV格式中的至少一种。
[0022]一些可选的实施例中，所述消息类型包括登入、车辆登入、实时数据和补发数据中的至少一类。
[0023]第二方面，本申请实施例提供了一种数据处理装置，该装置包括：
[0024]网关模块，用于获取车辆数据；并对所述车辆数据进行拆包，得到多个数据包；所述车辆数据属于二进制数据；
[0025]第一解析模块，用于根据所述多个数据包中每个数据包的消息头，将每个所述数据包的消息体中各字段解析为对应的结构体；所述结构体具有可读格式；
[0026]第一存储模块，用于将每个所述数据包的所述结构体写入第一类存储系统，所述第一类存储系统用于分析车辆情况；
[0027]第二存储模块，用于定时将所述第一类存储系统中第一类结构体存储于第二类存储系统，并删除所述第一类存储系统中的所述第一类结构体；所述第一类结构体用于表征写入所述第一类存储系统的时间满足预设时间段的所述结构体；所述第二类存储系统用于存储所述第一类结构体对应的二进制数据。
[0028]一些可选的实施例中，第一解析模块，包括：
[0029]类型确定模块，用于根据每个所述数据包的所述消息头，确定每个所述数据包的消息类型；
[0030]字段解析模块，用于根据每个所述数据包的所述消息类型，将每个所述数据包的所述消息体中各字段解析为对应的结构体。
[0031]一些可选的实施例中，第二存储模块，包括：
[0032]还原模块，用于基于所述车辆数据的通讯协议，定时将所述第一类存储系统中第一类结构体还原为二进制数据，得到还原后数据；
[0033]清除模块，用于删除所述第一类存储系统中的所述第一类结构体；
[0034]第一写入模块，用于将所述还原后数据压缩，并存储于所述第二类存储系统。
[0035]第三方面，本申请实施例提供了一种数据处理系统，所述系统包括：
[0036]第一类存储系统、第二类存储系统和上述数据处理装置；
[0037]所述第一类存储系统，用于基于所述结构体分析车辆情况；
[0038]所述第二类存储系统，用于存储所述数据处理装置所得的部分结构体的二进制数据。
[0039]第四方面，本申请实施例提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行上述数据处理方法。
[0040]第五方面，本申请实施例提供了一种计算机存储介质，所述计算机存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行上述数据处理方法。
[0041]本申请通过获取车辆数据；并对所述车辆数据进行拆包，得到多个数据包；所述车辆数据属于二进制数据；根据所述多个数据包中每个数据包的消息头，将每个所述数据包的消息体中各字段解析为对应的结构体；所述结构体具有可读格式；将每个所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：获取车辆数据；并对所述车辆数据进行拆包，得到多个数据包；所述车辆数据属于二进制数据；根据所述多个数据包中每个数据包的消息头，将每个所述数据包的消息体中各字段解析为对应的结构体；所述结构体具有可读格式；将每个所述数据包的所述结构体写入第一类存储系统；所述第一类存储系统用于分析车辆情况；定时将所述第一类存储系统中第一类结构体存储于第二类存储系统；并删除所述第一类存储系统中的所述第一类结构体；所述第一类结构体用于表征写入所述第一类存储系统的时间满足预设时间段的所述结构体；所述第二类存储系统用于存储所述第一类结构体的二进制数据。2.根据权利要求1所述的方法，其特征在于，根据所述多个数据包中每个数据包的消息头，将每个所述数据包的消息体中各字段解析为对应的结构体，包括：根据每个所述数据包的所述消息头，确定每个所述数据包的消息类型；根据每个所述数据包的所述消息类型，将每个所述数据包的所述消息体中各字段解析为对应的所述结构体。3.根据权利要求1所述的方法，其特征在于，定时将所述第一类存储系统中第一类结构体存储于第二类存储系统，包括：基于所述车辆数据的通讯协议，定时将所述第一类存储系统中所述第一类结构体还原为二进制数据，得到还原后数据；将所述还原后数据压缩，并存储于所述第二类存储系统。4.根据权利要求1至3任一项所述的方法，其特征在于，所述车辆数据包括整车数据、驱动电机数据、燃料电池数据和发动机数据中的至少一种。5.根据权利要求1至3任一项所述的方法，其特征在于，所述分析车辆情况包括车辆电池安全监测和车辆电池生命周期分析中...

【专利技术属性】
技术研发人员：魏子涵，孔令续，姚雷，郝嘉斌，
申请(专利权)人：杭州易能电池管理技术有限公司，
类型：发明
国别省市：