一种数据处理方法及系统技术方案

本发明专利技术提供了一种数据处理方法及系统，通过获取预设统计周期内的缓存数据中的CAN报文，并确定CAN报文包括的报文帧，确定在预设统计周期内报文帧中各个字段分别对应的变化次数，根据各个字段分别对应的变化次数由高至低对CAN报文的报文帧进行结构重组，将结构重组后的CAN报文的报文帧进行压缩并存储。通过上述方法，将各个字段分别对应的变化次数由高至低对CAN报文的报文帧进行结构重组，基于重组后的报文帧进行压缩处理，得到长度最短的压缩存储数据，从而提高压缩报文帧的压缩效率。

【技术实现步骤摘要】
一种数据处理方法及系统
本专利技术涉及报文压缩领域，更具体地说，涉及一种数据处理方法及系统。
技术介绍
CAN(ControllerAreaNetwork，控制器局域网络)是ISO国际标准化的串行通讯协议。在目前的汽车行业，许多汽车信息的状态以及控制命令都由CAN总线上的CAN报文进行数据交互。目前，CAN报文数据的存储方法主要是基于原始数据存储方式和粗粒度的压缩后进行存储的方式。原始数据的存储方式中对车载ECU的存储负载较大，且相应的通信传输效率低。而粗粒度的压缩方法是将所有报文帧的数据都进行压缩后存储，从而造成压缩效率低下。
技术实现思路
有鉴于此，本申请提供了一种数据处理方法及系统，实现提高报文帧的压缩效率的目的。为实现上述目的，先提出的方案如下：本专利技术第一方面公开了一种数据处理方法，包括：获取预设统计周期内的缓存数据中的CAN报文，并确定所述CAN报文包括的报文帧；确定在预设统计周期内所述报文帧中各个字段分别对应的变化次数，其中，所述各个字段是依据预设的单位长度划分所述CAN报文的报文帧得到的；根据所述各个字段分别对应的变化次数由高至低对所述CAN报文的报文帧进行结构重组；将结构重组后的所述CAN报文的报文帧进行压缩并存储。优选的，所述获取预设统计周期内的缓存数据中的CAN报文，包括：通过采集节点对CAN网络中的CAN报文进行采集并缓存，得到缓存数据；获取预设统计周期内的所述缓存数据中的CAN报文。优选的，所述确定在预设统计周期内所述报文帧中各个字段分别对应的变化次数，包括：以字节为单位长度划分所述CAN报文的报文帧得到各个字段；确定在预设的统计周期内所述各个字段分别对应的变化次数。优选的，所述确定在预设统计周期内所述报文帧中各个字段分别对应的变化次数，包括：以位为单位长度划分所述CAN报文的报文帧得到各个字段；确定在预设统计周期内所述各个字段分别对应的变化次数。优选的，所述确定在预设统计周期内所述报文帧中各个字段分别对应的变化次数，包括：在预设的统计周期内，比较第一时刻所述各个字段分别对应的变化次数与第二时刻所述各个字段分别对应的变化次数是否发生变化，其中，所述第一时刻是第二时刻的前一时刻；若发生变化，则获取所述各个字段分别对应的变化次数为第一变化次数；若不发生变化，则获取所述各个字段分别对应的变化次数为第二变化次数。优选的，所述将结构重组后的所述CAN报文的报文帧进行压缩并存储，包括：将所述结构重组后的所述CAN报文的报文帧进行异或运算压缩，得到压缩数据DNZ；将所述压缩数据DNZ进行存储。本专利技术第二方面公开了一种数据处理系统，其特征在于，包括：获取单元，用于获取预设统计周期内的缓存数据中的CAN报文，并确定所述CAN报文包括的报文帧；确定单元，用于确定在预设统计周期内所述报文帧中各个字段分别对应的变化次数，其中，所述各个字段是依据预设的单位长度划分所述CAN报文的报文帧得到的；重组单元，用于根据所述各个字段分别对应的变化次数由高至低对所述CAN报文的报文帧进行结构重组；压缩存储单元，用于将结构重组后的所述CAN报文的报文帧进行压缩并存储。优选的，所述获取预设统计周期内的缓存数据中的CAN报文的获取单元，包括：采集模块，用于通过采集节点对CAN网络中的CAN报文进行采集并缓存，得到缓存数据；获取模块，用于获取预设统计周期内的所述缓存数据中的CAN报文。优选的，所述将结构重组后的所述CAN报文的报文帧进行压缩并存储的压缩存储单元，包括：压缩模块，用于将所述结构重组后的所述CAN报文的报文帧进行异或运算压缩，得到压缩数据DNZ；存储模块，用于将所述压缩数据DNZ进行存储。经由上述技术方案可知，本专利技术提供了一种数据处理方法及系统，通过获取预设统计周期内的缓存数据中的CAN报文，并确定CAN报文包括的报文帧，确定在预设统计周期内所述报文帧中各个字段分别对应的变化次数，根据各个字段分别对应的变化次数由高至低对所述CAN报文的报文帧进行结构重组，将结构重组后的所述CAN报文的报文帧进行压缩并存储。通过上述方法，将各个字段分别对应的变化次数由高至低对CAN报文的报文帧进行结构重组，基于重组后的报文帧进行压缩处理，得到长度最短的压缩存储数据，从而提高压缩报文帧的压缩效率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本专利技术实施例公开的一种数据处理方法的流程示意图；图2为本专利技术实施例公开的获取预设统计周期内的缓存数据中的CAN报文的流程示意图；图3为本专利技术实施例公开的确定在预设统计周期内CAN报文的报文帧中各个字段以字节为单位长度时分别对应的变化次数的流程示意图；图4为本专利技术实施例公开的确定在预设统计周期内CAN报文的报文帧中各个字段以位为单位长度时分别对应的变化次数的流程示意图；图5为本专利技术实施例公开的在预设的统计周期内CAN报文的报文帧中各个字段分别对应的变化次数的流程示意图；图6为本专利技术实施例公开的以字节为单位的CAN报文的报文帧重组压缩示意图；图7为本专利技术实施例公开的以位为单位的CAN报文的报文帧重组压缩示意图；图8为本专利技术实施例公开的另一种数据处理方法的流程示意图；图9为本专利技术实施例公开的一种数据处理系统的结构示意图；图10为本专利技术实施例公开的一种数据处理系统的获取单元的结构示意图；图11为本专利技术实施例公开的一种数据处理系统的压缩存储单元的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。由
技术介绍
可知，现有技术中，CAN报文数据的存储方法主要是基于原始数据存储方式和粗粒度的压缩后进行存储的方式。原始数据的存储方式中对车载ECU的存储负载较大，且相应的通信传输效率低。而粗粒度的压缩方法是将所有报文帧的数据都进行压缩后存储，从而造成压缩效率低下。因此，本专利技术公开了一种数据处理方法及系统，通过获取预设统计周期内的缓存数据中的CAN报文，并确定CAN报文包括的报文帧，确定在预设统计周期内所述报文帧中各个字段分别对应的变化次数，根据各个字段分别对应的变化次数由高至低对所述CAN报文的报文帧进行结构重组，基于重组后的报文帧进行压缩处理，得到长度最短的压缩存储数据，以实现提高压缩报文帧的压缩效率的目的。如图1所示，为本专利技术实施例公开的一种数据处理方法的流程示意图，具体包括如下步骤：步骤S101：获取预本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：获取预设统计周期内的缓存数据中的CAN报文，并确定所述CAN报文包括的报文帧；确定在预设统计周期内所述报文帧中各个字段分别对应的变化次数，其中，所述各个字段是依据预设的单位长度划分所述CAN报文的报文帧得到的；根据所述各个字段分别对应的变化次数由高至低对所述CAN报文的报文帧进行结构重组；将结构重组后的所述CAN报文的报文帧进行压缩并存储。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取预设统计周期内的缓存数据中的CAN报文，并确定所述CAN报文包括的报文帧；确定在预设统计周期内所述报文帧中各个字段分别对应的变化次数，其中，所述各个字段是依据预设的单位长度划分所述CAN报文的报文帧得到的；根据所述各个字段分别对应的变化次数由高至低对所述CAN报文的报文帧进行结构重组；将结构重组后的所述CAN报文的报文帧进行压缩并存储。2.根据权利要求1所述的方法，其特征在于，所述获取预设统计周期内的缓存数据中的CAN报文，包括：通过采集节点对CAN网络中的CAN报文进行采集并缓存，得到缓存数据；获取预设统计周期内的所述缓存数据中的CAN报文。3.根据权利要求1所述的方法，其特征在于，所述确定在预设统计周期内所述报文帧中各个字段分别对应的变化次数，包括：以字节为单位长度划分所述CAN报文的报文帧得到各个字段；确定在预设的统计周期内所述各个字段分别对应的变化次数。4.根据权利要求1所述的方法，其特征在于，所述确定在预设统计周期内所述报文帧中各个字段分别对应的变化次数，包括：以位为单位长度划分所述CAN报文的报文帧得到各个字段；确定在预设统计周期内所述各个字段分别对应的变化次数。5.根据权利要求3或4所述的方法，其特征在于，所述确定在预设统计周期内所述报文帧中各个字段分别对应的变化次数，包括：在预设的统计周期内，比较第一时刻所述各个字段分别对应的变化次数与第二时刻所述各个字段分别对应的变化次数是否发生变化，其中，所述第一时刻是第二时刻的...

【专利技术属性】
技术研发人员：郭森，
申请(专利权)人：北京经纬恒润科技有限公司，
类型：发明
国别省市：北京,11