数据管理方法、装置及计算机设备制造方法及图纸

本申请涉及信息通讯技术领域，提供一种数据管理方法、装置及计算机设备。所述方法包括：获取目标原始数据文件和目标协议；根据所述目标协议从所述目标原始数据文件中获取目标数据帧；按照目标协议数据表的预设表结构，将目标数字编号及从所述目标数据帧中解析的目标数据，存储至所述目标协议数据表，所述目标协议数据表包括数据字段和数字编号字段，所述目标数字编号为采用所述目标协议从所述目标数据帧中解析的目标数据的标识信息。采用本方法能够对数据进行有序管理，减少内存空间占用、提高数据展示速度。提高数据展示速度。提高数据展示速度。

【技术实现步骤摘要】
数据管理方法、装置及计算机设备


[0001]本申请涉及信息通讯
，特别是涉及一种数据管理方法、装置及计算机设备。

技术介绍

[0002]随着信息通讯领域的发展，数据的存储和管理变得极为重要。例如在航空航天领域，遥测数据交互周期通常设定为5ms，由于交互频繁，遥测数据的交互无法通过实时界面完全呈现，需要对交互的数据包进行存储，待试验后进行离线解析分析，数据分析相关的软件由此出现。
[0003]根据数据流可以将数据形成过程划分为三个阶段：原始数据包阶段、数据包解析阶段、数据分析阶段。原始数据包可能包含多种协议数据，数据体量过大，生成的原始数据包可能会高达3GB。在数据包解析和数据分析阶段，数据分析相关的软件若采用readall函数读取方式，会因为内存占用过大，造成软件崩溃问题；若采用readline函数读取方式，会因为每次仅读取一行，处理一行，数据检索和展示速度过慢。
[0004]可见，目前对协议解析后的数据无法进行有序管理，导致出现占用内存过大，数据展示速度慢的问题。

技术实现思路

[0005]基于此，有必要针对上述技术问题，提供一种能够对数据进行有序管理，减少内存空间占用、提高数据展示速度的数据管理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0006]第一方面，本申请提供了一种数据管理方法，所述方法包括：获取目标原始数据文件和目标协议；根据所述目标协议从所述目标原始数据文件中获取目标数据帧；按照目标协议数据表的预设表结构，将目标数字编号及从所述目标数据帧中解析的目标数据，存储至所述目标协议数据表，所述目标协议数据表包括数据字段和数字编号字段，所述目标数字编号为采用所述目标协议从所述目标数据帧中解析的目标数据的标识信息。
[0007]在其中一个实施例中，所述根据所述目标协议从所述目标原始数据文件中获取目标数据帧，包括：将所述目标协议对应的目标帧头与所述目标原始数据文件进行匹配，得到第一匹配结果；在所述第一匹配结果表征所述目标原始数据文件中存在所述目标帧头的情况下，根据所述目标协议对应的目标帧头和目标帧长，从所述目标原始数据文件中获取目标数据帧。
[0008]在其中一个实施例中，所述按照目标协议数据表的预设表结构，将目标数字编号
及从所述目标数据帧中解析的目标数据，存储至所述目标协议数据表，包括：在所述目标数据帧为从所述目标原始数据文件中获取的第i个数据帧的情况下，按照目标协议数据表的预设表结构，将目标数字编号及从所述目标数据帧中解析的目标数据，存储至所述目标协议数据表，其中i为大于1的整数；或者，在所述目标数据帧为从所述目标原始数据文件中获取的第1个数据帧的情况下，从所述目标协议中获取目标协议编号，将所述目标协议编号与数据主表进行匹配，得到第二匹配结果；根据所述第二匹配结果，按照所述目标协议数据表的预设表结构，将所述目标数字编号及从所述目标数据帧中解析的目标数据，存储至所述目标协议数据表。
[0009]在其中一个实施例中，所述根据所述第二匹配结果，按照所述目标协议数据表的预设表结构，将所述目标数字编号及从所述目标数据帧中解析的目标数据，存储至所述目标协议数据表，包括：在所述第二匹配结果表征所述数据主表中存在所述目标协议编号的情况下，确定所述数据主表与所述目标原始数据文件的对比结果，并根据所述对比结果，按照所述目标协议数据表的预设表结构，将所述目标数字编号及从所述目标数据帧中解析的目标数据，存储至所述目标协议数据表；或者，在所述第二匹配结果表征所述数据主表中不存在所述目标协议编号的情况下，在所述数据主表中新增一行所述目标协议编号对应的目标主表数据，从所述目标主表数据中获取所述目标数字编号，及在协议信息表中增加所述目标协议的全部协议字段，新建所述目标协议编号对应的所述目标协议数据表，按照所述目标协议数据表的预设表结构，将所述目标数字编号及从所述目标数据帧中解析的目标数据，存储至所述目标协议数据表。
[0010]在其中一个实施例中，所述确定所述数据主表与所述目标原始数据文件的对比结果，包括：从所述数据主表中获取所述目标协议编号对应的所述数字编号、原始数据文件名称、协议数据表的名称；将所述原始数据文件名称与所述目标原始数据文件进行对比，得到对比结果。
[0011]在其中一个实施例中，所述根据所述对比结果，按照所述目标协议数据表的预设表结构，将所述目标数字编号及从所述目标数据帧中解析的目标数据，存储至所述目标协议数据表，包括：在所述对比结果表征所述原始数据文件名称与所述目标原始数据文件的名称相同的情况下，将所述数字编号作为所述目标数字编号，及将所述协议数据表作为所述目标协议数据表；从所述目标协议数据表中删除所述目标数字编号对应的数据，按照所述目标协议数据表的预设表结构，将所述目标数字编号及从所述目标数据帧中解析的目标数据，存储至所述目标协议数据表；或者，在所述对比结果表征所述原始数据文件名称与所述目标原始数据文件的名称不同的情况下，在所述数据主表中新增一行所述目标协议编号对应的目标主表数据，从所述目标主表数据中获取所述目标数字编号，按照所述目标协议数据表的预设表结构，将所述目标数字编号及从所述目标数据帧中解析的目标数据，存储至所述目标协议数据表。
[0012]在其中一个实施例中，所述数据管理方法还包括：根据所述目标原始数据文件和所述目标协议，从数据主表中确定所述目标数字编号和目标协议编号；根据所述目标协议编号，从协议信息表中确定目标协议字段的位置；根据所述目标协议字段的位置从所述目标协议数据表中，获取所述目标协议字段对应的数据列。
[0013]第二方面，本申请提供了一种数据管理装置，所述装置包括：文件获取模块，用于获取目标原始数据文件和目标协议；数据获取模块，用于根据所述目标协议从所述目标原始数据文件中获取目标数据帧；数据存储模块，用于按照目标协议数据表的预设表结构，将目标数字编号及从所述目标数据帧中解析的目标数据，存储至所述目标协议数据表，所述目标协议数据表包括数据字段和数字编号字段，所述目标数字编号为采用所述目标协议从所述目标数据帧中解析的目标数据的标识信息。
[0014]在其中一个实施例中，所述数据获取模块，还用于将所述目标协议对应的目标帧头与所述目标原始数据文件进行匹配，得到第一匹配结果；在所述第一匹配结果表征所述目标原始数据文件中存在所述目标帧头的情况下，根据所述目标协议对应的目标帧头和目标帧长，从所述目标原始数据文件中获取目标数据帧。
[0015]在其中一个实施例中，所述数据存储模块，还用于在所述目标数据帧为从所述目标原始数据文件中获取的第i个数据帧的情况下，按照目标协议数据表的预设表结构，将目标数字编号及从所述目标数据帧中解析的目标数据，存储至所述目标协议数据表，其中i为大于1的整数；或者，在所述目标数据帧为从所述目标原始数据文件中获取的第1个数据帧的情况下，从所述目标协议中获取目标协议编号，将所述目标协议编号与数据主表进行匹配，得到第二匹配结果；根据所述第二匹配结果，按照所述目标协议数据表的预设表结构本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据管理方法，其特征在于，所述方法包括：获取目标原始数据文件和目标协议；根据所述目标协议从所述目标原始数据文件中获取目标数据帧；按照目标协议数据表的预设表结构，将目标数字编号及从所述目标数据帧中解析的目标数据，存储至所述目标协议数据表，所述目标协议数据表包括数据字段和数字编号字段，所述目标数字编号为采用所述目标协议从所述目标数据帧中解析的目标数据的标识信息。2.根据权利要求1所述的方法，其特征在于，所述根据所述目标协议从所述目标原始数据文件中获取目标数据帧，包括：将所述目标协议对应的目标帧头与所述目标原始数据文件进行匹配，得到第一匹配结果；在所述第一匹配结果表征所述目标原始数据文件中存在所述目标帧头的情况下，根据所述目标协议对应的目标帧头和目标帧长，从所述目标原始数据文件中获取目标数据帧。3.根据权利要求1所述的方法，其特征在于，所述按照目标协议数据表的预设表结构，将目标数字编号及从所述目标数据帧中解析的目标数据，存储至所述目标协议数据表，包括：在所述目标数据帧为从所述目标原始数据文件中获取的第i个数据帧的情况下，按照目标协议数据表的预设表结构，将目标数字编号及从所述目标数据帧中解析的目标数据，存储至所述目标协议数据表，其中i为大于1的整数；或者，在所述目标数据帧为从所述目标原始数据文件中获取的第1个数据帧的情况下，从所述目标协议中获取目标协议编号，将所述目标协议编号与数据主表进行匹配，得到第二匹配结果；根据所述第二匹配结果，按照所述目标协议数据表的预设表结构，将所述目标数字编号及从所述目标数据帧中解析的目标数据，存储至所述目标协议数据表。4.根据权利要求3所述的方法，其特征在于，所述根据所述第二匹配结果，按照所述目标协议数据表的预设表结构，将所述目标数字编号及从所述目标数据帧中解析的目标数据，存储至所述目标协议数据表，包括：在所述第二匹配结果表征所述数据主表中存在所述目标协议编号的情况下，确定所述数据主表与所述目标原始数据文件的对比结果，并根据所述对比结果，按照所述目标协议数据表的预设表结构，将所述目标数字编号及从所述目标数据帧中解析的目标数据，存储至所述目标协议数据表；或者，在所述第二匹配结果表征所述数据主表中不存在所述目标协议编号的情况下，在所述数据主表中新增一行所述目标协议编号对应的目标主表数据，从所述目标主表数据中获取所述目标数字编号，及在协议信息表中增加所述目标协议的全部协议字段，新建所述目标协议编号对应的所述目标协议数据表，按照所述目标协议数据表的预设表结构，将所述目标数字编号及从所述目标数据帧...

【专利技术属性】
技术研发人员：李健奇，陈斌，于万斌，张向勇，孙钊宁，赵维，李鹏，郑海东，
申请(专利权)人：北京国科天迅科技有限公司，
类型：发明
国别省市：