一种基于时间金字塔的航空总线数据处理方法技术

本发明专利技术涉及数据处理领域，具体为一种基于时间金字塔的航空总线数据处理方法。其包括如下步骤：S1、对数据进行清洗校验；S2、将复杂的表结构按列分割；S3、构建时间列加数据列的数据组合；S4、构建时间金字塔数据的最底层基础瓦片数据；S5、将基础的待处理数据以每次频率减半的方式进行抽稀，形成多层级的频率递减的抽稀数据，数据形成多层级的LOD数据；S6、将每一层级的LOD数据按照每层级瓦片构建的方法对数据按时间进行分块处理；S7、将瓦片数据序列化到数据库中，形成分层级的瓦片金字塔数据。本发明专利技术实现了对飞机总线数据的瓦片分割，进而将庞大而复杂的总线数据瓦片化处理，在使用中可以达到按需调用、随用随取的目的。随用随取的目的。随用随取的目的。

【技术实现步骤摘要】
一种基于时间金字塔的航空总线数据处理方法


[0001]本专利技术涉及数据处理领域，特别是涉及一种基于时间金字塔的航空总线数据处理方法。

技术介绍

[0002]飞机总线数据数据量庞大，通常一个架次飞行2个小时左右，解码出来的数据量可以至少在几十GB到上千GB之间，不同类型的数据均以二维表的形式对数据进行管理，数据表格描述复杂，通常一个数据文件包含几十个字段到几千个字段不等，除时间字段外，其他列数据分别通过一列或者多列来描述一类指标，如飞机航迹数据就包括时间列数据以及x、y、z三列坐标数据。对于此类数据，传统的使用方式是根据具体的业务需要，在对应的数据表中抽取相关的数据列及时间列，将数据用于对应的各类指标分析与可视化。针对此类大数据的图形化可视化展示，通过原始数据的直接调度效率低下，系统资源消耗巨大，通常不能在普通图形工作站上使用，不能满足数据展示时的按需调度与快速展示。

技术实现思路

[0003]本专利技术目的是针对
技术介绍
中存在的问题，提出一种基于时间金字塔的航空总线数据处理方法，实现对飞机总线数据的瓦片分割，进而将庞大而复杂的总线数据瓦片化处理，在使用中可以达到按需调用、随用随取的目的。
[0004]本专利技术的技术方案，一种基于时间金字塔的航空总线数据处理方法，包括如下步骤：
[0005]S1、对数据进行清洗校验，去掉无效数据；
[0006]S2、将复杂的表结构按列分割，每列均为一类总线信息数据；
[0007]S3、构建时间列加数据列的数据组合，即时间列附加到每一个数据列中，形成以时间为索引的数据组合；
[0008]S4、将组合好的时间、数据组合列数据作为基础的待处理数据，根据数据的起始和终止时间间隔计算数据总时长，按照时间均分为n个Block数据段，进而构建时间金字塔数据的最底层基础瓦片数据；
[0009]S5、将基础的待处理数据以每次频率减半的方式进行抽稀，形成多层级的频率递减的抽稀数据，每次以依次抽稀分块后，数据形成多层级的LOD数据；
[0010]S6、将每一层级的LOD数据按照每层级瓦片构建的方法对数据按时间进行分块处理，分块后的每个数据片段称之为数据瓦片；
[0011]S7、将瓦片数据序列化到数据库中，形成分层级的瓦片金字塔数据。
[0012]优选的，S3中，时间列可以和多个相关数据列组合成一类数据。
[0013]优选的，S4中，划分的数据块的数量可自行定义。
[0014]优选的，S7中，瓦片金字塔数据作为可视化的基础数据，在可视化过程中可以根据分辨率需求调用不同层级的瓦片数据以实现指定时间段的数据可视化。
[0015]与现有技术相比，本专利技术具有如下有益的技术效果：
[0016]本专利技术解决了飞机航空总线数据的预处理问题，通过对航空总线数据以及类似飞机总线数据的预处理，实现了总线数据按列快速提取，通过数据金字塔的构建，解决了数据可视化过程中一次性加载原始高频率数据造成的数据量过大问题，以及因此导致的可视化效率低下问题，实现了根据不同分辨率需求的分层级快速调度。
附图说明
[0017]图1为本专利技术实施例中列数据LOD抽样示意图；
[0018]图2为原始数据样例；
[0019]图3
‑
图5为按列抽取后数据；
[0020]图6
‑
图9为数据不同层级可视化示意图。
具体实施方式
[0021]本专利技术提出的一种基于时间金字塔的航空总线数据处理方法，包括如下步骤：
[0022]S1、对数据进行清洗校验，去掉无效数据，图2所示为待处理的示例原始数据，通过加载飞行总线原始数据解码后的数据来对数据进行清洗；
[0023]S2、将复杂的表结构按列分割，每列均为一类总线信息数据；
[0024]S3、构建时间列加数据列的数据组合，即时间列附加到每一个数据列中，形成以时间为索引的数据组合，时间列可以和多个相关数据列组合成一类数据，比如时间列与飞机的空间位置数据组合，空间位置数据即为包含x、y、z三维坐标轴的三列数据，按列抽取后数据样式见图3
‑
图5；
[0025]S4、将组合好的时间、数据组合列数据作为基础的待处理数据，根据数据的起始和终止时间间隔计算数据总时长，按照时间均分为n个Block数据段，进而构建时间金字塔数据的最底层基础瓦片数据，划分的数据块的数量可自行定义；
[0026]S5、将基础的待处理数据以每次频率减半的方式进行抽稀，形成多层级的频率递减的抽稀数据，每次以依次抽稀分块后，数据形成多层级的LOD数据，如图1所示；
[0027]对于多层级的LOD数据，除了基础的源数据可以用来指标分析和数据展示外，其他层级数据均以用来提供给用户的交互输入及数据展示为主。在对指标进行分析时，系统会根据对应指标的特殊事件自动分析算法或交互的形式实现要评估数据的起始与终止时刻标识，评估系统会根据用户输入的时间段计算需要调度的源数据对应的Block段，进而实现评估数据的按需调度。这种设计可以有效的避免因数据抽稀造成的评估结果不精确或不抽稀会导致大量冗余数据的载入问题。
[0028]瓦片层级的建立方法，以0到24小时作为全时段瓦片切分的标准。最顶层为两个瓦片作为基础瓦片，即0到12小时，12到24小时，分别对应瓦片L0X0，L0X1，依次向下裂分，L1X0，L1X1，L1X2，L1X3
……
，当裂分到13级时共4096*2个瓦片，每个瓦片涵盖时间为10546.875ms，按照最高可能每秒钟100Hz算，一个瓦片包含数据量为1055个行左右，数据量适中，初定为此种方式，数据频率与其实切分层级建立静态对应关系表见下表1。
[0029]表1、数据频率与其实切分层级建立静态对应关系表
[0030]层级时间段/瓦片(ms)频率范围(Hz)
143200000 221600000 310800000 454000000.25527000000.56135000017675000283375004916875081084375161142187.5321221093.75641310546.875128
[0031]S6、将每一层级的LOD数据按照每层级瓦片构建的方法对数据按时间进行分块处理，分块后的每个数据片段称之为数据瓦片；
[0032]S7、将瓦片数据序列化到数据库中，形成分层级的瓦片金字塔数据，瓦片金字塔数据作为可视化的基础数据，在可视化过程中可以根据分辨率需求调用不同层级的瓦片数据以实现指定时间段的数据可视化。如图6
‑
图9所示，竖轴为时间，即一个飞行架次的起始到终止的时间时长，横轴为归一化的不同时刻点对应各类参数指标的数值。
[0033]本专利技术解决了飞机航空总线数据的预处理问题，通过对航空总线数据以及类似飞机总线数据(以时间为索引对各类参数进行表达的关系型表格数据)的预处理，实现了总线数据按列快速提取，通过数据金字塔的构建，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时间金字塔的航空总线数据处理方法，其特征在于，包括如下步骤：S1、对数据进行清洗校验，去掉无效数据；S2、将复杂的表结构按列分割，每列均为一类总线信息数据；S3、构建时间列加数据列的数据组合，即时间列附加到每一个数据列中，形成以时间为索引的数据组合；S4、将组合好的时间、数据组合列数据作为基础的待处理数据，根据数据的起始和终止时间间隔计算数据总时长，按照时间均分为n个Block数据段，进而构建时间金字塔数据的最底层基础瓦片数据；S5、将基础的待处理数据以每次频率减半的方式进行抽稀，形成多层级的频率递减的抽稀数据，每次以依次抽稀分块后，数据形成多层级的LOD数据；S6、将每一层级的LOD数据按...

【专利技术属性】
技术研发人员：李治庆，王昶旭，
申请(专利权)人：中企恒达北京科技有限公司，
类型：发明
国别省市：