一种面向全球民航客票燃油附加费实时计算的预处理方法及系统技术方案

本发明专利技术公开了一种面向全球民航客票燃油附加费实时计算的预处理方法及系统。其中处理方法包括：根据全球燃油费原始数据获取周期实时触发解析模块，将燃油费原始报文数据分类并去重，然后解析至存储模块，形成全球航司客票燃油费原始库(简称：燃油费原始库）。处理模块对存储模块中新增燃油费数据进行有效性判断并排序，根据燃油费业务规则知识库对基础数据中的时效类型等业务字段配置清洗规则，对上述全球航司客票原始库进行清洗，进一步形成全球航司客票有效库（简称：燃油费有效库）。重构模块抽取燃油费有效库中数据，分解、重构燃油费有效库中原始报文结构，形成面向实时计算的燃油费实时计算物理库。缓存模块针对燃油费物理库中结构设置索引等缓存策略，建立燃油费多级内存管理结构，形成燃油费实时计算内存库。数据一致性模块管理系统物理库和内存库之间的数据一致性，形成面向实时计算的燃油费联合数据库（简称：燃油费联合库）。任务配置模块记录数据更新时间并保存至联合数据库中，为燃油费计算模块作实时计算前的数据初始化配置。本发明专利技术通过获取全球客票燃油费原始报文数据，并将其进行检验清洗，优化重构其数据结构，建立高效的多级内存管理机制，实现对全球民航客票燃油费实时计算前的系列预处理准备工作。油费实时计算前的系列预处理准备工作。

【技术实现步骤摘要】
一种面向全球民航客票燃油附加费实时计算的预处理方法及系统


[0001]本专利技术涉及数据处理
，特别涉及一种用于全球民航客票燃油附加费计算的预处理方法及系统。

技术介绍

[0002]目前全球航司通过税费数据发布机构发布的全球燃油费基础数据，国际主流GDS(Global Distribution System)通过税费数据发布机构提供的数据服务，获取全球各航司发布的本航司全球航线燃油附加费征收规则及费用数据。
[0003]目前，国内航司没有自主的燃油附加费计算接口，燃油附加费的计算相对复杂，使用原始数据计算成本较高，计算效率较低。

技术实现思路

[0004]为了实现上述目的，本专利技术公开一种面向全球民航客票燃油附加费实时计算的预处理方法及系统，通过对原始燃油附加费报文数据的解析，清洗和优化，能够显著提高燃油附加费计算效率和精确度，并利于后续燃油附加费基础数据维护工作，包括以下步骤。
[0005]步骤1，周期性获取全球燃油费原始报文数据，并对原始数据进行解析和校验，形成燃油费原始库。
[0006]步骤2，根据燃油费业务规则知识库配置的清洗规则对存储模块中全球航司客票原始库数据进行清洗，形成全球航司客票有效库。
[0007]步骤3，根据所述燃油费有效数据库，精简重构燃油费数据结构，实现对原始报文结构的分解和重构，形成面向燃油费计算的物理数据库。
[0008]步骤4，为燃油费物理结构设置索引等缓存策略，建立燃油费多级内存管理结构，形成燃油费实时计算内存库。/>[0009]步骤5，实现对燃油费数据物理库及内存库的同步管理，形成面向实时计算的燃油费联合数据库。
[0010]步骤6，任务配置模块记录数据更新时间并保存至联合数据库中，为燃油费计算模块作实时计算前的数据初始化配置。
[0011]作为优选的技术方案，所述对原始数据进行解析和校验，所述步骤1进一步包括：根据原始数据获取周期，实时获取格式为文本文件的燃油费原始数据。
[0012]按行读取燃油费文本文件数据，然后对读取到的燃油费原始数据进行分类，将燃油费原始数据分为燃油费核心数据和燃油费辅助数据，并去除掉重复录入的数据。
[0013]按提取规则对燃油费原始数据解析，形成燃油费原始库。
[0014]作为优选的技术方案，所述对数据进行有效性判断，按照时效类型对所述数据进行清洗，所述步骤2进一步包括：对燃油费数据按策略进行排序 ，列数据集中的数据进行筛选排序，如升序或降
序，提高数据处理效率。
[0015]研发全球航司燃油费业务知识库，按照该库规则对全球航司燃油费原始库中数据进行有效性业务判断，删除缺失数据，减少异常数据记录对总体数据的影响。
[0016]按照燃油费记录生效时间，对燃油费记录进行清洗，标记其状态，便于实时计算。
[0017]作为优选的技术方案，所述对燃油费数据结构精简重构，实现对原始报文结构的分解和重构，形成面向燃油费计算的物理数据库，所述步骤3进一步包括：依据构建的全球航司燃油费业务知识库中知识规则，对清洗后燃油费有效数据进行整理。
[0018]在燃油费有效库中，按业务规则抽取全球燃油费实时计算所需的燃油费有效数据。
[0019]面向前台实时燃油费计算，对抽取后的燃油费数据结构按照数据库数据依赖计算策略进行分解，计算出精简的关系模式。
[0020]基于以上计算出的面向实时计算的关系模式，开始对燃油费原始结构进行重构，形成全球航司燃油费实时计算物理库。
[0021]作为优选的技术方案，所述面向实时计算的燃油费物理数据库进行数据组织结构优化，建立面向燃油费实时计算的多级内存库，所述步骤4进一步包括：在分析燃油费实时计算物理库中核心数据、辅助数据和基础数据等数据分布和特征基础上，设置主键索引等相关优化策略。
[0022]为了进一步提高面向实时计算的处理性能和稳定性，系统根据燃油费实时计算物理库结构和燃油费计算要求，抽取库中核心数据、辅助数据、基础数据中字段和数据组成KV结构，建立燃油费数据缓存结构，形成全球航司燃油费实时计算内存库。
[0023]作为优选的技术方案，所述实现对燃油费数据物理库及内存库的同步管理，形成面向实时计算的燃油费联合数据库，所述步骤5进一步包括：在燃油费物理数据库和多级内存数据库结构的基础上，系统实现对物理结构及多级内存结构数据一致性的管理，保障实时计算的高效运行。
[0024]作为优选的技术方案，所述任务配置模块记录数据更新时间并保存至联合数据库中，为燃油费计算模块作实时计算前的数据初始化配置，所述步骤6具体包括：记录燃油费增量数据更新入库时间至燃油费辅助数据库，为燃油费计算模块作计算前数据初始化配置。
附图说明
[0025]图1是本专利技术一种用于全球民航客票燃油附加费计算的预处理方法的流程图。
[0026]图2是从数据角度，描述数据在提出方法中的流向关系。
[0027]图3展示了燃油费数据预处理系统模块架构图。
具体实施方式
[0028]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。所描述的实施例仅是本专利技术的一部分实施样例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施
例，都属于本专利技术保护的范围。
[0029]如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
[0030]除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
[0031]参照图1，本实施例提供一种用于全球民航客票燃油附加费计算的预处理方法，包括：S10：周期性获取燃油费原始报文数据，并对原始数据进行解析和校核，形成燃油费数据原始结构。
[0032]具体的，首先从订购的全球航司燃油费官方网站通过获取官方认证的用户名和密码，周期性获取燃油费原始报文数据，将这些原始数据进行解析处理，例如：每天一次从官方网站获取燃油费获取到多个最新的燃油费数据基础文件，按原始报文数据文件名分类并行解析，同时对每行的市场航司、旅行时间等本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向全球民航客票燃油附加费实时计算的预处理方法及系统，其特征在于，包括以下步骤：步骤1：涉及周期性获取燃油费原始报文数据，并对原始数据进行解析和校核，形成全球航司客票燃油费原始库；步骤2：根据形成的燃油费数据原始库，对燃油费原始数据进行有效性判断，根据燃油费业务规则知识库对基础数据中的时效类型等业务字段配置清洗规则，所形成的全球航司客票原始库进行清洗，形成全球航司客票燃油费有效库；步骤3：根据所述燃油费有效库中数据，精简重构燃油费数据结构，实现对原始报文结构的分解和重构，形成面向燃油费实时计算的物理数据库；步骤4：根据形成的面向燃油费计算的物理数据库，为燃油费计算物理结构设置索引等缓存策略，建立燃油费多级内存管理结构，形成燃油费实时计算内存库；步骤5：数据一致性模块管理系统物理库和内存库之间的数据一致性，形成面向实时计算的燃油费联合数据库；步骤6：任务配置模块记录数据更新时间并保存至联合数据库中，为燃油费计算模块作实时计算前的数据初始化配置。2.根据权利要求1所述方法，其特征在于，周期性获取燃油费原始报文数据，并对原始数据进行解析和校核，形成全球航司客票燃油费原始库，所述步骤1进一步包括：根据原始数据获取周期，实时获取格式为文本文件的全球燃油费原始报文数据；并行化处理燃油费报文数据，并对读取到的燃油费原始数据进行分类，将燃油费原始数据分为燃油费核心数据和燃油费辅助数据，并去除掉语义重复的基础数据，建立燃油费原始核心数据结构和燃油费原始辅助数据结构，形成全球航司客票燃油费原始库。3.根据权利要求1所述方法，其特征在于，根据形成的燃油费计算数据原始结构，对核心和辅助基础数据进行有效性判断，并按照时效类型对所述数据进行清洗，形成全球航司燃油费有效库，所述步骤2进一步包括：对全球航司燃油费数据按策略进行排序 ，并对数据集中的数据进行筛选排序，如升序或降序，提高数据处理效率；研发全球航司燃油费业务知识库，按照该库规则对全球航司燃油费原始库中数据进行有效性业务判断，例如删除缺失核心属性的记录，直接删除带有缺失值的行记录或者列字段...

【专利技术属性】
技术研发人员：陈兵，张秀，孟凡，陈菲，沙鑫，
申请(专利权)人：南京贝特威信息技术有限公司，
类型：发明
国别省市：