国际运价数据的存储方法和系统技术方案

本发明专利技术公开了一种国际运价数据的存储方法和系统，该存储方法包括：合并ATPTO新发出的FTP文件；解析合并的所述FTP文件；将解析的所述FTP文件生成NSD文件，并将所述NSD文件存储至一分布式文件系统中；发送一消息至一数据分发模块，所述数据分发模块验证所述分布式文件系统中的所述NSD文件与所述消息的一致性，并在当前集群版本不为最新版本时将所述NSD文件分发至一运价服务集群的各节点；各节点判断本地内存数据是否为最新，并在判断结果为否时将所述NSD文件更新至一内存数据库中。本发明专利技术极大地节省了空间开销，解决了数据访问延迟的缺陷，在接受数据更新滞后前提下，保证了数据的新鲜度和报价准确度。

Storage method and system of international freight rate data

【技术实现步骤摘要】
国际运价数据的存储方法和系统
本专利技术涉及一种国际运价数据的存储方法和系统。
技术介绍
国际运价计算面临三大挑战：如何提供全航线有竞争力的价格、如何保证国际运价数据更新的准确及时以及如何提供高性能低成本的服务。在国际机票运价、销售及搜索整个链路中，ATPCO(AirlineTariffPublishingCompany)是全球最大的国际运价服务商之一，负责提供全球航空线路的运价数据，再将该运价数据分发给不同的在线旅游代理商OTA(OnlineTravelAgency)。随着时间的推移，国际运价数据量逐年快速增长，这对OTA的技术能力提出了更高的要求。当前全球有效运价数据超过1亿条，平均每天需要更新几十万条运价，而平均每小时则需更新1W多条运价和对应的规则，可见保证运价数据更新得及时准确面临着严峻的挑战。如何将运价拆分为不同的价格单元是一个NP完全问题(Non-deterministicPolynomial，多项式复杂程度的非确定性问题)。但是为了提供更有竞争力的价格，尽管多价格单元的报价计算提升竞争优势，但和单价格单元相比，其本文档来自技高网...

【技术保护点】
1.一种国际运价数据的存储方法，其特征在于，包括：/nS

【技术特征摘要】
1.一种国际运价数据的存储方法，其特征在于，包括：
S1、合并ATPTO新发出的FTP文件；
S2、解析合并的所述FTP文件；
S3、将解析的所述FTP文件生成NSD文件，并将所述NSD文件存储至一分布式文件系统中；
S4、发送一用于描述所述NSD文件的消息至一数据分发模块，所述数据分发模块验证所述分布式文件系统中的所述NSD文件与所述消息的一致性，并在当前集群版本不为最新版本时将所述NSD文件分发至一运价服务集群的各节点；
S5、各节点判断本地内存数据是否为最新，并在判断结果为否时将所述NSD文件更新至一内存数据库中。


2.如权利要求1所述的存储方法，其特征在于，所述NSD文件通过一序列化方式形成，所述序列化方式为：
S31、去掉Protobuf序列化时使用的第一字段，所述第一字段包括标签、类型和长度，并增加一位模；
S32、对所述FTP文件中结构化的数据的多个第二字段分别计算所述位模；
S33、判断各第二字段的值是否为空或默认值，并在其中一判断结果为是时将所述第二字段的位模置为0，否则序列化所述第二字段。


3.如权利要求1所述的存储方法，其特征在于，步骤S5包括：
S51、将各节点分批生成新的数据批次号和待拉取数据列表；
S52、设置一拉取标识，生成所述运价服务集群对应的Zookeeper节点的新的版本标识；
S53、当监听到所述Zookeeper节点的新的版本标识时，判断本地内存数据是否为最新，若否，从所述分布式文件系统中拉取所述NSD文件，并将所述NSD文件进行Key压缩以更新至所述内存数据库中。


4.如权利要求1所述的存储方法，其特征在于，步骤S5之后包括：
S6、对更新的数据创建一快照视图，并将所述快照视图的一引用计数器置为0；
S7、判断前一个快照视图的所述引用计数器的值是否为0，若是，销毁所述快照视图。


5.如权利要求1所述的存储方法，其特征在于，所述运价服务...

【专利技术属性】
技术研发人员：王渠，杜文龙，李俊玲，王树东，刘名寓，崔宇彤，
申请(专利权)人：携程旅游网络技术上海有限公司，
类型：发明
国别省市：上海;31