一种数据处理系统、方法、电子设备及计算机存储介质技术方案

本发明专利技术提供一种数据处理系统、方法、电子设备及计算机存储介质，数据处理系统包括数据采集服务组件、数据通信组件、流量统计查询组件和缓存组件；数据采集服务组件，用于采集运价搜索引擎服务中的运价搜索数据，对运价搜索数据进行处理，得到处理后的明细数据；通过数据通信组件将明细数据发送给流量统计查询组件；流量统计查询组件，用于获取成功接收到数据通信组件发送的所述明细数据；对成功接收到的明细数据进行统计处理，并将处理得到的统计数据写入缓存组件。在本发明专利技术通过将采集的数据进行处理，进而进行存储；以便后续用户通过流量统计查询组件查询对应的数据，从而能够提高处理效率和处理的准确度。处理效率和处理的准确度。处理效率和处理的准确度。

【技术实现步骤摘要】
一种数据处理系统、方法、电子设备及计算机存储介质


[0001]本专利技术涉及数据处理
，尤其涉及一种数据处理系统、方法、电子设备及计算机存储介质。

技术介绍

[0002]在全球民航业的蓬勃发展以及经济全球化的不断拓展的背景下，航空公司以及机场的数量不断增加。航空公司以及机场会产生更多的航线、其对应的运价数据，以及更多的用户群体数据。从而导致更多的运价搜索流量产生，同时也有更多更复杂的业务信息数据产生，因此如何存储、分析和利用这些数据是目前不得不面对的问题。
[0003]目前，常通过人工的方式对产生的业务信息数据进行存储、分析和利用处理。但通过人工的进行处理容易出现错误且处理时间较长，从而导致处理率较低且准确性较低。

技术实现思路

[0004]有鉴于此，本专利技术实施例提供一种数据处理系统、方法、电子设备及计算机存储介质，以解决现有技术中存在的处理率较低且准确性较低的问题。
[0005]为实现上述目的，本专利技术实施例提供如下技术方案：
[0006]本专利技术实施例第一方面示出了一种数据处理系统，所述数据处理系统包括数据采集服务组件、数据通信组件、流量统计查询组件、和缓存组件；
[0007]所述数据采集服务组件，用于采集运价搜索引擎服务中的运价搜索数据，对所述运价搜索数据进行处理，得到处理后的明细数据；通过所述数据通信组件将所述明细数据发送给所述流量统计查询组件；
[0008]所述流量统计查询组件，用于获取成功接收到数据通信组件发送的所述明细数据；对所述成功接收到的明细数据进行统计处理，并将处理得到的统计数据写入缓存组件。
[0009]可选的，所述数据采集服务组件，还用于：
[0010]在通过所述数据通信组件将所述明细数据发送给流量统计查询组件的过程中，对传输网络的网络情况进行检测；
[0011]若确定所述网络情况不存在异常，通过所述数据通信组件将所述明细数据发送给流量统计查询组件；
[0012]若确定所述网络情况存在异常，将正在发送的明细数据进行暂存；
[0013]若确定所述网络情况从异常恢复成正常时，将所述暂存的明细数据通过数据通信组件发送给所述流量统计查询组件。
[0014]可选的，所述对所述运价搜索数据进行处理，得到处理后的明细数据的数据采集服务组件，具体用于：
[0015]提取所述运价搜索数据中的业务字段；
[0016]按照预设模板的格式将所述业务字段进行整理，得到明细数据。
[0017]可选的，所述成功接收到的明细数据进行统计处理，并将处理得到的统计数据写
入缓存组件的所述流量统计查询组件，具体用于：
[0018]对所述明细数据中业务字段的统计处理，生成运价搜索流量统计标识名称；
[0019]基于所述运价搜索流量统计标识名称进行汇总，得到统计数据；
[0020]将所述统计数据写入缓存组件，以及数据库。
[0021]可选的，所述流量统计查询组件，还用于：
[0022]若接收到用户终端发送的数据查询指令时，验证所述数据查询指令中的查询请求参数是否符合预设规则；
[0023]若符合预设规则，遍历所述缓存组件确定是否存在与所述查询请求参数对应的缓存结果；
[0024]若存在，将对应的缓存结果反馈给所述用户终端。
[0025]本专利技术实施例第二方面示出了一种数据处理方法，应用于本专利技术实施例第一方面示出的数据处理系统，所述数据处理系统包括数据采集服务组件、数据通信组件、流量统计查询组件、和缓存组件；所述方法包括：
[0026]所述数据采集服务组件采集运价搜索引擎服务中的运价搜索数据，对所述运价搜索数据进行处理，得到处理后的明细数据；通过所述数据通信组件将所述明细数据发送给所述流量统计查询组件；
[0027]所述流量统计查询组件获取成功接收到数据通信组件发送的所述明细数据；对所述成功接收到的明细数据进行统计处理，并将处理得到的统计数据写入缓存组件。
[0028]可选的，还包括：
[0029]所述数据采集服务组件对传输网络的网络情况进行检测；
[0030]若确定所述网络情况不存在异常，通过所述数据通信组件将所述明细数据发送给流量统计查询组件；
[0031]若确定所述网络情况存在异常，将正在发送的明细数据进行暂存；
[0032]若确定所述网络情况从异常恢复成正常时，将所述暂存的明细数据通过数据通信组件发送给所述流量统计查询组件。
[0033]可选的，所述对所述运价搜索数据进行处理，得到处理后的明细数据，包括：
[0034]提取所述运价搜索数据中的业务字段；
[0035]按照预设模板的格式将所述业务字段进行整理，得到明细数据。
[0036]本专利技术实施例第三方面示出了一种电子设备，所述电子设备用于运行程序，其中，所述程序运行时执行如本专利技术实施例第二方面示出的数据处理方法。
[0037]本专利技术实施例第四方面示出了一种计算机存储介质，所述存储介质包括存储程序，其中，在所述程序运行时控制所述存储介质所在设备执行如本专利技术实施例第二方面示出的数据处理方法。
[0038]基于上述本专利技术实施例提供的一种数据处理系统、方法、电子设备及计算机存储介质，所述数据处理系统包括数据采集服务组件、数据通信组件、流量统计查询组件、和缓存组件；所述数据采集服务组件，用于采集运价搜索引擎服务中的运价搜索数据，对所述运价搜索数据进行处理，得到处理后的明细数据；通过所述数据通信组件将所述明细数据发送给所述流量统计查询组件；所述流量统计查询组件，用于获取成功接收到数据通信组件发送的所述明细数据；对所述成功接收到的明细数据进行统计处理，并将处理得到的统计
数据写入缓存组件。在本专利技术实施例中，通过预先将采集的数据进行处理，进而进行存储，从而能够实时、可靠传输运价搜索引擎服务的业务数据，且保证数据的完整性、高可用性，一致性；以便后续用户通过流量统计查询组件查询对应的数据，从而能够提高处理效率和处理的准确度。
附图说明
[0039]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0040]图1为本专利技术实施例示出的一种数据处理系统的结构示意图；
[0041]图2为本专利技术实施例示出的另一种数据处理系统的结构示意图；
[0042]图3为本专利技术实施例示出的一种数据处理方法的流程示意图；
[0043]图4为本专利技术实施例示出的另一种数据处理方法的流程示意图；
[0044]图5为本专利技术实施例示出的数据推送的架构示意图；
[0045]图6为本专利技术实施例示出的又一种数据处理方法的流程
[0046]图7为本专利技术实施例示出的统计数据处理的架构示意图；...

【技术保护点】

【技术特征摘要】
1.一种数据处理系统，其特征在于，所述数据处理系统包括数据采集服务组件、数据通信组件、流量统计查询组件、和缓存组件；所述数据采集服务组件，用于采集运价搜索引擎服务中的运价搜索数据，对所述运价搜索数据进行处理，得到处理后的明细数据；通过所述数据通信组件将所述明细数据发送给所述流量统计查询组件；所述流量统计查询组件，用于获取成功接收到数据通信组件发送的所述明细数据；对所述成功接收到的明细数据进行统计处理，并将处理得到的统计数据写入缓存组件。2.根据权利要求1所述的系统，其特征在于，所述数据采集服务组件，还用于：在通过所述数据通信组件将所述明细数据发送给流量统计查询组件的过程中，对传输网络的网络情况进行检测；若确定所述网络情况不存在异常，通过所述数据通信组件将所述明细数据发送给流量统计查询组件；若确定所述网络情况存在异常，将正在发送的明细数据进行暂存；若确定所述网络情况从异常恢复成正常时，将所述暂存的明细数据通过数据通信组件发送给所述流量统计查询组件。3.根据权利要求1所述的系统，其特征在于，所述对所述运价搜索数据进行处理，得到处理后的明细数据的数据采集服务组件，具体用于：提取所述运价搜索数据中的业务字段；按照预设模板的格式将所述业务字段进行整理，得到明细数据。4.根据权利要求1所述的系统，其特征在于，所述成功接收到的明细数据进行统计处理，并将处理得到的统计数据写入缓存组件的所述流量统计查询组件，具体用于：对所述明细数据中业务字段的统计处理，生成运价搜索流量统计标识名称；基于所述运价搜索流量统计标识名称进行汇总，得到统计数据；将所述统计数据写入缓存组件，以及数据库。5.根据权利要求1所述的系统，其特征在于，所述流量统计查询组件，还用于：若接收到用户终端发送的数据查询指令时，验证所述数据查询指令中的查询请求...

【专利技术属性】
技术研发人员：杨光亮，贾永强，刘沙，张宏海，杨永凯，张凯，智强，王英华，
申请(专利权)人：中国民航信息网络股份有限公司，
类型：发明
国别省市：