数据的获取方法及装置、存储介质、终端制造方法及图纸

本发明专利技术公开了一种数据的获取方法及装置、存储介质、终端，涉及数据处理技术领域，主要目的在于能够通过批处理与流处理两种计算方式，分别处理和存储历史数据和实时数据，在获取数据时，可以直接对应获取处理结果，以减少重复计算量，从而提高数据获取效率，降低数据获取成本，节约计算资源。所述方法包括：识别接收的数据获取请求中携带的数据获取时间段与预设数据节点时长是否匹配；若所述数据获取时间段与所述预设数据节点时长不匹配，则从经过批计算处理得到的数据中获取与所述获取时间段匹配的数据；若所述数据获取时间段与所述预设数据节点时长匹配，则从经过流计算处理得到的数据中获取与获取时间段匹配的数据。本发明专利技术适用于数据的获取。

【技术实现步骤摘要】
数据的获取方法及装置、存储介质、终端
本专利技术涉及数据处理
，特别是涉及一种数据的获取方法及装置、存储介质、终端。
技术介绍
随着互联网信息技术的发展，业务数据在日常业务的拓展以及业务维护中的作用与日俱增，而使用核心指标数据来进行业务指导并驱动业务发展，在互联网公司日常业务运营的过程中起到了至关重要的作用。目前，现有的数据的获取方法需要系统后台将一段时间内的明细数据全部存储下来，用户查询任意时间段的数据时，通过将所有存储的明细数据进行汇总，以得到数据。然而，由于用户每次获取数据时，都需要重新对所有数据进行汇总计算，提高了数据的获取成本，降低了数据的获取效率，且极大地浪费了计算资源。
技术实现思路
有鉴于此，本专利技术提供一种数据的获取方法及装置、存储介质、终端，主要目的在于能够通过批处理与流处理两种计算方式，分别处理和存储历史数据和实时数据，在获取数据时，可以直接对应获取处理结果，以减少重复计算量，从而提高数据的获取效率，降低数据获取成本，节约计算资源。依据本专利技术一个方面，提供了一种数据的获取方法，包括：识别接收的数据获取请求中携带的数据获取时间段与预设数据节点时长是否匹配；若所述数据获取时间段与所述预设数据节点时长不匹配，则从经过批计算处理得到的数据中获取与所述获取时间段匹配的数据；若所述数据获取时间段与所述预设数据节点时长匹配，则从经过流计算处理得到的数据中获取与所述获取时间段匹配的数据。可选地，所述识别接收的数据获取请求中携带的数据获取时间段与预设数据节点时长是否匹配，包括：提取接收的数据获取请求中携带的数据获取时间段；将所述数据获取时间段与预设数据节点时长进行对比，判断所述数据时间段与预设数据节点时长是否匹配。可选地，所述方法还包括：根据预设时间间隔同步得到历史数据，对不同业务指标进行批计算处理，并将处理结果进行存储。进一步地，所述将处理结果进行存储，包括：以统计时间批次为标识将处理结果存储至第一预置存储位置的不同分区中。进一步地，所述识别接收的数据获取请求中携带的数据获取时间段与预设数据节点时长是否匹配之前，所述方法还包括：根据实时同步得到的实时数据，以同步时间批次为标识进行流计算处理，并将处理结果存储至第二预置存储位置中。进一步地，所述从经过批计算处理得到的数据中获取与所述获取时间段匹配的数据，包括：按照所述统计时间批次为标识从所述第一预置存储位置中获取与所述数据获取时间段匹配的数据；所述从经过流计算处理得到的数据中获取与所述获取时间段匹配的数据，包括：按照所述同步时间批次为标识从所述第二预置存储位置中获取与所述数据获取时间段匹配的数据。进一步地，所述方法还包括：分别向业务数据库发送同步历史数据请求以及同步实时数据请求，以使按照从所述业务数据库中获取到的历史数据及实时数据进行数据更新。依据本专利技术另一个方面，提供了一种数据的获取装置，包括：识别单元，用于识别接收的数据获取请求中携带的数据获取时间段与预设数据节点时长是否匹配；第一获取单元，用于若所述数据获取时间段与所述预设数据节点时长不匹配，则从经过批计算处理得到的数据中获取与所述获取时间段匹配的数据；第二获取单元，用于若所述数据获取时间段与所述预设数据节点时长匹配，则从经过流计算处理得到的数据中获取与所述获取时间段匹配的数据。进一步地，所述识别单元包括：提取模块，用于提取接收的数据获取请求中携带的数据获取时间段；对比模块，用于将所述数据获取时间段与预设数据节点时长进行对比，判断所述数据时间段与预设数据节点时长是否匹配。可选地，所述装置还包括：第一处理单元，用于根据预设时间间隔同步得到历史数据，对不同业务指标进行批计算处理，并将处理结果进行存储。进一步地，所述第一处理单元，具体用于以统计时间批次为标识将处理结果存储至第一预置存储位置的不同分区中。可选地，所述装置还包括：第二处理单元，用于根据实时同步得到的实时数据，以同步时间批次为标识进行流计算处理，并将处理结果存储至第二预置存储位置中。进一步地，所述第一获取单元，具体用于按照所述统计时间批次为标识从所述第一预置存储位置中获取与所述数据获取时间段匹配的数据；进一步地，所述第二获取单元，具体用于按照所述同步时间批次为标识从所述第二预置存储位置中获取与所述数据获取时间段匹配的数据。可选地，所述装置还包括：发送单元，用于分别向业务数据库发送同步历史数据请求以及同步实时数据请求，以使按照从所述业务数据库中获取到的历史数据及实时数据进行数据更新。根据本专利技术的又一方面，提供了一种存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述数据的获取方法对应的操作。根据本专利技术的再一方面，提供了一种终端，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述数据的获取方法方法对应的操作。借由上述技术方案，本专利技术实施例提供的技术方案至少具有下列优点：本专利技术提供一种数据的获取方法及装置、存储介质、终端，与现有技术系统后台将一段时间内的明细数据全部存储下来，用户查询任意时间段的数据时，通过将所有存储的明细数据进行汇总，以得到数据相比，本专利技术通过识别接收的数据获取请求中携带的数据获取时间段与预设数据节点时长是否匹配；若所述数据获取时间段与所述预设数据节点时长不匹配，则从经过批计算处理得到的数据中获取与所述获取时间段匹配的数据；若所述数据获取时间段与所述预设数据节点时长匹配，则从经过流计算处理得到的数据中获取与所述获取时间段匹配的数据。能够通过批处理与流处理两种计算方式，分别处理和存储历史数据和实时数据，在获取数据时，可以直接对应获取处理结果，以减少重复计算量，从而提高数据的获取效率，降低数据获取成本，节约计算资源。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1示出了本专利技术实施例提供的一种数据的获取方法流程图；图2示出了本专利技术实施例提供的另一种数据的获取方法流程图；图3示出了本专利技术实施例提供的一种数据获取模块结构图；图4示出了本专利技术实施例提供的一种数据的获取装置组成框图；图5示出了本专利技术实施例提供的另一种数据的获取装置组成框图；图6示出本文档来自技高网...

【技术保护点】
1.一种数据的获取方法，其特征在于，包括：/n识别接收的数据获取请求中携带的数据获取时间段与预设数据节点时长是否匹配；/n若所述数据获取时间段与所述预设数据节点时长不匹配，则从经过批计算处理得到的数据中获取与所述获取时间段匹配的数据；/n若所述数据获取时间段与所述预设数据节点时长匹配，则从经过流计算处理得到的数据中获取与所述获取时间段匹配的数据。/n

【技术特征摘要】
1.一种数据的获取方法，其特征在于，包括：
识别接收的数据获取请求中携带的数据获取时间段与预设数据节点时长是否匹配；
若所述数据获取时间段与所述预设数据节点时长不匹配，则从经过批计算处理得到的数据中获取与所述获取时间段匹配的数据；
若所述数据获取时间段与所述预设数据节点时长匹配，则从经过流计算处理得到的数据中获取与所述获取时间段匹配的数据。


2.根据权利要求1的方法，其特征在于，所述识别接收的数据获取请求中携带的数据获取时间段与预设数据节点时长是否匹配，包括：
提取接收的数据获取请求中携带的数据获取时间段；
将所述数据获取时间段与预设数据节点时长进行对比，判断所述数据时间段与预设数据节点时长是否匹配。


3.根据权利要求1的方法，其特征在于，所述识别接收的数据获取请求中携带的数据获取时间段与预设数据节点时长是否匹配之前，所述方法还包括：
根据预设时间间隔同步得到历史数据，对不同业务指标进行批计算处理，并将处理结果进行存储。


4.根据权利要求3的方法，其特征在于，所述将处理结果进行存储，包括：
以统计时间批次为标识将处理结果存储至第一预置存储位置的不同分区中。


5.根据权利要求4的方法，其特征在于，所述识别接收的数据获取请求中携带的数据获取时间段与预设数据节点时长是否匹配之前，所述方法还包括：
根据实时同步得到的实时数据，以同步时间批次为标识进行流计算处理，并将处理结果存储至第二预置存储位置中。


6.根据权利要求5的方法，其特征在于，所述从经过批...

【专利技术属性】
技术研发人员：贾骐玮，
申请(专利权)人：口碑上海信息技术有限公司，
类型：发明
国别省市：上海;31