基于分布式处理的业务指标获取方法、装置及可读介质制造方法及图纸

本申请公开一种基于分布式处理的业务指标获取方法、装置及可读介质，该方法包括从源数据库采集后台交易数据至分布式处理系统，作为贴源层数据，对贴源层数据进行分区与存储，得到对应于不同业务要求和/或功能的分区存储数据，作为模型层数据，基于分布式处理方式对模型层数据中的不同业务要求和/或功能的分区存储数据进行处理，得到对应的营销指标，作为数据集市层数据，最终将数据集市层数据输出至下游业务系统。本申请通过将后台交易数据引入营销场景，能够进行更精准、更符合客户需求的营销推荐。通过引入分布式处理系统并设计数据库表的分层结构进行数据存储与处理，解决了传统方式对于大数据量情况计算慢、指标准确性与稳定性差等问题。稳定性差等问题。稳定性差等问题。

【技术实现步骤摘要】
基于分布式处理的业务指标获取方法、装置及可读介质


[0001]本申请属于数据采集与处理
，尤其涉及一种基于分布式处理的业务指标获取方法、装置及可读介质。

技术介绍

[0002]以往营销业务主要采用市场行情、代销渠道等数据作为营销的依托，进行营销指标计算，然而该方式难以实现精准、更符合客户需求的营销推荐。
[0003]除此之外，在基于数据处理的营销指标计算时，传统技术还存在对大数据量数据计算慢的问题，难以满足指标的时效性需求，以及还存在指标准确性与稳定性差等问题。

技术实现思路

[0004]有鉴于此，本申请提供一种基于分布式处理的业务指标获取方法、装置及可读介质，用于结合分布式技术及信息化手段，解决传统技术在基于数据处理获取所需的营销指标以进行营销推荐等应用时所存在的至少部分技术问题。
[0005]具体方案如下：
[0006]一种基于分布式处理的业务指标获取方法，包括：
[0007]从源数据库采集后台交易数据至分布式处理系统，作为贴源层数据；
[0008]基于营销所需的不同业务要求和/或功能分别对应的分区与存储策略，对贴源层数据进行分区与存储处理，得到对应于不同业务要求和/或功能的分区存储数据，作为模型层数据；
[0009]基于分布式处理方式对模型层数据中的不同业务要求和/或功能的分区存储数据进行处理，得到不同业务要求和/或功能各自所需的营销指标，作为数据集市层数据；
[0010]将所得的数据集市层数据输出至对应的下游业务系统。
[0011]可选的，所述从源数据库采集后台交易数据至分布式处理系统，作为贴源层数据，包括：
[0012]从源数据库采集后台的基金交易持仓数据至分布式处理系统，作为贴源层数据；其中，贴源层数据与源数据中的字段与字段数据保持一致。
[0013]可选的，基于营销所需的不同业务要求和/或功能分别对应的分区与存储策略，对贴源层数据进行分区与存储处理，得到对应于不同业务要求和/或功能的分区存储数据，包括：
[0014]确定不同业务要求和/或功能下的营销指标计算分别所需的时间分片方式；
[0015]根据不同业务要求和/或功能下的营销指标计算对应所需的时间分片方式，对贴源层数据的数据库表进行分区与存储。
[0016]可选的，所述贴源层数据包括如下类型数据中的至少部分：
[0017]交易数据，持仓数据与基金数据，用户数据，维度数据。
[0018]可选的，所述根据不同业务要求和/或功能下的营销指标计算对应所需的时间分
片方式，对贴源层数据的数据库表进行分区与存储，包括：
[0019]将交易数据与用户数据按照交易日期或确认日期进行分区与存储；
[0020]将持仓数据与基金数据每日保存一份从起始日期至当前的历史全量信息；
[0021]将维度数据每日全量刷新一次并存储。
[0022]可选的，所述基于分布式处理方式对模型层数据中的不同业务要求和/或功能的分区存储数据进行处理，得到不同业务要求和/或功能各自所需的营销指标，包括：
[0023]按照不同业务要求和/或功能分别所需的营销指标对应的计算逻辑，基于分布式处理方式对模型层数据中的相应分区存储数据进行加工、计算与数据格式适配，以生成不同业务要求和/或功能分别所需的营销指标。
[0024]可选的，所述将所得的数据集市层数据输出至对应的下游业务系统，包括：
[0025]采用hdfs文件操作的方式，将集市层数据导出至下游业务系统。
[0026]可选的，所述采用hdfs文件操作的方式，将集市层数据导出至下游业务系统，包括：
[0027]通过定时任务，将数据集市层对应库表下的hdfs文件输出至中转服务器，以在中转服务器检测到相应业务要求和/或功能下的文件就绪后，将对应文件发送至下游营销平台。
[0028]一种基于分布式处理的业务指标获取装置，包括：
[0029]采集模块，用于从源数据库采集后台交易数据至分布式处理系统，作为贴源层数据；
[0030]分区与存储处理模块，用于基于营销所需的不同业务要求和/或功能分别对应的分区与存储策略，对贴源层数据进行分区与存储处理，得到对应于不同业务要求和/或功能的分区存储数据，作为模型层数据；
[0031]数据处理模块，用于基于分布式处理方式对模型层数据中的不同业务要求和/或功能的分区存储数据进行处理，得到不同业务要求和/或功能各自所需的营销指标，作为数据集市层数据；
[0032]输出模块，用于将所得的数据集市层数据输出至对应的下游业务系统。
[0033]一种计算机可读介质，其上存储有计算机程序，所述计算机程序包含用于执行如上文任一项所述的方法的程序代码。
[0034]综上所述，本申请提供的基于分布式处理的业务指标获取方法、装置及可读介质，从源数据库采集后台交易数据至分布式处理系统，作为贴源层数据，基于预设的分区与存储策略，对贴源层数据进行分区与存储处理，得到对应于不同业务要求和/或功能的分区存储数据，作为模型层数据，并基于分布式处理方式对模型层数据中的不同业务要求和/或功能的分区存储数据进行处理，得到不同业务要求和/或功能各自所需的营销指标，作为数据集市层数据，最终将所得的数据集市层数据输出至对应的下游业务系统。
[0035]本申请通过将后台交易数据如基金交易持仓数据引入营销场景，可以帮助定量的分析客户特征与喜好，能够进行更精准、更符合客户需求的营销推荐。在此基础上，通过引入分布式处理系统进行数据的存储与处理，能够很好的解决传统方式对于大数据量情况存在的计算慢的问题，满足了指标的时效性需求。且通过设计数据库表的分层结构，将营销数据分为贴源层、模型层与数据集市层，并针对不同层采用差异化存储方案，简化了指标计算
逻辑，提升了指标准确性与稳定性。
附图说明
[0036]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0037]图1是本申请提供的基于分布式处理的业务指标获取方法流程图；
[0038]图2是本申请提供的基于分布式处理交易持仓数据来计算营销指标的示例性处理流程；
[0039]图3是本申请提供的基于分布式处理的业务指标获取装置的组成结构图。
具体实施方式
[0040]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0041]本申请公开一种基于分布式处理的业务指标获取方法、装置及可读介质，参见图1所示的基于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分布式处理的业务指标获取方法，其特征在于，包括：从源数据库采集后台交易数据至分布式处理系统，作为贴源层数据；基于营销所需的不同业务要求和/或功能分别对应的分区与存储策略，对贴源层数据进行分区与存储处理，得到对应于不同业务要求和/或功能的分区存储数据，作为模型层数据；基于分布式处理方式对模型层数据中的不同业务要求和/或功能的分区存储数据进行处理，得到不同业务要求和/或功能各自所需的营销指标，作为数据集市层数据；将所得的数据集市层数据输出至对应的下游业务系统。2.根据权利要求1所述的方法，其特征在于，所述从源数据库采集后台交易数据至分布式处理系统，作为贴源层数据，包括：从源数据库采集后台的基金交易持仓数据至分布式处理系统，作为贴源层数据；其中，贴源层数据与源数据中的字段与字段数据保持一致。3.根据权利要求1所述的方法，其特征在于，基于营销所需的不同业务要求和/或功能分别对应的分区与存储策略，对贴源层数据进行分区与存储处理，得到对应于不同业务要求和/或功能的分区存储数据，包括：确定不同业务要求和/或功能下的营销指标计算分别所需的时间分片方式；根据不同业务要求和/或功能下的营销指标计算对应所需的时间分片方式，对贴源层数据的数据库表进行分区与存储。4.根据权利要求3所述的方法，其特征在于，所述贴源层数据包括如下类型数据中的至少部分：交易数据，持仓数据与基金数据，用户数据，维度数据。5.根据权利要求4所述的方法，其特征在于，所述根据不同业务要求和/或功能下的营销指标计算对应所需的时间分片方式，对贴源层数据的数据库表进行分区与存储，包括：将交易数据与用户数据按照交易日期或确认日期进行分区与存储；将持仓数据与基金数据每日保存一份从起始日期至当前的历史全量信息；将维度数据每日全量刷新一次并存储。6....

【专利技术属性】
技术研发人员：王者风，杨帆，
申请(专利权)人：华夏基金管理有限公司，
类型：发明
国别省市：