数据处理方法及相关装置制造方法及图纸

本申请实施例公开了一种数据处理方法及相关装置，方法包括：基于目标调度框架创建调度任务；根据调度任务进行规则配置，得到目标规则；根据目标规则从目标数据源中加载线索数据，并对线索数据进行预处理和转换，得到目标数据表；动态提交目标数据表至数据集群组件中以执行数据计算任务，得到结果报文；对结果报文进行格式转换，得到目标结果数据；将目标结果数据存入目标主题数据库中，并基于数据分发规则信息，将目标结果数据分发至目标终端

【技术实现步骤摘要】
数据处理方法及相关装置


[0001]本申请涉及数据处理
，具体涉及一种数据处理方法及相关装置
。

技术介绍

[0002]随着传统金融领域，例如：券商
、
银行
、
保险等行业，开始不断向互联网发展和转变，越来越多的券商开始做数字化转型
。
利用多年积累的行业数据，打造符合自身的大数据平台，同时在此基础上开始数据的探索及应用
。
在券商领域，每个展业人员可能同时需要服务成百上千的客户，在有限的精力下，如何提高服务人员的服务效率，适应多元化的业务诉求成为本方案的核心诉求
。
目前常见的方式主要是：基于大数据模型来挖掘潜在客户，辅助展业，而模型训练的难易程度
、
结合业务场景的多样性均会影响最终客户数据分析的效率，进而影响客户服务质量
。
如何有效地提供一个完整的数据处理和分析流程，实现快速地客户分析和提供优质的客户服务，是当前亟待解决的问题
。
[0003]因此，亟需一种数据处理方法解决上述问题
。

技术实现思路

[0004]本申请实施例提供了一种数据处理方法及相关装置，可通过对不同类型的海量数据流进行分析计算后，形成客户线索数据，再按分发规则实时匹配分发到对应的终端设备供用户利用并进行客户服务，最终保证了客户数据处理的高效性，提供更低延时
、
更高效率
、
更优的客户服务
。
[0005]第一方面，本申请实施例提供一种数据处理方法，应用于服务器，包括：
[0006]基于目标调度框架创建调度任务；
[0007]根据所述调度任务进行规则配置，得到目标规则；
[0008]根据所述目标规则从目标数据源中加载所述线索数据，并对所述线索数据进行预处理和转换，得到目标数据表；
[0009]动态提交所述目标数据表至数据集群组件中以执行数据计算任务，得到结果报文；
[0010]对所述结果报文进行格式转换，得到目标结果数据；
[0011]将所述目标结果数据存入目标主题数据库中，并基于数据分发规则信息，将所述目标结果数据分发至目标终端
。
[0012]第二方面，本申请实施例提供一种数据处理装置，应用于服务器，所述装置包括创建单元
、
配置单元和处理单元；其中，
[0013]所述创建单元，用于基于目标调度框架创建调度任务；
[0014]所述配置单元，用于根据所述调度任务进行规则配置，得到目标规则；
[0015]所述处理单元，用于根据所述目标规则从目标数据源中加载所述线索数据，并对所述线索数据进行预处理和转换，得到目标数据表；
[0016]所述处理单元，还用于动态提交所述目标数据表至数据集群组件中以执行数据计
算任务，得到结果报文；
[0017]所述处理单元，还用于对所述结果报文进行格式转换，得到目标结果数据；
[0018]所述处理单元，还用于将所述目标结果数据存入目标主题数据库中，并基于数据分发规则信息，将所述目标结果数据分发至目标终端
。
[0019]第三方面，本申请实施例提供一种服务器，包括处理器
、
存储器
、
通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面任一方法中的步骤的指令
。
[0020]第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤
。
[0021]第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤
。
该计算机程序产品可以为一个软件安装包
。
[0022]可以看出，本申请实施例中，基于目标调度框架创建调度任务；根据调度任务进行规则配置，得到目标规则；根据目标规则从目标数据源中加载线索数据，并对线索数据进行预处理和转换，得到目标数据表；动态提交目标数据表至数据集群组件中以执行数据计算任务，得到结果报文；对结果报文进行格式转换，得到目标结果数据；将目标结果数据存入目标主题数据库中，并基于数据分发规则信息，将目标结果数据分发至目标终端
。
如此可以实现，对不同类型的海量数据流进行分析计算后，形成客户线索数据，再按分发规则实时匹配分发到对应的终端设备供用户利用并进行客户服务，最终保证了客户数据处理的高效性，提供更低延时
、
更高效率
、
更优的客户服务
。
附图说明
[0023]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图
。
[0024]图1是本申请实施例提供的一种数据处理的系统架构示意图；
[0025]图2是本申请实施例提供的一种数据处理方法的流程示意图；
[0026]图
3A
是本申请实施例提供的一种线索数据创建配置文件的可视化界面示意图；
[0027]图
3B
是本申请实施例提供的一种目标主题数据库信息配置的可视化界面示意图；
[0028]图
3C
是本申请实施例提供的一种线索数据设置数据源配置信息的可视化界面示意图
[0029]图
3D
是本申请实施例提供的一种线索数据设置变量信息的可视化界面示意图；
[0030]图4是本申请实施例提供的一种服务器的结构示意图；
[0031]图5是本申请实施例提供的一种数据处理装置的功能单元结构示意图
。
具体实施方式
[0032]为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚
、
完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例
。
基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围
。
[0033]本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序
。
此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含
。
例如包含了一系列步骤或单本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据处理方法，其特征在于，应用于服务器，所述方法包括：基于目标调度框架创建调度任务；根据所述调度任务进行规则配置，得到目标规则；根据所述目标规则从目标数据源中加载所述线索数据，并对所述线索数据进行预处理和转换，得到目标数据表；动态提交所述目标数据表至数据集群组件中以执行数据计算任务，得到结果报文；对所述结果报文进行格式转换，得到目标结果数据；将所述目标结果数据存入目标主题数据库中，并基于数据分发规则信息，将所述目标结果数据分发至目标终端
。2.
根据权利要求1所述的方法，其特征在于，所述调度任务中包含用于指定线索数据的数据类型的信息，所述数据类型包括以下至少一种：实时数据类型和定时数据类型；所述根据所述调度任务进行规则配置，包括：根据所述调度任务确定所述线索数据的数据类型；若所述数据类型为所述实时数据类型，则为所述线索数据创建配置文件；以及，配置计算因子，其中，所述计算因子用于定义所述调度任务的逻辑规则，以实现对所述线索数据的计算和推理；以及，配置业务属性信息；组合所述目标主题数据库的配置文件
、
所述计算因子和所述业务属性信息，得到所述目标规则
。3.
根据权利要求2所述的方法，其特征在于，所述为所述线索数据创建配置文件，包括：在主题数据库集群中创建所述目标主题数据库；配置所述目标主题数据库的主题信息，其中，所述主题信息包括表名
、
所述目标主题数据库的名称信息
、
数据查询频率信息；定义所述目标主题数据库的数据字段信息，其中，所述数据字段信息包括一个或多个数据字段的字段名称
、
字段类型；组合所述主题信息和所述数据字段信息，构成所述线索数据的配置文件
。4.
根据权利要求2所述的方法，其特征在于，所述配置计算因子，包括：为所述线索数据设置数据源配置信息，其中，所述数据源配置信息用于定义所述目标数据源与所述目标主题数据库之间的映射关系，所述目标数据源包括一个或多个，所述映射关系用于指示每一所述目标数据源的名称
、
所述目标主题数据库的名称；为所述线索数据设置变量信息，其中，所述变量信息用于在执行所述调度任务时动态参数管理；为所述线索数据设置计算规则信息，其中，所述计算规则信息用于表征所述线索数据中所包含的每一所述数据字段的计算逻辑；组合所述数据源配置信息
、
所述变量信息和所述计算规则信息，得到所述计算因子
。5.
根据权利要求2所述的方法，其特征在于，所述配置业务属性信息，包括：为所述调度任务配置基本信息，其中，所述基本信息包括以下至少一种：所述调度任务的任务名称信息
、
任务描述信息和任务优先级信息；为所述调度任务设置关联的所述计算因子；
为所述调度任务设置内容模板信息，其中，所述内容模板信息用于创建和管理用于所述目标结果数据分发的消息模板；...

【专利技术属性】
技术研发人员：熊伟，王美娟，陈雪琰，孔培，
申请(专利权)人：中国中金财富证券有限公司，
类型：发明
国别省市：