一种基于数据属性的数据自动化处理方法及系统技术方案

本发明专利技术公开了一种基于数据属性的数据自动化处理方法及系统，方法包括：预先定义所要处理的业务系统，并对不同业务层级进行定义；预先定义数据源中数据的主题类型，并进行主题标签定义；按照预设的业务执行逻辑，对不同业务系统、不同业务层级、不同主题类型和不同主题标签的数据进行输入、输出配置，实现业务数据加工流程的定义；根据所要处理的业务数据，由数据源中采集对应主题标签的目标数据，并根据指定的业务数据加工流程，基于主题标签对目标数据进行自动化数据处理流程，得到数据处理结果。通过本发明专利技术的技术方案，只需要关注变更部分，大大降低分析和开发成本，提高了数据处理的前期效率，降低了运维人员要求。降低了运维人员要求。降低了运维人员要求。

【技术实现步骤摘要】
一种基于数据属性的数据自动化处理方法及系统


[0001]本专利技术涉及数据处理
，尤其涉及一种基于数据属性的数据自动化处理方法。

技术介绍

[0002]数据处理系统中，对于不同需求的数据处理，目前通过一系列的数据程序进行管理，不同程序之间需要进行依赖和关联，同时对于不同需求中需求细节不能显性的查看，对于程序管理不透明。
[0003]数据加工增强主数据不同类型对象属性，需要通过数据库sql进行数据生成。后续在需求变更、新增、删除情况下都需要对程序进行修复，开发人员需要把精力放在需求实现和原有程序变更上，按照业务进行个性化开发，增量需求需要重新开发，并且需要大量后续运维人员进行维护。

技术实现思路

[0004]针对上述问题，本专利技术提供了一种基于数据属性的数据自动化处理方法，通过数据标签加工流程的预定义，能够实现流/批处理的配置化、自动化预处理，使得业务分析过程中分析人员只需要关注于业务是否增量和属性变化，开发过程中可以解耦，只需要关注业务变更或者属性变更，大大降低分析和开发成本，提高了数据处理的前期效率，降低了运维人员要求。
[0005]为实现上述目的，本专利技术提供了一种基于数据属性的数据自动化处理方法，包括：
[0006]预先定义所要处理的不同业务系统，并对同一系统的不同业务层级进行定义；
[0007]预先定义数据源中数据的主题类型，并针对同一主题类型的数据进行主题标签定义；
[0008]按照预设的业务执行逻辑，对不同业务系统、不同业务层级、不同主题类型和不同主题标签的数据进行输入、输出配置，实现业务数据加工流程的定义；
[0009]根据所要处理的业务数据，由数据源中采集对应主题标签的目标数据，并根据指定的业务数据加工流程，基于所述主题标签对所述目标数据进行自动化数据处理流程，得到数据处理结果。
[0010]在上述技术方案中，优选地，基于数据属性的数据自动化处理方法还包括：
[0011]针对所要处理的目标数据，增加新的主题标签，并在新增主题标签的属性增强下对所述目标数据进行自动化数据处理流程。
[0012]在上述技术方案中，优选地，基于数据属性的数据自动化处理方法还包括：
[0013]变更所要处理的业务数据，根据指定所要变更的业务系统和业务层级，变更由数据源中采集目标数据的主题标签，并由数据源中采集变更主题标签对应的业务数据。
[0014]在上述技术方案中，优选地，基于数据属性的数据自动化处理方法还包括：
[0015]针对基于主题标签的目标数据的采集过程进行监控，基于主题标签对监控数据进
行可视化处理，得到基于业务层级和业务数据加工流程的映射图像。
[0016]在上述技术方案中，优选地，基于数据属性的数据自动化处理方法还包括：
[0017]针对基于主题标签的目标数据的处理流程进行分单元监控，并根据监控数据计算得到业务数据处理过程中各流程的评估指标。
[0018]本专利技术还提出一种基于数据属性的数据自动化处理系统，应用如上述技术方案中任一项所述的基于数据属性的数据自动化处理方法，包括：
[0019]业务定义模块，用于预先定义所要处理的不同业务系统，并对同一系统的不同业务层级进行定义；
[0020]主题定义模块，用于预先定义数据源中数据的主题类型，并针对同一主题类型的数据进行主题标签定义；
[0021]流程定义模块，用于按照预设的业务执行逻辑，对不同业务系统、不同业务层级、不同主题类型和不同主题标签的数据进行输入、输出配置，实现业务数据加工流程的定义；
[0022]数据处理模块，用于根据所要处理的业务数据，由数据源中采集对应主题标签的目标数据，并根据指定的业务数据加工流程，基于所述主题标签对所述目标数据进行自动化数据处理流程，得到数据处理结果。
[0023]在上述技术方案中，优选地，基于数据属性的数据自动化处理系统还包括主题新增模块，用于针对所要处理的目标数据，增加新的主题标签；
[0024]在所述主题新增模块新增的主题标签的属性增强下，所述数据处理模块对所述目标数据进行自动化数据处理流程。
[0025]在上述技术方案中，优选地，基于数据属性的数据自动化处理系统还包括业务变更模块，用于变更所要处理的业务数据，根据指定所要变更的业务系统和业务层级，变更由数据源中采集目标数据的主题标签；
[0026]所述数据处理模块由数据源中采集变更主题标签对应的业务数据。
[0027]在上述技术方案中，优选地，基于数据属性的数据自动化处理系统还包括采集监控模块，用于针对基于主题标签的目标数据的采集过程进行监控，并基于主题标签对监控数据进行可视化处理，得到基于业务层级和业务数据加工流程的映射图像。
[0028]在上述技术方案中，优选地，基于数据属性的数据自动化处理系统还包括处理监控模块，用于针对基于主题标签的目标数据的处理流程进行分单元监控，并根据监控数据计算得到业务数据处理过程中各流程的评估指标。
[0029]与现有技术相比，本专利技术的有益效果为：通过数据标签加工流程的预定义，能够实现流/批处理的配置化、自动化预处理，使得业务分析过程中分析人员只需要关注于业务是否增量和属性变化，开发过程中可以解耦，只需要关注业务变更或者属性变更，大大降低分析和开发成本，提高了数据处理的前期效率，降低了运维人员要求。
附图说明
[0030]图1为本专利技术一种实施例公开的基于数据属性的数据自动化处理方法的流程示意图；
[0031]图2为本专利技术一种实施例公开的数据自动化处理的架构方式示意图；
[0032]图3为本专利技术一种实施例公开的基于数据属性的数据自动化处理的可视化流程示
意图；
[0033]图4为本专利技术一种实施例公开的营销积分活动的数据自动化处理的流程示意图；
[0034]图5为本专利技术一种实施例公开的基于数据属性的数据自动化处理系统的模块示意图。
[0035]图中，各组件与附图标记之间的对应关系为：
[0036]11.业务定义模块，12.主题定义模块，13.流程定义模块，14.数据处理模块，15.主题新增模块，16.业务变更模块，17.采集监控模块，18.处理监控模块。
具体实施方式
[0037]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0038]下面结合附图对本专利技术做进一步的详细描述：
[0039]如图1和图2所示，根据本专利技术提供的一种基于数据属性的数据自动化处理方法，包括：
[0040]预先定义所要处理的不同业务系统，并对同一系统的不同业务层级进行定义；
[0041]预先定义数据源本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据属性的数据自动化处理方法，其特征在于，包括：预先定义所要处理的不同业务系统，并对同一系统的不同业务层级进行定义；预先定义数据源中数据的主题类型，并针对同一主题类型的数据进行主题标签定义；按照预设的业务执行逻辑，对不同业务系统、不同业务层级、不同主题类型和不同主题标签的数据进行输入、输出配置，实现业务数据加工流程的定义；根据所要处理的业务数据，由数据源中采集对应主题标签的目标数据，并根据指定的业务数据加工流程，基于所述主题标签对所述目标数据进行自动化数据处理流程，得到数据处理结果。2.根据权利要求1所述的基于数据属性的数据自动化处理方法，其特征在于，还包括：针对所要处理的目标数据，增加新的主题标签，并在新增主题标签的属性增强下对所述目标数据进行自动化数据处理流程。3.根据权利要求1或2所述的基于数据属性的数据自动化处理方法，其特征在于，还包括：变更所要处理的业务数据，根据指定所要变更的业务系统和业务层级，变更由数据源中采集目标数据的主题标签，并由数据源中采集变更主题标签对应的业务数据。4.根据权利要求1所述的基于数据属性的数据自动化处理方法，其特征在于，还包括：针对基于主题标签的目标数据的采集过程进行监控，基于主题标签对监控数据进行可视化处理，得到基于业务层级和业务数据加工流程的映射图像。5.根据权利要求1所述的基于数据属性的数据自动化处理方法，其特征在于，还包括：针对基于主题标签的目标数据的处理流程进行分单元监控，并根据监控数据计算得到业务数据处理过程中各流程的评估指标。6.一种基于数据属性的数据自动化处理系统，其特征在于，应用如权利要求1至5中任一项所述的基于数据属性的数据自动化处理方法，包括：业务定义模块，...

【专利技术属性】
技术研发人员：王晋刚，
申请(专利权)人：北京思特奇信息技术股份有限公司，
类型：发明
国别省市：