有向无环图配置方法、数据处理方法、装置及配置平台制造方法及图纸

本申请涉及一种有向无环图配置方法、数据处理方法、装置及配置平台，属于数据处理技术领域。该配置方法包括：接收用户输入的第一操作，第一操作用于触发显示规则DAG配置页面；响应第一操作显示规则DAG配置页面；接收用户在规则DAG配置页面上输入的针对待处理数据的配置操作，配置操作用于配置规则DAG的规则状态点、规则状态点之间的有向边；响应配置操作完成针对待处理数据的规则DAG的配置。本申请实施例中，通过这种预定义配置规则的方式，使得需要不同的数据格式时，通过修改对应的规则组合，来满足由于数据格式不一致而导致的需要定义不同处理逻辑的需求，大大减少了数据治理的时间，提高了数据治理的效率。

Configuration method, data processing method, device and configuration platform of directed acyclic graph

【技术实现步骤摘要】
有向无环图配置方法、数据处理方法、装置及配置平台
本申请属于数据处理
，具体涉及一种有向无环图配置方法、数据处理方法、装置及配置平台。
技术介绍
在结构化数据的接入和治理过程中，不管是实时数据还是历史数据，都需要进行一定的逻辑处理才能应用于业务中。在当前项目的数据治理过程中，可以根据数据的格式，定制化开发一套数据处理逻辑。当要把这块处理逻辑复制到其他项目中时，要想处理逻辑能正常跑起来，就需要源端的数据格式完全相同。当数据格式稍微一变，就需要修改处理逻辑，变化小则改动少，变化大有可能得重新开发。只要是改动就意味着要占用时间，而数据是推动一个项目成功与否的前提，耽误了前提，就等同于阻碍了进度，往往就错过了一个项目实施过程中最佳的时间点。
技术实现思路
鉴于此，本申请的目的在于提供一种有向无环图配置方法、数据处理方法、装置及配置平台，以改善数据治理过程中，由于数据格式不一致导致的需要修改处理逻辑，使得数据治理需要很多时间导致效率低下的问题。本申请的实施例是这样实现的：第一方面，本申请实施例提供了一种有向无环图配置方法，包括：接收用户输入的第一操作，所述第一操作用于触发显示规则DAG配置页面；响应所述第一操作显示所述规则DAG配置页面；接收用户在所述规则DAG配置页面上输入的针对待处理数据的配置操作，所述配置操作用于配置规则DAG的规则状态点、所述规则状态点之间的有向边，其中，所述规则状态点表征用于对输入数据按照选定处理逻辑进行处理的规则，所述有向边表征一个规则状态点的输出数据能够作为指向的另一个规则状态点的输入数据；响应所述配置操作完成针对所述待处理数据的规则DAG的配置。本申请实施例中，通过事先定义不同的处理逻辑，使得可以根据待处理数据的不同格式，选择一次处理或多个逻辑叠加处理来满足要求，通过这种预定义配置规则的方式，使得在需要不同的数据格式时，通过可视化配置，仅通过修改对应的规则组合，即可满足由于数据格式不一致而导致的需要定义不同处理逻辑的需求，大大减少了项目开展中前期数据治理的时间，提高了数据治理的效率，为项目后期的开展奠定了良好的开端。结合第一方面实施例的一种可能的实施方式，接收用户在所述规则DAG配置页面上输入的针对待处理数据的配置操作，包括：接收用户在所述规则DAG配置页面上输入的规则添加操作；响应所述规则添加操作显示预设规则列表；接收用户从所述预设规则列表中选择的目标规则的第二操作；响应所述第二操作，生成规则状态点并显示所述规则状态点；接收用户针对所述规则状态点的输入输出配置操作。本申请实施例中，通过在规则DAG配置页面上添加所需的规则，即可生成对应的规则状态点，然后对规则状态点的输入输出进行配置，后端即可依据各个规则之间的输入输出关系生成对应的规则DAG，从而使得可以根据需要灵活的配置所需的规则DAG。第二方面，本申请实施例还提供了一种有向无环图配置方法，包括：将待处理数据的源端和对应的结果端抽象成原始表和目标表；基于所述原始表和所述目标表的依赖关系给所述原始表中的每个字段配置一个或多个有先后顺序的规则；基于配置在每个字段上的规则链构建有向无环图，得到各自的规则DAG。本申请实施例中，针对待处理数据的源端和对应的结果端数据，将其抽象为原始表和目标表，然后基于原始表和目标表的依赖关系给原始表中的每个字段配置一个或多个有先后顺序的规则，并基于配置在每个字段上的规则链构建有向无环图，得到各自的规则DAG，使得可以根据不同的数据格式需求，通过选择对应的规则组合，即可满足由于数据格式不一致而导致的需要定义不同处理逻辑的需求，大大减少了数据治理的时间，提高了数据治理的效率。结合第二方面实施例的一种可能的实施方式，基于所述原始表和所述目标表的依赖关系给所述原始表中的每个字段配置一个或多个有先后顺序的规则，包括：接收用户输入的第一操作，所述第一操作用于触发显示规则DAG配置页面；响应所述第一操作显示所述规则DAG配置页面；接收用户基于所述原始表和所述目标表的依赖关系在所述规则DAG配置页面上输入的针对所述原始表中的每个字段的配置操作，所述配置操作用于配置规则DAG的规则状态点、所述规则状态点之间的有向边，其中，所述规则状态点表征用于对输入数据按照选定处理逻辑进行处理的规则，所述有向边表征一个规则状态点的输出数据能够作为指向的另一个规则状态点的输入数据；响应所述配置操作完成针对该字段的规则DAG的配置。第三方面，本申请实施例还提供了一种数据处理方法，包括：获取待处理的源端数据表；针对所述源端数据表中的每个字段，从预设数据库中找到与该字段对应的规则DAG；将该字段的值输入到所述规则DAG中，输出对应的结果；将每个字段对应的结果赋值到结果数据表中并进行存储。本申请实施例中，在对数据处理时，获取待处理的源端数据表，针对表中的每个字段，选择对应的规则DAG，将对应的值输入对应的规则DAG即可输出所需的结果，最后将所需的结果保存即可，而无须去修改原代码，大大减少了数据治理的时间，提高了数据治理的效率。结合第三方面实施例的一种可能的实施方式，所述规则DAG包括n个有先后顺序的规则，n为大于等于2的正整数；将该字段的值输入到所述规则DAG中，输出对应的结果，包括：将该字段的值输入到所述规则DAG的第1个规则中，输出第1个中间结果；针对第2个规则至第n个规则中的每个规则，将该规则的前一个规则输出的中间结果输入到该规则中，得到该规则输出的中间结果，其中，第n个规则输出的中间结果为最终结果。当包括多个有先后顺序的规则时，在处理时，按照顺序依次将前一个规则的结果作为后一个规则的输入，保证了方案的可靠性，避免输出出错。第四方面，本申请实施例还提供了一种配置平台，包括：输入模块，和配置模块，输入模块用于接收用户输入的第一操作，所述第一操作用于触发显示规则DAG配置页面；配置模块用于响应所述第一操作显示所述规则DAG配置页面；用于接收用户在所述规则DAG配置页面上输入的针对待处理数据的配置操作，所述配置操作用于配置规则DAG的规则状态点、所述规则状态点之间的有向边，其中，所述规则状态点表征用于对输入数据按照选定处理逻辑进行处理的规则，所述有向边表征一个规则状态点的输出数据能够作为指向的另一个规则状态点的输入数据；以及用于响应所述配置操作完成针对所述待处理数据的规则DAG的配置。第五方面，本申请实施例还提供了一种有向无环图配置装置，包括：抽象模块、配置模块以及构建模块；抽象模块，用于将待处理数据的源端和对应的结果端抽象成原始表和目标表；配置模块，用于基于所述原始表和所述目标表的依赖关系给所述原始表中的每个字段配置一个或多个有先后顺序的规则；构建模块，用于基于配置在每个字段上的规则链构建有向无环图，得到各自的规则DAG。第六方面，本申请实施例还提供了一种数据处理装置，包括：获取模块、查找模块、输入模块以及赋值模块；获取模块，用于获取待处理的源端数据表；查找模块，用于针对所述源端数据表中的每个字段，从预设数据库中找到与该字段对应的规则DAG；输入模块，用于将该字段的值输入到所述规则DA本文档来自技高网...

【技术保护点】
1.一种有向无环图配置方法，其特征在于，包括：/n接收用户输入的第一操作，所述第一操作用于触发显示规则DAG配置页面；/n响应所述第一操作显示所述规则DAG配置页面；/n接收用户在所述规则DAG配置页面上输入的针对待处理数据的配置操作，所述配置操作用于配置规则DAG的规则状态点、所述规则状态点之间的有向边，其中，所述规则状态点表征用于对输入数据按照选定处理逻辑进行处理的规则，所述有向边表征一个规则状态点的输出数据能够作为指向的另一个规则状态点的输入数据；/n响应所述配置操作完成针对所述待处理数据的规则DAG的配置。/n

【技术特征摘要】
1.一种有向无环图配置方法，其特征在于，包括：
接收用户输入的第一操作，所述第一操作用于触发显示规则DAG配置页面；
响应所述第一操作显示所述规则DAG配置页面；
接收用户在所述规则DAG配置页面上输入的针对待处理数据的配置操作，所述配置操作用于配置规则DAG的规则状态点、所述规则状态点之间的有向边，其中，所述规则状态点表征用于对输入数据按照选定处理逻辑进行处理的规则，所述有向边表征一个规则状态点的输出数据能够作为指向的另一个规则状态点的输入数据；
响应所述配置操作完成针对所述待处理数据的规则DAG的配置。


2.根据权利要求1所述的方法，其特征在于，接收用户在所述规则DAG配置页面上输入的针对待处理数据的配置操作，包括：
接收用户在所述规则DAG配置页面上输入的规则添加操作；
响应所述规则添加操作显示预设规则列表；
接收用户从所述预设规则列表中选择的目标规则的第二操作；
响应所述第二操作，生成规则状态点并显示所述规则状态点；
接收用户针对所述规则状态点的输入输出配置操作。


3.一种有向无环图配置方法，其特征在于，包括：
将待处理数据的源端和对应的结果端抽象成原始表和目标表；
基于所述原始表和所述目标表的依赖关系给所述原始表中的每个字段配置一个或多个有先后顺序的规则；
基于配置在每个字段上的规则链构建有向无环图，得到各自的规则DAG。


4.根据权利要求3所述的方法，其特征在于，基于所述原始表和所述目标表的依赖关系给所述原始表中的每个字段配置一个或多个有先后顺序的规则，包括：
接收用户输入的第一操作，所述第一操作用于触发显示规则DAG配置页面；
响应所述第一操作显示所述规则DAG配置页面；
接收用户基于所述原始表和所述目标表的依赖关系在所述规则DAG配置页面上输入的针对所述原始表中的每个字段的配置操作，所述配置操作用于配置规则DAG的规则状态点、所述规则状态点之间的有向边，其中，所述规则状态点表征用于对输入数据按照选定处理逻辑进行处理的规则，所述有向边表征一个规则状态点的输出数据能够作为指向的另一个规则状态点的输入数据；
响应所述配置操作完成针对该字段的规则DAG的配置。


5.一种数据处理方法，其特征在于，包括：
获取待处理的源端数据表；
针对所述源端数据表中的每个字段，从预设数据库中找到与该字段对应的规则...

【专利技术属性】
技术研发人员：贾亮，
申请(专利权)人：北京明略软件系统有限公司，
类型：发明
国别省市：北京;11