开源大数据中台规则化治理方法及装置制造方法及图纸

本发明专利技术公开了一种开源大数据中台规则化治理方法及装置，设计数据治理技术领域，其中方法包括：通过规则配置界面进行规则配置，规则配置完成后发布到规则配置库；治理服务根据接入的数据源从规则配置库中读取规则配置库获取相应的治理规则；治理服务从算法服务器中读取对应的算法，通过对应的算法调用S2获取的治理规则从而得到算法结果，并将算法结果写入Elasticsearch，以供使用方进行查询输出。本申请通过设置数据治理规则外置实现与流程代码解耦，解决了项目上线后针对新加入的数据源还需要不断定制开发的问题，简化了开发流程，减少了代码量。少了代码量。少了代码量。

【技术实现步骤摘要】
开源大数据中台规则化治理方法及装置


[0001]本专利技术涉及数据治理
，尤其是涉及一种开源大数据中台规则化治理方法及装置。

技术介绍

[0002]开源数据中台需要接入复杂多样的开源数据，针对不同的数据类型，开发人员需要定制不同的开发策略。通常做法是当新添加一个数据源的数据时，需要开发人员开发对应的治理代码，并经过开发、测试、发布、上线流程。每个数据源的治理逻辑都存在于代码中，随着开发人员和代码更迭，不能很好的理解和获取。
[0003]通用的程序结构为处理器读取源数据，经过程序处理转换逻辑，最终产出对应的结果，转换的最终结果均为一个实体数据。整体的过程只有转换逻辑不同，其他部分都是相同的，如果转换逻辑可以用一种方式传给程序，那么程序就可以做到统一。将转换逻辑应用到源数据，就可以产出对应的结果。

技术实现思路

[0004]本专利技术的目的在于提供一种开源大数据中台规则化治理方法及装置，将治理规则与数据治理程序分离，治理程序按照治理规则对开源数据进行处理，产出最终实体数据。治理规则代表了数据从上游到下游时进行的转换逻辑，治理规则不关心数据流程、数据处理工程化方面，只用来表示数据处理的逻辑。规则使用脚本或表达式引擎的语法来表示，可以对进入到表达式的数据进行求值，转换为下游数据。
[0005]本专利技术提供一种开源大数据中台规则化治理方法，包括：
[0006]S1、通过规则配置界面进行规则配置，规则配置包括治理规则的配置及解析规则的配置，规则配置完成后发布到规则配置库，规则配置库包括：接入数据源的元数据、接入数据源的各个字段对应的规则、数据源的派生字段对应的规则以及ES中各类型数据存储结构；
[0007]S2、治理服务根据接入的数据源从规则配置库中读取规则配置库获取相应的治理规则；
[0008]S3、治理服务从算法服务器中读取对应的算法，通过对应的算法调用S2获取的治理规则从而得到算法结果，并将算法结果写入Elasticsearch，以供使用方进行查询输出。
[0009]本专利技术提供一种开源大数据中台实时规则化治理装置，包括：
[0010]规则配置模块，用于通过规则配置界面进行规则配置，规则配置包括治理规则的配置及解析规则的配置，规则配置完成后发布到规则配置库，规则配置库包括：接入数据源的元数据、接入数据源的各个字段对应的规则、数据源的派生字段对应的规则以及ES中各类型数据存储结构；
[0011]调用规则模块，用于基于治理服务根据接入的数据源从规则配置库中读取规则配置库获取相应的治理规则；
[0012]结果获取模块，用于基于治理服务从算法服务器中读取对应的算法，通过对应的算法根据调用规则模块获取的治理规则从而得到算法结果，并将算法结果写入Elasticsearch，以供使用方进行查询输出。
[0013]采用本专利技术实施例，首先通过规则配置界面进行治理规则配置，再通过治理程序自动读取治理规则，产出最终的数据结果，避免项目上线后针对新加入的数据源还需要不断定制开发，简化开发流程。
[0014]上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。
附图说明
[0015]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0016]图1是本专利技术实施例的开源大数据中台规则化治理方法的流程图；
[0017]图2是本专利技术实施例的开源大数据中台规则化治理装置的示意图；
[0018]图3是本专利技术实施例的具体实施例的示意图。
具体实施方式
[0019]下面将结合实施例对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0020]方法实施例
[0021]根据本专利技术实施例，提供了一种开源大数据中台规则化治理方法，图1是本专利技术实施例的开源大数据中台规则化治理方法的流程图，如图1所示，根据本专利技术实施例的开源大数据中台规则化治理方法具体包括：
[0022]S1、通过规则配置界面进行规则配置，规则配置包括治理规则的配置及解析规则的配置，规则配置完成后发布到规则配置库，规则配置库包括：接入数据源的元数据、接入数据源的各个字段对应的规则、数据源的派生字段对应的规则以及ES中各类型数据存储结构；通过配置界面进行规则配置具体包括：
[0023]治理规则的配置，具体包括：配置界面显示有多个逻辑转换规则和至少一种运算符号，所述逻辑转换规则包含以下至少之一：非空、唯一性、最大值、最小值、值枚举内、值枚举外、字段比较、条件判断、包含字符、不包含字符、字符串前缀、字符串后缀、英文字母、阿拉伯数字、正则表达式、自定义表达式；所述运算符包含以下至少之一：与运算符、和运算符、或运算符、嵌套运算符；用户根据需求选择逻辑转换规则与运算符号进行配置，获取治理规则；
[0024]解析规则配置，对所述治理规则进行相应的逆运算获取解析规则。
[0025]规则配置完成后对治理规则及解析规则进行测试，经过测试无误后存入规则配置库。
[0026]S2、治理服务根据接入的数据源从规则配置库中读取规则配置库获取相应的治理规则；S2具体包括：通过数据源中的字段从规则配置库中查找该字段是否存在对应的至少一个治理规则，若存在，则将查找到的治理规则反馈给治理服务。
[0027]若S2中没有获取到相应的治理规则，则通过配置界面进行新配置新的治理规则的配置。
[0028]S3、治理服务从算法服务器中读取对应的算法，通过对应的算法调用S2获取的治理规则从而得到算法结果，并将算法结果写入Elasticsearch，以供使用方进行查询输出。
[0029]本专利技术实施例将治理规则与数据治理程序分离，治理程序负责执行治理规则，程序中不包含任何的数据处理逻辑，完全按照配置的规则进行数据处理。通过治理程序读取治理规则并应用到源数据，产生最终的实体数据。
[0030]治理规则与治理程序分离。治理规则通过界面进行配置，使用JEXL表达式对实体各个字段的转换逻辑进行配置，治理程序存在于代码程序中，统一读取治理规则，根据治理规则处理数据。不同数据源的数据仅需要配置不同的治理规则，治理程序都相同。
[0031]为了解决治理时各字段的依赖关系，在治理过程中，分为基础阶段、衍生阶段、算法阶段、最后阶段。后面阶段的字段，会依赖前面阶段的字段的值。基础阶段的字段从源数据获取。衍生阶段的字段可通过基础阶段的字段进行规则处理或本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种开源大数据中台规则化治理方法，其特征在于，包括：S1、通过规则配置界面进行规则配置，规则配置包括治理规则的配置及解析规则的配置，规则配置完成后发布到规则配置库，所述规则配置库包括：接入数据源的元数据、接入数据源的各个字段对应的规则、数据源的派生字段对应的规则以及ES中各类型数据存储结构；S2、治理服务根据接入的数据源从规则配置库中读取规则配置库获取相应的治理规则；S3、治理服务从算法服务器中读取对应的算法，通过对应的算法调用S2获取的治理规则从而得到算法结果，并将所述算法结果写入Elasticsearch，以供使用方进行查询输出。2.根据权利要求1所述的方法，其特征在于，所述通过配置界面进行规则配置具体包括：治理规则的配置，具体包括：配置界面显示有多个逻辑转换规则和至少一种运算符号，所述逻辑转换规则包含以下至少之一：非空、唯一性、最大值、最小值、值枚举内、值枚举外、字段比较、条件判断、包含字符、不包含字符、字符串前缀、字符串后缀、英文字母、阿拉伯数字、正则表达式、自定义表达式；所述运算符包含以下至少之一：与运算符、和运算符、或运算符、嵌套运算符；用户根据需求选择逻辑转换规则与运算符号进行配置，获取治理规则；解析规则配置，对所述治理规则进行相应的逆运算获取解析规则。3.根据权利要求1所述的方法，其特征在于，所述规则配置完成后发布到规则配置库具体包括：所述规则配置完成后对治理规则及解析规则进行测试，经过测试无误后存入规则配置库。4.根据权利要求1所述的方法，其特征在于，所述治理服务根据接入的数据源从规则配置库中读取规则配置库获取相应的治理规则具体包括：通过数据源中的字段从规则配置库中查找该字段是否存在对应的至少一个治理规则，若存在，则将查找到的治理规则反馈给治理服务。5.根据权利要求4所述的方法，其特征在于，若S2中没有获取到相应的治理规则，则通过配置界面进行新配置新的治理规则的配置。6.一种...

【专利技术属性】
技术研发人员：严凤兵，邢飞，夏维，
申请(专利权)人：中译语通科技股份有限公司，
类型：发明
国别省市：