一种智能分析提取流数据的装置和方法制造方法及图纸

本发明专利技术涉及一种智能分析提取流数据的装置和方法，所述装置包括：多元异构流数据输入接口；智能对接DDL引擎，用于自适应各类上游数据接口；AI智能提取模板引擎，用于配合DDL引擎初始化默认提取规则；数据定时抽样分析引擎；用户自定义修正规则引擎，用于用户针对提取数据质量检测修正规则；大屏智能展示监控平台，用于可视化滚动播放并监控实时流数据提取效果。该发明专利技术能极大减小数据治理分析人员人工数据提取操作，为大数据企业大规模节省数据治理分析人员成本。可以配套的嵌套在各个业务治理系统中，实现实时快速治理并提取有效信息，快速完成精确治理前的前置操作，极大提高了数据治理智能化的进程。治理智能化的进程。治理智能化的进程。

【技术实现步骤摘要】
一种智能分析提取流数据的装置和方法


[0001]本申请涉及大数据智能分析治理的
，尤其是涉及一种智能分析提取流数据的装置和方法。

技术介绍

[0002]随着社会的高速发展，各行业数字化进程的推动，大数据治理分析的工作就显的尤为重要，但是每天面对庞杂的业务数据，怎么快速高效从这些数据中分析并提取到我们有用的数据，这对每个大数据治理行业来说都极其重要。
[0003]在各行业中一般都有一套甚至多套整体数据治理分析流程。对于传统大数据分析行业快速智能分析，面对各类多源异构数据，通常都是只靠大量人工干预进行治理分析，并且返工可能性极高，操作极为复杂，如果是客户随时定制化的调整就需要更加频繁的修改线上代码并重新部署上线，人工成本极为高且低效，同时往往不能及时响应客户动态需求。

技术实现思路

[0004]针对上述技术问题,本申请提出了一种智能分析提取流数据的装置和方法。
[0005]第一方面，本申请提出了一种智能分析提取流数据的装置，包括：
[0006]多元异构流数据输入接口，用于接收并读取实时流数据；
[0007]智能对接DDL引擎，用于适配数据流接口，并读取数据库表建表语句语义内容；
[0008]AI智能提取分析模板引擎，配置用于根据智能对接DDL引擎获取得到的数据库表建表语句语义内容智能匹配分析并对应指定提取规则模板，并把比对结果根据配置异步输出到指定节点；
[0009]数据定时抽样分析引擎，用于定时抽取样例数据并结合数据本身规则进行分析提取并验证；/>[0010]用户自定义修正规则引擎，用于可视化动态修正提取模板规则并实时审批生效；
[0011]大屏智能展示监控平台，用于实时展示数据分析提取效果并滚动展示以进行用户定制化调整和监控。
[0012]通过采用上述技术方案，本申请提供的一种智能分析提取流数据的装置，通过嵌入该装置能很好的避免上述繁琐的人工分析治理工作，极大缩小开发成本和人力投入，可以实践一套装置完成各类大数据治理分析数据智能分析提取领域，可实现智能在线分析提取并动态定制化完成数据快速分析治理提取的需求，在系统业务以及功能层面快速实现零编码完成各类不同关键业务功能的快速分析治理提取功能。
[0013]优选的，所述智能对接DDL引擎还用于根据上游各个源头资源建表语句、资源中英文明以及字段中英文名称进行初始化提取数据接入规则并统一输出给下层引擎。
[0014]优选的，所述AI智能提取分析模板引擎设置有用于对目标实时流数据进行比对的基础分析模板、目标组件类型和地址。
[0015]优选的，所述基础分析模板设置有多个分析比对维度，所述多个分析比对维度包
括数据项类型、数据项格式、数据项长度、资源中英文名称、资源类型、资源分析精度、分析提取起止时间、使用资源线程数以及提取数据阀值。
[0016]优选的，所述AI智能提取分析模板引擎包括垃圾数据过滤器、正则匹配规则器以及统一输出规则器，用于分析流数据和预设提取模板引擎比对并输出结果。
[0017]优选的，所述AI智能提取分析模板引擎还用于通过调用各定制化后台AI智能提取分析模板引擎分析出需要默认分析提取规则表达式，所述默认分析提取规则表达式包括IDcard、MobilePhone、Name、Height、Age以及Hobbies。
[0018]优选的，所述用户自定义修正规则引擎为用户可操作窗体。
[0019]优选的，所述大屏智能展示监控平台为计算机展示控件。
[0020]第二方面，本申请还提出了一种快速智能分析提取流数据的方法，应用于如第一方面所述的快速智能分析提取流数据的装置，所述方法包括：
[0021]S1：将所述需要接入分析的快速智能分析提取流数据的装置的代码嵌入业务系统的数据接入分析治理中间流程中；
[0022]S2：嵌入智能对接DDL引擎进行统一上游字段提取模板并输出给下层引擎；
[0023]S3：根据上层统一给的字段说明嵌入AI智能提取分析模板引擎，进行数据提取操作；
[0024]S4：利用用户自定义修正规则引擎将用户想自定义修正的规则传递给AI智能提取分析模板引擎；
[0025]S5：利用AI智能提取分析模板引擎定时刷新算法规则并实时修改提取规则；
[0026]S6：滚动播放并展示数据分析提取成效，并随时修正直至完成整个治理流程。
[0027]综上所述，本申请至少包括以下有益技术效果：
[0028]1.本专利技术公开的快速智能分析提取流数据的装置和方法，通过嵌入该装置和方法能很好的避免上述繁琐的人工分析治理工作，极大缩小开发成本和人力投入，可以实践一套装置完成各类大数据治理分析数据智能分析提取领域，可实现智能在线分析提取并动态定制化完成数据快速分析治理提取的需求，在系统业务以及功能层面快速实现零编码完成各类不同关键业务功能的快速分析治理提取功能；
[0029]2.本专利技术提供了一个智能化程度高且低耦合的AI智能动态数据分析提取模板装置，可以极大地减少数据分析人员甚至不需要数据分析人员，降低开发成本；本专利技术的装置可以无缝的嵌套在各个业务治理分析提取系统中，实现实时快速分析提取，快速响应客户实时动态变化的需求，极大提高了实时数据使用的质量；
[0030]3.本专利技术能极大减小数据治理分析人员人工数据提取操作，为大数据企业大规模节省数据治理分析人员成本。可以配套的嵌套在各个业务治理系统中，实现实时快速治理并提取有效信息，快速完成精确治理前的前置操作，极大提高了数据治理智能化的进程。
附图说明
[0031]包括附图以提供对实施例的进一步理解并且附图被并入本说明书中并且构成本说明书的一部分。附图图示了实施例并且与描述一起用于解释本申请的原理。将容易认识到其它实施例和实施例的很多预期优点，因为通过引用以下详细描述，它们变得被更好地理解。附图的元件不一定是相互按照比例的。同样的附图标记指代对应的类似部件。
[0032]图1是本申请一种智能分析提取流数据的装置的示意图。
[0033]图2是本申请一种快速智能分析提取流数据方法的流程示意图。
[0034]图3可以应用于本申请一种快速智能分析提取流数据方法的一个具体实施例的流程示意图。
[0035]图4是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
[0036]下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关专利技术，而非对该专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关专利技术相关的部分。
[0037]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
[0038]图1示出了本申请一种智能分析提取流数据的装置的示意图，参考图1，该装置具体包括：多元异构流数据输入接口101、智能对接DDL引擎1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种智能分析提取流数据的装置，其特征在于，包括：多元异构流数据输入接口，用于接收并读取实时流数据；智能对接DDL引擎，用于适配数据流接口，并读取数据库表建表语句语义内容；AI智能提取分析模板引擎，用于根据智能对接DDL引擎获取得到的数据库表建表语句语义内容智能匹配分析并对应指定提取规则模板，并把分析比对结果根据配置异步输出到指定节点；数据定时抽样分析引擎，用于定时抽取样例数据并结合数据本身规则进行分析提取并验证；用户自定义修正规则引擎，用于可视化动态修正提取模板规则并实时审批生效；大屏智能展示监控平台，用于实时展示数据分析提取效果并滚动展示以进行用户定制化调整和监控。2.根据权利要求1所述的一种智能分析提取流数据的装置，其特征在于：所述智能对接DDL引擎还用于根据上游各个源头资源建表语句、资源中英文明以及字段中英文名称进行初始化提取数据接入规则并统一输出给下层引擎。3.根据权利要求1所述的一种智能分析提取流数据的装置，其特征在于：所述AI智能提取分析模板引擎设置有用于对目标实时流数据进行比对的基础分析模板、目标组件类型和地址。4.根据权利要求3所述的一种智能分析提取流数据的装置，其特征在于：所述基础分析模板设置有多个分析比对维度，所述多个分析比对维度包括数据项类型、数据项格式、数据项长度、数据项备注、数据项规则、数据项空值率、数据项位数、资源中英文名称、资源类型、资源分析精度、分析提取起止时间、使用资源线程数以及提取数据阀值。5.根据权利要求4所述的一种智能分析提取流数据的装置，其特征在于：所述AI智能提取分析模板引擎包括垃圾数据过滤器、正则匹配...

【专利技术属性】
技术研发人员：魏谋强，陈文艺，郑炳锟，张春晖，陈涛涛，林劼，
申请(专利权)人：厦门市美亚柏科信息股份有限公司，
类型：发明
国别省市：