一种智能分析提取流数据的装置和方法制造方法及图纸

本发明专利技术涉及一种智能分析提取流数据的装置和方法，所述装置包括：多元异构流数据输入接口；智能对接DDL引擎，用于自适应各类上游数据接口；AI智能提取模板引擎，用于配合DDL引擎初始化默认提取规则；数据定时抽样分析引擎；用户自定义修正规则引擎，用于用户针对提取数据质量检测修正规则；大屏智能展示监控平台，用于可视化滚动播放并监控实时流数据提取效果。该发明专利技术能极大减小数据治理分析人员人工数据提取操作，为大数据企业大规模节省数据治理分析人员成本。可以配套的嵌套在各个业务治理系统中，实现实时快速治理并提取有效信息，快速完成精确治理前的前置操作，极大提高了数据治理智能化的进程。治理智能化的进程。治理智能化的进程。

【技术实现步骤摘要】
一种智能分析提取流数据的装置和方法


[0001]本申请涉及大数据智能分析治理的
，尤其是涉及一种智能分析提取流数据的装置和方法。

技术介绍

[0002]随着社会的高速发展，各行业数字化进程的推动，大数据治理分析的工作就显的尤为重要，但是每天面对庞杂的业务数据，怎么快速高效从这些数据中分析并提取到我们有用的数据，这对每个大数据治理行业来说都极其重要。
[0003]在各行业中一般都有一套甚至多套整体数据治理分析流程。对于传统大数据分析行业快速智能分析，面对各类多源异构数据，通常都是只靠大量人工干预进行治理分析，并且返工可能性极高，操作极为复杂，如果是客户随时定制化的调整就需要更加频繁的修改线上代码并重新部署上线，人工成本极为高且低效，同时往往不能及时响应客户动态需求。

技术实现思路

[0004]针对上述技术问题,本申请提出了一种智能分析提取流数据的装置和方法。
[0005]第一方面，本申请提出了一种智能分析提取流数据的装置，包括：
[0006]多元异构流数据输入接口，用于接收并读取实时流数据；
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种智能分析提取流数据的装置，其特征在于，包括：多元异构流数据输入接口，用于接收并读取实时流数据；智能对接DDL引擎，用于适配数据流接口，并读取数据库表建表语句语义内容；AI智能提取分析模板引擎，用于根据智能对接DDL引擎获取得到的数据库表建表语句语义内容智能匹配分析并对应指定提取规则模板，并把分析比对结果根据配置异步输出到指定节点；数据定时抽样分析引擎，用于定时抽取样例数据并结合数据本身规则进行分析提取并验证；用户自定义修正规则引擎，用于可视化动态修正提取模板规则并实时审批生效；大屏智能展示监控平台，用于实时展示数据分析提取效果并滚动展示以进行用户定制化调整和监控。2.根据权利要求1所述的一种智能分析提取流数据的装置，其特征在于：所述智能对接DDL引擎还用于根据上游各个源头资源建表语句、资源中英文明以及字段中英文名称进行初始化提取数据接入规则并统一输出给下层引擎。3.根据权利要求1所述的一种智能分析提取流数据的装置，其特征在于：所述AI智能提取分析模板引擎设置有用于对目标实时流数据进行比对的基础分析模板、目标组件类型和地址。4.根据权利要求3所述的一种智能分析提取流数据的装置，其特征在于：所述基础分析模板设置有多个分析比对维度，所述多个分析比对维度包括数据项类型、数据项格式、数据项长度、数据项备注、数据项规则、数据项空值率、数据项位数、资源中英文名称、资源类型、资源分析精度、分析提取起止时间、使用资源线程数以及提取数据阀值。5.根据权利要求4所述的一种智能分析提取流数据的装置，其特征在于：所述AI智能提取分析模板引擎包括垃圾数据过滤器、正则匹配...

【专利技术属性】
技术研发人员：魏谋强，陈文艺，郑炳锟，张春晖，陈涛涛，林劼，
申请(专利权)人：厦门市美亚柏科信息股份有限公司，
类型：发明
国别省市：