一种数据智能识别系统技术方案

本发明专利技术涉及一种数据智能识别系统，包括调度器、数据适配、数据来源识别与分类、数据项识别、数据内容识别、数据标签与元数据生成等模块，主要用于自动、智能的识别入库数据，数据在进入大数据平台之前，首先通过该系统对相关内容进行识别，最终让用户能够认识数据，支持源端系统主动推送和平台自行抽取等多种数据接入模式，以调度器和缓冲区来满足各种复杂情况下数据识别的可靠性、完整性。完整性。完整性。

【技术实现步骤摘要】
一种数据智能识别系统


[0001]本专利技术属于大数据
，涉及一种对多源、异构数据和文件的智能识别系统。

技术介绍

[0002]在全球信息化快速发展的大背景下，大数据已成为重要的基础性战略资源。各行各业开展大数据智能化建设，强化数据整合、深化数据应用，最大限度融合资源，提高效率，带动行业信息化发展模式全面升级，形成开放、共享、关联、融合的大数据发展格局。
[0003]行业大数据资源规划设计和体系建设，需要明确数据接入、处理、治理、组织和服务等具体功能的实现方式。逐步建立数据资源归集汇聚、融合治理、共享服务的规范流程和长效机制。其中，数据接入主要负责从各种数据源获取各种形态的相关数据，并汇聚到大数据资源平台的原始数据库。在数据接入过程中，需要对各数据源接入的各种结构化和非结构化数据的语义进行智能识别，并将识别的结果存入元数据库。

技术实现思路

[0004]本专利技术的目的在于提供一种数据智能识别系统，实现对业务系统推送的数据以及平台所发起的到业务系统去抽取的多源、异构数据和文件进行智能识别，并生成元数据，存入元数据仓本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据智能识别系统，其特征在于，主要包括以下模块：(1)调度器：所述调度器是针对平台资源的使用情况、导入数据的大小以及时效性要求情况，对待入库数据进行智能调度的装置；数据经过调度器有三种处理方式，一是数据进入智能识别系统进行识别，二是数据存入缓冲区，之后从缓冲区进入智能识别系统进行识别，三是系统拒绝相关数据的识别，直接终止任务；(2)数据适配：在开放的体系架构下，通过协议解析、接口转换实现面向不同数据存储管理系统的适配和对接，同时以模块化可配置可插拔的方式实现不同存储管理系统之间的ETL工具集，从而实现面向海量混合异构数据源的统一适配能力；(3)数据来源识别与分类：通过与源端系统...

【专利技术属性】
技术研发人员：张陈欢，
申请(专利权)人：北京航天长峰科技工业集团有限公司，
类型：发明
国别省市：