面向领域数据模型的结构化和非结构化的融合系统及方法技术方案

本发明专利技术公开了一种面向领域数据模型的结构化和非结构化的融合系统及方法，该系统包括数据融合引擎模块、数据模型管理系统模块、分布式存储资源池模块，数据模型管理系统模块、分布式存储资源池模块都与数据融合引擎模块相连。本发明专利技术能够将各种不同结构化数据和不同非结构化数据转换为统一结构化数据对异构数据进行语义分析，数据转化，统一存储。

【技术实现步骤摘要】
面向领域数据模型的结构化和非结构化的融合系统及方法
本专利技术涉及一种融合系统及方法，特别是涉及一种面向领域数据模型的结构化和非结构化的融合系统及方法。
技术介绍
在信息社会，每时都在产生海量的各种数据；这些信息数据产生于社会各系统内，而每个系统自己的数据意义千变万化，数据系统也是封闭的成为了一个个信息孤岛。如何将这些千变万化的，存在于一个个信息孤岛的数据融合到一起，是形成大数据分析的基础。传统的数据处理技术，要么无法支持海量数据处理的技术要求，要么某单一领域业务需求与数据处理技术耦合性太强，缺少通用化，无法做到定制化和智能化，很难以平台化的方式去支撑将多源异构海量的数据融合。
技术实现思路
本专利技术所要解决的技术问题是提供一种面向领域数据模型的结构化和非结构化的融合系统及方法，其能够将各种不同结构化数据和不同非结构化数据转换为统一结构化数据对异构数据进行语义分析，数据转化，统一存储。本专利技术是通过下述技术方案来解决上述技术问题的：一种面向领域数据模型的结构化和非结构化数据的融合系统，其包括数据融合引擎模块、数据模型管理系统模块、分布式存储资源池模块，数据模型管理系统模块、分布式存储资源池模块都与数据融合引擎模块相连。优选地，所述数据融合引擎模块用于多源异构海量数据源数据清洗、加载、转换、提取。优选地，所述数据融合引擎模块包括结构化数据采集模块、非结构化数据采集模块、数据融合流程编排器、数据模型购构建器、语义解析模块、数据分析模块、数据转换模块，其中：结构化数据采集模块用于对结构化数据源数据进行接口适配合数据采集；非结构化数据采集模块用于对非结构化数据源数据进行接口适配合数据采集；数据融合流程编排器用于配置数据融合所需流程处理环节；数据模型购构建器其用于构建数据融合统一模型；语义解析模块用于对各种不同结构的数据进行结构语义解析和归纳，以便于后续数据分析；数据分析模块对数据结构进一步分析和形成统一转换结构；数据转换模块对各数据源结构化和非结构化数据的转换。优选地，所述数据模型管理系统模块用于面向领域数据模型设计。优选地，所述分布式存储资源池模块用于数据融合后依据数据模型提取出的主题分布式数据仓库。本专利技术还提供一种面向领域数据模型的结构化和非结构化数据的融合方法，其包括以下步骤：步骤一，启动数据融合引擎采集器；步骤二，启动数据采集分析模块；步骤三，数据模块构建；步骤四，数据融合任务发布；步骤五，数据融合任务执行；步骤六，分布数据存储；步骤七，结束。本专利技术的积极进步效果在于：本专利技术能够使用面向领域的可通用化，模板化数据模型对数据进行分析提取形成数据仓库，按照业务需求对异构数据进行语义分析，数据转化，统一存储，自动发现和适配不同结构的数据源，自动将各种不同结构化数据转换为统一结构化数据，自动将各种非结构化数据转换为统一结构化数据。附图说明图1为本专利技术的结构示意图。图2为本专利技术的流程图。具体实施方式下面结合附图给出本专利技术较佳实施例，以详细说明本专利技术的技术方案。如图1所示，本专利技术面向领域数据模型的结构化和非结构化的融合系统包括数据融合引擎模块、数据模型管理系统模块、分布式存储资源池模块，数据模型管理系统模块、分布式存储资源池模块都与数据融合引擎模块相连。所述数据融合引擎模块用于多源异构海量数据源数据清洗、加载、转换、提取。所述数据融合引擎模块包括结构化数据采集模块、非结构化数据采集模块、数据融合流程编排器、数据模型购构建器、语义解析模块、数据分析模块、数据转换模块，其中：结构化数据采集模块用于对结构化数据源数据进行接口适配合数据采集；非结构化数据采集模块用于对非结构化数据源数据进行接口适配合数据采集；数据融合流程编排器用于配置数据融合所需流程处理环节；数据模型购构建器其用于构建数据融合统一模型；语义解析模块用于对各种不同结构的数据进行结构语义解析和归纳，以便于后续数据分析；数据分析模块对数据结构进一步分析和形成统一转换结构；数据转换模块对各数据源结构化和非结构化数据的转换。所述数据模型管理系统模块用于面向领域数据模型设计。所述分布式存储资源池模块用于数据融合后依据数据模型提取出的主题分布式数据仓库。如图2所示，本专利技术面向领域数据模型的结构化和非结构化的融合方法包括以下步骤：步骤一，启动数据融合引擎采集器，各分布式数据采集器自动完成发现和适配各自接口的数据源并反馈至数据分析模块；步骤二，启动数据采集分析模块，数据分析模块对各数据源不同数据进行数据分析和统计；步骤三，数据模块构建；步骤四，数据融合任务发布；步骤五，数据融合任务执行，根据配置自动执行数据融合任务；步骤六，分布数据存储，将数据融合目标数据分布式存储于资源池；步骤七，结束。以上所述的具体实施例，对本专利技术的解决的技术问题、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本专利技术的具体实施例而已，并不用于限制本专利技术，凡在本专利技术的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本专利技术的保护范围之内。本文档来自技高网...

【技术保护点】
一种面向领域数据模型的结构化和非结构化的融合系统，其特征在于，其包括数据融合引擎模块、数据模型管理系统模块、分布式存储资源池模块，数据模型管理系统模块、分布式存储资源池模块都与数据融合引擎模块相连。

【技术特征摘要】
1.一种面向领域数据模型的结构化和非结构化的融合系统，其特征在于，其包括数据融合引擎模块、数据模型管理系统模块、分布式存储资源池模块，数据模型管理系统模块、分布式存储资源池模块都与数据融合引擎模块相连。2.如权利要求1所述的面面向领域数据模型的结构化和非结构化的融合系统，其特征在于，所述数据融合引擎模块用于多源异构海量数据源数据清洗、加载、转换、提取。3.如权利要求2所述的面向领域数据模型的结构化和非结构化的融合系统，其特征在于，所述数据融合引擎模块包括结构化数据采集模块、非结构化数据采集模块、数据融合流程编排器、数据模型购构建器、语义解析模块、数据分析模块、数据转换模块，其中：结构化数据采集模块用于对结构化数据源数据进行接口适配合数据采集；非结构化数据采集模块用于对非结构化数据源数据进行接口适配合数据采集；数据融合流程编排器用于配置数据融合所需流程处理环节...

【专利技术属性】
技术研发人员：闵圣捷，丁星，漆杨，武静，金日海，王伟，肖青山，徐文龙，杨斐然，
申请(专利权)人：中电科华云信息技术有限公司，
类型：发明
国别省市：上海,31