【技术实现步骤摘要】
基于动态元数据的大数据智能建模系统及方法
本专利技术属于大数据处理
，具体涉及基于动态元数据的大数据智能建模系统及方法。
技术介绍
随着信息技术和互联网的发展，各种信息呈现爆炸性增长,涵盖政治、经济、娱乐、军事、文化等各个方面，庞大的数据信息包含丰富的知识，已成为推动各领域发展的重要力量。为从海量信息中获取潜在的知识，多种面向大数据挖掘的系统或相关实用工具应运而生，实现了大数据从存储、计算到可视化等多种技术的集成，一定程度上降低了大数据挖掘建模的技术门槛，但现有技术仍存在以下问题：其一，建模策略单一，现有工具通常以提供若干大数据挖掘模板形式辅助开发，适用业务场景有限，且拓展开发要求操作人员具备较高的专业知识；其二，建模效率低下，由于数据建模是一个反复迭代优化的过程，为检验挖掘步骤的正确性和挖掘效果的有效性，需不断执行计算操作，在大数据场景下，势必引入的巨大时间成本。本专利技术针对现有技术缺陷，提出基于动态元数据的大数据智能建模系统及方法，改进大数据建模策略，提高建模效率，为大数据挖掘在各领域中的推广做出
【技术保护点】
1.一种基于动态元数据的大数据智能建模系统，其特征在于：该系统包括元数据采集模块，元数据算法库模块，异常检测模块，可视化模块和大数据引擎模块。/n
【技术特征摘要】
1.一种基于动态元数据的大数据智能建模系统，其特征在于：该系统包括元数据采集模块，元数据算法库模块，异常检测模块，可视化模块和大数据引擎模块。
2.如权利要求1所述的一种基于动态元数据的大数据智能建模系统，其特征在于：所述的元数据采集模块构建数据源的元数据，并将其作为初始元数据载入建模过程，在添加数据源时，调用元数据采集模块对数据源进行统计，提取字段数，记录数，每个字段的名称、数据类型、角色、值范围、值缺失个数等数据特征，合并生成元数据，然后将元数据与当前数据源绑定，当数据源与其他流程节点连接时，自动将元数据传递给下级流程节点。
3.如权利要求1所述的一种基于动态元数据的大数据智能建模系统，其特征在于：所述的元数据算法库模块用于提供元数据计算，它集成了用于元数据计算的功能算子，该功能算子包括能够进行数据转换、数据清洗、数据集成、数据规约、数据生成、数据特征提取、统计分析、关联规则、分类与回归、聚类、模型应用与评估等多项建模操作的计算逻辑，当添加一个流程节点时，通过元数据算法库模块获取该流程节点所需的元数据算子，元数据算子自动实现对流程节点输入端元数据的计算，并将新的元数据储存至流程节点的输出端，基于元数据算法库模块，对流程节点进行添加、连接的同时，元数据也在动态的转换、传递。
4.如权利要求1所述的一种基于动态元数据的大数据智能建模系统，其特征在于：所述的异常检测模块用于实现建模流程设计中的异常检测，包括异常检测库和异常检测引擎两个子模块。
5.如权利要求4所述的一种基于动态元数据的大数据智能建模系统，其特征在于：所述的异常检测库以元数据模拟真实大数据样本，分别定义每项数据操作合规的元数据形式、内容，并将异常状态划分为Fatal、Error、Wa...
【专利技术属性】
技术研发人员：王智永，王文晋，张可新，
申请(专利权)人：北京华如科技股份有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。