【技术实现步骤摘要】
本系统涉及一种计算机应用
,具体的说是一种通用的数据抽取转换方法。
技术介绍
目前我国各个领域的基础数据都已经完善,各业务系统积累了大量数据,蕴藏了丰富的信息资源,数据利用方面的需求日益增多。数据挖掘、决策支持日益兴起,如何从海量数据中挖掘出有价值的数据,如何有效应对业务需求的变化带来的数据处理规则变化,是软件公司和客户急于解决的问题。目前实现数据抽取转换的方式有很多,如直接写脚本处理数据、ETL软件产品,但无论是写脚本还是ETL产品,都无法避免需要专业技术人员进行数据加载与维护,对业务需求的变更不能及时响应,并且对技术人员要求非常高,不但要懂技术同时需要对业务很熟。因此,需要一套比较科学的方法及方法帮助软件公司及客户适应快速变化的需求,快速的完成数据抽取处理,实现业务人员(客户)自行加载业务、自行维护需求,提高技术对业务变化的响应能力。传统数据抽取处理方法几乎都是面向技术人员使用,业务人员提出需求,技术人员理解需求后做相应的数据抽取处理。技术人员需要既·懂业务有懂技术,对技术人员要求比较高,且对于需求的变动不能及时做出反映。通用的数据抽取处理方法实现了与行业(业务)的无关性,其重点转向了对业务需求变化的管理,其系统功能的关注重点也随之转向了提供支持业务变化的服务,通过这些方法提供的功能,加载和实现各类业务的处理和加工。实现业务人员(客户)自行加载业务、自行维护需求,提高技术对业务变化的响应能力。
技术实现思路
本专利技术的目的是提供一种通用的适合非技术人员使用的数据抽取转换方法。根据目前数据应用领域的应用规模及应用内容分析,随着信息技术不断的发展,将来的数据 ...
【技术保护点】
一种通用的数据抽取转换方法,?其特征在于通过分析各类数据抽取处理加载及调度方法,总结出数据抽取处理的公共特征,采用数据结构、抽取规则、抽取计划分别进行定义管理的方式,进行源表数据字典定义、目标表结构设置、抽取规则设置、抽取计划设置,其中,数据字典定义:定义源数据所在的数据库信息、表信息、字段信息、表及字段的业务含义各元数据信息;目标表结构设置:用来定义数据抽取处理后的结果表,包括:基本信息、索引信息、表及字段的业务含义各元数据信息;抽取规则设置:使用拖拽方式实现抽取规则,其中需要用到的源表信息、目标表信息、规则信息均用业务语言描述,抽取规则设置内容包括:查询组件、修改组件、删除组件、扩展组件、血缘分析;引导抽取规则设置包括以下内容:1)新建规则信息,设置内容包括:抽取类型、规则名称、规则描述、规则备注;2)参数维护,维护整个规则的参数,定义的参数,在所有组件中都能使用,参数内容包括:参数名称、显示名称、参数描述、参数值类型、参数长度、备注;3)抽取规则组件定义,根据业务需求逻辑规则,选择并定义多个抽取组件,组件信息包括:组件类型、组件名称、组件描述、是否已校验、是否使用、备注;4)规则 ...
【技术特征摘要】
1.一种通用的数据抽取转换方法,其特征在于通过分析各类数据抽取处理加载及调度方法,总结出数据抽取处理的公共特征,采用数据结构、抽取规则、抽取计划分别进行定义管理的方式,进行源表数据字典定义、目标表结构设置、抽取规则设置、抽取计划设置,其中, 数据字典定义定义源数据所在的数据库信息、表信息、字段信息、表及字段的业务含义各元数据信息; 目标表结构设置用来定义数据抽取处理后的结果表,包括基本信息、索引信息、表及字段的业务含义各元数据信息; 抽取规则设置使用拖拽方式实现抽取规则,其中需要用到的源表信息、目标表信息、规则信息均用业务语言描述,抽取规则设置内容包括查询组件、修改组件、删除组件、扩展组件、血缘分析;引导抽取规则设置包括以下内容 1)新建规则信息,设置内容包括抽取类型、规则名称、规则描述、...
【专利技术属性】
技术研发人员:周秀强,崔永生,吕亚伟,曹苗苗,
申请(专利权)人:浪潮齐鲁软件产业有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。