一种利用ETL技术对计费数据进行抽取提供的方法技术

本发明专利技术针对现有的数据接口、部署和调度不便的问题，公开了一种利用ＥＴＬ技术对计费数据进行抽取提供的方法，它主要包括：分析数据抽取的三个基本元素即输入、输出及处理过程，将这三个部分进行了参数化描述，以便达到在数据抽取，数据提供的应用中采用数据驱动的模式，而非过程驱动的模式；建立数据抽取的可复用的过程配置机制以及便于管理和控制的任务调度机制。可广泛运用于计费系统与外围系统的接口数据提供过程中。

【技术实现步骤摘要】

本专利技术涉及一种计费数据的抽取和应用的方法，具体地说是一种利用ETL技术对计费数据进行抽取提供的方法。
技术介绍
目前，一般的数据过程抽取都是以目标数据需求为目标在现有系统中查找可用的数据资源，分析现有系统中可用数据资源和目标数据需求之间的关系，并制定数据抽取过程，按制定的数据抽取过程编写专用程序段完成目标数据的抽取。这种实现的策略的优点在于实现简单，缺点在于专用程序段只是为某一种数据需求开发的功能，一旦数据需求变化，则该专用程序段将无法继续提供新的目标数据。在数据抽取和数据提供需求较多的情况下，开发人员的开发量大且由于各个专用程序段的写法基本一致，使得开发人员缺乏创造性。以集中计费系统常见的接口数据提供为例，对于一个省集中计费系统，往往需要给外围的其它独立系统提供相关的计费资料和帐务数据，外围系统的接口需求多样化，一般各有特点，但往往也有重合的因素，但是通过专用程序段实现的接口需求往往不能实现基本过程的复用，容易造成接口数据孤岛。同时接口提供程序的部署和调度往往也是一个难题。通过ETL技术，接口数据提供可以抽象成为一个个目标数据集，目标数据与源数据存在可复用转换关系的抽取过程。接口的变化可以通过参数的变化来实现，而作为后台的ETL抽取引擎只负责按照ETL流程解析参数和规则，从而完成接口数据提供的动态实现。
技术实现思路
本专利技术的目的是针对现有的数据接口、部署和调度不便的问题，提供一种利用ETL技术对计费数据进行抽取提供的方法。-->本专利技术的技术方案是：一种利用ETL技术对计费数据进行抽取提供的方法，其特征是它包括以下步骤：分析数据抽取的三个基本元素即输入、输出及处理过程，将这三个部分进行了参数化描述，以便达到在数据抽取，数据提供的应用中采用数据驱动的模式，而非过程驱动的模式；建立数据抽取的可复用的过程配置机制以及便于管理和控制的任务调度机制。上述方法可具体细化为：a、确定输入部分；b、读取输入部分的主数据源；c、根据应用的需求，读取次数据源的数据；d、按照应用需求中的变换规则进行数据的变换；e、将变换后的数据记录存贮在应用内部；f、支持过程条件(参数)配置；g、主数据源处理完成后，按预先定义的格式进行输出；在读取原始数据、根据主数据，读取次数据源的过程中考虑的是主数据源和次数据源之间的关联关系，而按预定格式进行输出，可利用数据抽取结构写入数据库表格或数据文件中；在整个数据抽取的过程中主要的任务是数据变换。数据变换一般的来说遵从如下的基本规则：Result＝f(source_elementl，source_element2，…..)Result：是指目标数据记录的某一个字段的取值source_element：是指原始数据记录中某字段的取值F是指数据的变换规则，一般是某种函数关系在数据抽取过程中目标数据和原始数据之间的函数关系，存在的函数关系有：数据抽取、数据概化、集成、数据规范化及填写缺省值、选举、概念映射、函数操作等函数关系；数据抽取：数据抽取是指在原始数据和目标数据之间存在复制的关系；数据概化：是指将数据概念化，目标数据和原始数据在业务上存在概念-->上的上下级关系，如原始数据元素分局和目标数据元素营业区之间存在的就是一种数据概化的函数关系；数据集成：集成最简单的概念就put together，在数据抽取中大量存在的各种指标性质的元素，原始数据和目标数据之间存在的就是一种数据集成的函数关系；数据规范化：数据规范化一般是指将连续变量离散化。这种函数关系在数据抽取的过程中存在的不是很多；填写缺省值：主要应用在两种环境，一种是目标数据和原始数据之间不存在关系，目标数据中的元素和处理时的各种业务环境相关，另一种是原始数据和目标数据之间存在某种函数关系，但原始数据的元素值是未知的，采用填写缺省值的办法进行处理或采用投票方式确定原始数据中字段值未知的值；选举：当源事件数据中，存在若干个值而目标数据中只需要一个数据时，采用的解决这种取值冲突的方法；概念映射：是指目的事件和源事件在含义上面表述的是同一概念，在各自的领域必须采用不同的概念的情形；函数运算：函数包含通用函数和行业函数，通用函数包括SQL函数、数学函数、字符串函数、日期函数，该函数表述了源事件属性和目的事件属性之间的函数关系；行业函数：是指在某一行业使用的专有算法；过程条件为指定源事件抽取的范围和条件，在源事件是表类型时即为SQL语句WHERE条件部分。本专利技术的有益效果：本专利技术在中兴软创湖南BSN省集中计费项目中的实际运用证明，通过适当的参数配置和任务定制的方式，即可实现与渠道系统、公话分析系统、经营分析系统、智能网系统的所有接口数据的提供。同时由于ETL组件屏蔽了接口的特殊性和地域性，便于移植，而且应用配置相对简单，它广泛运用于计费系统与外围系统的接口数据提供过程中。附图说明-->图1是本专利技术的概念模型结构示意图。图2是本专利技术的流程定制过程示意图。图3是本专利技术的ETL核心抽取流程示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的说明。如图3所示。一种利用ETL技术对计费数据进行抽取提供的方法，简言之它包括以下步骤：分析数据抽取的三个基本元素即输入、输出及处理过程，将这三个部分进行了参数化描述，以便达到在数据抽取，数据提供的应用中采用数据驱动的模式，而非过程驱动的模式；建立数据抽取的可复用的过程配置机制以及便于管理和控制的任务调度机制。上述方法可具体细化为：a、确定输入部分；b、读取输入部分的主数据源；c、根据应用的需求，读取次数据源的数据；d、按照应用需求中的变换规则进行数据的变换；e、将变换后的数据记录存贮在应用内部；f、支持过程条件(参数)配置；g、主数据源处理完成后，按预先定义的格式进行输出；在读取原始数据、根据主数据，读取次数据源的过程中考虑的是主数据源和次数据源之间的关联关系，而按预定格式进行输出，可利用数据抽取结构写入数据库表格或数据文件中；在整个数据抽取的过程中主要的任务是数据变换。数据变换一般的来说遵从如下的基本规则：Result＝f(source_elementl，source_element2，…..)Result：是指目标数据记录的某一个字段的取值source_element：是指原始数据记录中某字段的取值F是指数据的变换规则，一般是某种函数关系-->在数据抽取过程中目标数据和原始数据之间的函数关系，存在的函数关系有：数据抽取、数据概化、集成、数据规范化及填写缺省值、选举、概念映射、函数操作等函数关系；数据抽取：数据抽取是指在原始数据和目标数据之间存在复制的关系；数据概化：是指将数据概念化，目标数据和原始数据在业务上存在概念上的上下级关系，如原始数据元素分局和目标数据元素营业区之间存在的就是一种数据概化的函数关系；数据集成：集成最简单的概念就put together，在数据抽取中大量存在的各种指标性质的元素，原始数据和目标数据之间存在的就是一种数据集成的函数关系；数据规范化：数据规范化一般是指将连续变量离散化。这种函数关系在数据抽取的过程中存在的不是很多；填写缺省值：主要应用在两种环境，一种是目标数据和原始数据之间不存在关系，目标数据中的元素和处理时的各种业务环境相关，另一种是原始数据和目标数据之间存在某种函数本文档来自技高网...

【技术保护点】
一种利用ＥＴＬ技术对计费数据进行抽取提供的方法，其特征是它包括以下步骤：分析数据抽取的三个基本元素即输入、输出及处理过程，将这三个部分进行了参数化描述，以便达到在数据抽取，数据提供的应用中采用数据驱动的模式，而非过程驱动的模式；建立数据抽取的可复用的过程配置机制以及便于管理和控制的任务调度机制。

【技术特征摘要】
1、一种利用ETL技术对计费数据进行抽取提供的方法，其特征是它包括以下步骤：分析数据抽取的三个基本元素即输入、输出及处理过程，将这三个部分进行了参数化描述，以便达到在数据抽取，数据提供的应用中采用数据驱动的模式，而非过程驱动的模式；建立数据抽取的可复用的过程配置机制以及便于管理和控制的任务调度机制。2、根据权利要求1所述的利用ETL技术对计费数据进行抽取提供的方法，其特征是它包括以下具体步骤：a、确定输入部分；b、读取输入部分的主数据源；c、根据应用的需求，读取次数据源的数据；d、按照应用需求中的变换规则进行数据的变换；e、将变换后的数据记录存贮在应用内部；f、支持过程条件(参数)配置；g、主数据源处理完成后，按预先定义的格式进行输出；在读取原始数据、根据主数据，读取次数据源的过程中考虑的是主数据源和次数据源之间的关联关系，而按预定格式进行输出，可利用数据抽取结构写入数据库表格或数据文件中；在整个数据抽取的过程中主要的任务是数据变换。数据变换一般的来说遵从如下的基本规则：Result＝f(source_element1，source_element2，…..)Result：是指目标数据记录的某一个字段的取值source_element：是指原始数据记录中某字段的取值F是指数据的变换规则，一般是某种函数关系在数据抽取过程中目标数据和原始数据之间的函数关系，存在的函数关系有：数据抽取、数据概化、集成、数据规范化及填写缺...

【专利技术属性】
技术研发人员：张金海，宋苏强，
申请(专利权)人：南京中兴软创科技有限责任公司，
类型：发明
国别省市：84[中国|南京]