一种数据自动转换与存储的方法及系统技术方案

本发明专利技术公开了一种数据自动转换与存储系统，包括数据提取器，用于从不同的数据源中提取原始数据，传递给数据转换器；数据转换器，将从不同的数据源提取的原始数据转换成特定的数据格式；数据缓存器，与数据转换器相连，将数据转换器转换得到的数据结果组织成统一的数据结构；数据存储器，用于将缓存器中的数据存储到目标数据库中。本发明专利技术开放了各种系统信息配置，支持按照现场需求进行系统定制，从而能够完成企业现有各种业务系统的异构数据集成，有效整合数据。

【技术实现步骤摘要】

本专利技术涉及工业信息化领域，特别涉及一种数据自动转换与存储的方法及系统。
技术介绍
目前工业企业一般都是实施了多套计算机系统，包括生产监控的实时数据库系统、能源计量系统、完成特定功能的业务系统软件，以及办公自动化系统、财务系统、ERP等等，这些系统通常都是在不同时期投资、由不同施工单位、采用不同技术完成的，所采用的数据存储形式、数据的组织结构均存在差异，而且开放出来的数据接口也各不相同，无法实现数据的无障碍交换，逐渐造成了运行维护难、信息沟通难、改造升级投入大等问题。同时这些系统所形成的大量的、珍贵的生产数据，以各种结构独立存储在各个系统中，难于统一分析，难于形成对企业生产决策有效的辅助信息，所以目前企业面临的不是没有数据进行分析，而且数据太多、太分散无法进行统一、有效分析。本专利技术的目标就是要解决这类问题，为企业提供生产数据自动转换与存储的方法及系统，自动提取各个系统的数据，进行数据转换和存储，形成统一格式的企业生产信息库，为企业生产数据分析、经营决策提供全面、准确的数据支持。
技术实现思路
本专利技术提供的一种数据自动转换与存储的方法及系统，能够将工业企业现有各种业务系统的异构数据进行统一集成，从而提供及时、全面、可靠的数据基础。本专利技术提供的数据自动转换与存储系统包括:数据提取器，用于从不同的数据源中提取原始数据，传递给数据转换器；数据转换器，将从不同的数据源提取的原始数据转换成特定的数据格式；数据缓存器，与数据转换器相连，将数据转换器转换得到的数据结果组织成统一的数据结构，以数据表为单位来组织数据项，数据表包含维度、数据项和数据记录，维度用于描述和标识数据记录，数据记录中记录了具体的数据项值；数据存储器，用于将数据缓存器中以数据表为单位组织的数据与关系型数据库中的物理表进行映射，最终将缓存数据写入对应的数据库表中，完成数据的存储；执行调度器，根据系统配置文件对各个过程进行调度和控制。本专利技术还提供一种数据自动转换与存储方法，该方法包括:步骤1，从不同的数据源中提取原始数据，传递给数据转换器；步骤2，将从不同的数据源提取的原始数据转换成特定的数据格式；步骤3，将数据转换器转换得到的数据结果组织成统一的数据结构，以数据表为单位来组织数据项，数据表包含维度、数据项和数据记录，维度用于描述和标识数据记录，数据记录中记录了具体的数据项值；步骤4，判断目标数据库中是否存在对应所述数据表的名称的数据库表，如果不存在则创建该名称的数据库表，然后判断对应维度名称的表字段是否存在，如果不存在则创建该维度名称的表字段，接下来判断对应数据项名称的表字段是否存在，如果不存在则创建该数据项名称的表字段，最后判断对应维度值组合的数据记录是否已存在，如果存在，则生成数据记录更新命令，如果不存在，则生成数据记录插入命令，命令执行后就完成了数据的存储。本专利技术的方案提出了数据提取接口库及数据转换算法库，提出了数据转换算法的在线编译环境和插件集成环境，从而使系统具备了良好的灵活性和适应能力。扩展数据提取接口库，就能够接入更多的数据源；扩展数据转换算法，就能够满足更多的数据转换需求。另外本专利技术设计了统一的数据存储结构，并且通过定义数据分析维度，结构化存储数据信息，为信息组织、分析提供了强大支持。本专利技术还设计了功能完备的执行调度器，并且具有完善的开放性，支持各类信息的用户配置，包括各类执行周期的配置、数据源的配置、数据提取的配置、数据转换方法的配置、数据存储格式配置、数据存储的配置等等。附图说明图1是本专利技术数据自动转换与存储方法的基本流程图；图2是本专利技术数据自动转换与存储系统的结构框图；图3是本专利技术数据自动转换与存储系统中数据转换器的结构框图；图4是本专利技术数据缓存器中数据表结构示意图；图5是本专利技术数据存储器执行流程图；图6是本专利技术执行调度器调度流程图。具体实施例方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术进一步详细说明。本专利技术提出一种数据自动转换与存储的方法及系统，解决例如工业企业各种生产执行系统、信息化系统所产生的各种异构数据的统一集成问题。图1为本专利技术数据自动转换与存储方法的基本流程图。参照图1，本专利技术的方法包括数据提取S1、数据转换S2和数据存储S3三个步骤。在步骤SI进行数据提取，该步骤负责从数据源提取原始业务数据，利用一个数据提取接口库来实现多种数据提取方式，针对不同数据源选用合适的数据提取方式，快速高效的实现数据提取。针对实时数据库系统，通过集成不同实时数据库产品的API接口，只需配置对应的数据点位号即可完成数据提取。主要包括以下几种方式的提取:1)针对以通用关系数据库作为数据存储的系统，提供标准SQL数据查询支持，可以编写SQL语句或者执行存储过程进行数据的提取。2)针对以数据文件并公开数据文件结构的系统，通过数据文件接口进行数据提取。3)针对不公开数据存储结构，但是提供数据通信接口的系统，可以编写接口适配器，再以插件形式集成到系统中，完成数据提取。在步骤S2，在数据提取之后执行数据转换，数据从不同的数据源提取到系统中后，经过数据转换，将提取到的业务系统的操作数据、原始数据，转换为适合进行信息分析的数据结构。数据转换过程集成了丰富的数据转换算法实现方式，其组成结构如图3所示，包含一个数据转换算法库，可以预置大量通用的、一般性的、基础性的数据转换算法，实现一般性的数据转换需求。在数据转换过程中，还提供一个高级语言脚本环境，用户可以直接编写数据转换逻辑，系统自动编译自动执行，完成定制的数据转换，并且用户可以根据需要随时在线修改脚本，系统自动重新编译、自动执行新的算法脚本。数据转换过程还提供了一个插件集成环境，数据转换算法可以以插件的形式集成到系统中进行数据转换。这个插件集成环境，定义了插件实现方式，包括定义了插件的三个接口，分别是获取转换算法的接口、获取转换算法输入参数和输出参数定义的接口、执行算法并返回计算结果的接口，还定义了转换算法数据输入和结果返回的数据结构。用户只要遵照这一实现方式，就可以将复杂的数据转换逻辑编写成算法插件，放到系统中，就可以动态配置和应用这些算法进行数据转换。在步骤S3，在数据转换之后执行数据存储，负责将数据转换结果存储到目标数据库中，为提高系统数据处理能力和系统性能，在执行存储之前，先按照统一格式对转换后的数据进行缓存，同一张数据表的数据全部完成转换后，一次性将这张表的数据进行存储，批量执行，避免了单个数据单次执行，提高系统执行效率和性能。数据存储过程完成数据的集中、统一存储，并且完成数据存储前的各种逻辑判断处理，这些逻辑包括但不限于:判断数据库表是否存在，不存在则自动创建；判断数据项是否存在，不存在则自动创建相应数据格式的数据项；判断目标维度是否存在，不存在则自动创建目标维度；判断目标维度值(多维度需组合判断)的数据项是否存在，不存在则插入数据，已存在则更新数据。本专利技术的方法还通过定时器来支持定义数据转换存储的不同时间周期，在满足执行周期时，能够自动执行数据提取、数据转换、数据缓存、数据存储过程，完成本周期的数据提取、转换、存储一系列任务，再进入下一周期的判断，周而复始，随着时间的推移形成完备的基础信息库。图2为本专利技术数据自动转换与存储的系统结构图。参本文档来自技高网...

【技术保护点】
一种数据自动转换与存储系统，该系统包括：数据提取器，用于从不同的数据源中提取原始数据，传递给数据转换器；数据转换器，将从不同的数据源提取的原始数据转换成特定的数据格式；数据缓存器，与数据转换器相连，将数据转换器转换得到的数据结果组织成统一的数据结构，以数据表为单位来组织数据项，数据表包含维度、数据项和数据记录，维度用于描述和标识数据记录，数据记录中记录了具体的数据项值；数据存储器，用于将数据缓存器中以数据表为单位组织的数据与关系型数据库中的物理表进行映射，最终将缓存数据写入对应的数据库表中，完成数据的存储；执行调度器，根据系统配置文件对各个过程进行调度和控制。

【技术特征摘要】
1.一种数据自动转换与存储系统，该系统包括: 数据提取器，用于从不同的数据源中提取原始数据，传递给数据转换器； 数据转换器，将从不同的数据源提取的原始数据转换成特定的数据格式； 数据缓存器，与数据转换器相连，将数据转换器转换得到的数据结果组织成统一的数据结构，以数据表为单位来组织数据项，数据表包含维度、数据项和数据记录，维度用于描述和标识数据记录，数据记录中记录了具体的数据项值； 数据存储器，用于将数据缓存器中以数据表为单位组织的数据与关系型数据库中的物理表进行映射，最终将缓存数据写入对应的数据库表中，完成数据的存储； 执行调度器，根据系统配置文件对各个过程进行调度和控制。2.按权利要求1所述的系统，其特征在于，数据提取器前端有一个数据提取接口库，支持多种数据提取方式，并预置了多种通用提取接口，并且具有良好的开放性，支持新接口动态库的动态接入。3.按权利要求1所述的系统，其特征在于，数据提取器根据以下方式调用接口库中的接口进行数据的提取:针对实时数据库系统，通过集成不同实时数据库的API接口，配置对应的数据点位号来完成数据提取；针对以通用关系数据库作为数据存储的系统，提供标准SQL数据查询支持，通过编写SQL语句或者执行存储过程进行数据的提取；针对以数据文件并公开数据文件结构的系统，通过数据文件接口进行数据提取；针对不公开数据存储结构，但是提供数据通信接口的系统，通过编写接口适配器，再以插件形式集成到系统中来完成数据提取。4.按权利要求1所述的系统，其特征在于，所述数据转换器进一步包括: 通用数据转换算法提供装置，其包含有该系统预定义的各种算法，对适用这些算法的数据进行转换处理； 高级语言在线编译环境提供装置，用于直接在编译环境中在线编写数据转换脚本，脚本编写完成后，编译器自动编译成可执行代码并缓存，供数据转换器调用进行数据转换； 数据转换算法插件集成环境提供装置，用于独立编写算法插件，按照插件环境规定的插件接口定义进行插件实现，将编写好的插件放到系统转换算法插件目录下，插件环境动态加载该插件，供数据转换器调用完成数据转换。5.按权利要求1所述的系统，其特征在于，该系统进一步包括执行调度器，由其调度和控制系统的运行，他的执行依据是系统配置文件，根据转换周期配置判断是否启动一次转换存储，在一个转换存储周期中，依据数据提取配置进行数据提取，依据数据转换配置执行数据转换，依据数据存储配置完成数据存储。6.一种数据自动转换与存储方法，该方法包括: 步骤1，从不同的数据源中提取原始数据，传递给数据转...

【专利技术属性】
技术研发人员：林红权，辛若家，马增良，牛鹏飞，田晓娟，
申请(专利权)人：中国科学院自动化研究所，北京三博中自科技有限公司，
类型：发明
国别省市：