一种通用数据入库装置及方法制造方法及图纸

本发明专利技术提供了一种通用数据入库装置及方法，该方法包括：根据数据流类型及数据库生成配置文件；根据配置文件建立数据库连接，并建立数据流对应数据结构和数据库中数据表结构的映射关系；之后将接收的数据流写入所述数据库。采用本发明专利技术的技术方案，可以解决不同数据结构对应不同数据数据库表结构的映射和入库过程，无缝地解决了安全信息管理系统数据入第三方库的问题，以及其他领域通用数据入库的问题。同时，本发明专利技术具有灵活，实现简单，占用资源少，效率高的特征。

【技术实现步骤摘要】

本专利技术涉及数据库领域，具体涉及。
技术介绍
在安全信息管理系统中(SIMS:Security Information Manage System)，常常 需要把采集到的安全信息在第三方厂商的软硬件环境下展现，在实现上表现为把第三方 厂商感兴趣的数据入到特定的表中。不同厂商关注的数据千变万化，其自定义的数据库 存储结构也是格式多样的，这样就存在一个问题，怎么样才能使安全信息管理系统(SIMS Security Information Manage System)中的数据方便的转换到第三方数据库中。目前来说，最通用的做法就是针对不同的第三方厂商的应用，做不同的数据入库 模块，这样的直接后果就是代码冗余，管理维护成本太高。
技术实现思路
本专利技术要解决的技术问题是提供一种通用的数据入库装置及方法，无缝地解决了 安全信息管理系统数据入第三方库的问题。为了解决上述问题，本专利技术提供了一种通用数据入库方法，包括根据数据流类型 及数据库生成配置文件；根据配置文件建立数据库连接，并建立数据流对应数据结构和数 据库中数据表结构的映射关系；之后将接收的数据流写入所述数据库。进一步地，所述生成的配置文件包括数据流描述、数据库表结构描述、数据库类 型、数据库地址、数据库名称及密码。进一步地，所述建立数据库连接是指，先根据所述配置文件确定数据库类型、数据 库地址、数据库名称及密码，之后根据上述值建立数据库连接。进一步地，所述根据配置文件的数据流描述，建立数据流对应数据结构和数据库 中数据表结构的映射是指，根据配置文件中包含的字段及字段类型，确定这些字段在内存 中的线性序列，以及根据配置文件中数据库表结构的描述语句，确定数据库表结构，之后建 立入库命令中参数序列和数据结构中各字段的映射关系。进一步地，所述将接收的数据流写入所述数据库是指，收到数据流后，提取与数据 流描述中对应的字段值，利用入库命令将所述字段值插入所述数据库中。本专利技术还提供一种通用数据入库装置，所述装置包括配置文件生成模块、映射模 块、存储模块和数据流接收及写入模式；所述配置文件生成模块用于根据数据流的类型及数据库生成配置文件；所述映射模块用于读取生成的配置文件，建立数据库连接及建立数据流对应数据 结构和数据库中数据表结构的映射；所述存储模块用于接收并存储入库命令以及入库命令中参数序列与数据流字段 的映射关系；所述数据流接收及写入模块用于将接收的数据流写入所述数据库。进一步地，所述生成的配置文件包括数据流描述、数据库表结构描述、数据库类 型、数据库地址、数据库名称及密码。进一步地，所述映射模块建立数据库连接是指，映射模块根据所述配置文件确定 数据库类型、数据库地址、数据库名称及密码，并根据上述值建立数据库连接。进一步地，所述映射模块建立数据流对应数据结构和数据库中数据表结构的映射 是指，映射模块根据配置文件中包含的字段及字段类型，确定这些字段在内存中的线性序 列，以及根据配置文件中数据库表结构的描述语句，确定数据库表结构，之后建立入库命令 中参数序列和数据结构中各字段的映射关系。进一步地，所述流接收及写入模块将接收的数据流写入所述数据库是指，流接收 及写入模块接收数据流，提取与数据流描述中对应的字段值，利用入库命令将所述字段值 插入所述数据库中。综上所述，本专利技术提供一种通用的数据入库装置及方法，可以解决不同数据结构 对应不同数据数据库表结构的映射和入库过程，无缝地解决了安全信息管理系统数据入第 三方库的问题，以及其他领域通用数据入库的问题。同时，本专利技术具有灵活，实现简单，占用 资源少，效率高的特征。附图说明图1为本专利技术装置结构示意图；图2为本专利技术方法流程图。具体实施例方式针对现有技术的不足，本专利技术提供一种通用的数据入库装置及方法，通过配置文 件把数据结构内容和安全信息管理系统所采集的数据进行关联和映射，使安全信息管理系 统所采集的数据可以无缝的传输到第三方应用的自定义数据表中。本专利技术提供一种通用数据入库装置，如图1所示，包括配置文件生成模块、映射模 块、存储模块和数据流接收及写入模式；配置文件生成模块用于根据数据流的类型及数据库生成配置文件，配置文件包括 数据流描述、数据库表结构描述、数据库类型、数据库地址、数据库名称及密码等信息；映射模块用于读取生成的配置文件，建立数据库连接及建立数据流对应数据结构 和数据库中数据表结构的映射；映射模块建立数据库连接是指，映射模块根据所述配置文件确定数据库类型、数 据库地址、数据库名称及密码，并根据上述值建立数据库连接；映射模块建立数据流对应数据结构和数据库中数据表结构的映射是指，映射模块 根据配置文件中包含的字段及字段类型，确定这些字段在内存中的线性序列，以及根据配 置文件中数据库表结构的描述语句，确定数据库表结构，之后建立入库命令中参数序列和 数据结构中各字段的映射关系。映射模块还用于将入库命令及建立的入库命令中参数序列与数据流字段的映射 关系发送至存储模块。存储模块用于接收并存储入库命令以及入库命令中参数序列与数据流字段的映4射关系；数据流接收及写入模块用于将接收的数据流写入数据库，即接收输入的数据流， 并提取数据流中的各字段值，利用入库命令(如插入语句)将读取的字段值写入数据库。本专利技术提供一种通用数据入库方法，如图2所示，包括以下步骤(1)根据数据流的类型及数据库生成具体应用时的配置文件；配置文件包括数据流描述、数据库表结构描述、数据库类型、数据库地址、数据库 名称及密码等信息。配置文件格式定义了不同类型数据流的数据流描述格式，字段类型的种类，及数 据库表结构描述的格式。根据字段类型列表确定数据流描述中各字段对应的字段类型，常见的字段类型有 如表1所示的6种，当然还可以有其他的字段类型，本专利技术对此不作限制。表1 字段类型列表 (2)根据配置文件读取建立数据库连接；该步骤具体为根据配置文件决定数据库类型，数据库地址以及连接需要的数据 库名称、密码等必须信息。程序读取这些值，建立通用数据库连接，建立数据库连接的具体 操作同现有技术。不同应用场景可能对应不同的数据库类型。(3)根据配置文件中数据流的描述，建立数据流对应数据结构和数据库中数据表 结构的映射关系。该步骤具体包括(31)先按照配置文件中数据流的描述确定数据流中包含的字段的线性序列，即根 据数据流中的字段及字段类型确定这些字段在内存中的线性序列；(32)根据配置文件中数据库表结构的描述语句，确定数据库表结构，并建立入库 命令中参数序列和数据结构中各字段的映射关系，准备数据库插入语句。数据库表结构的描述语句可以是任意数据定义语句(DDL)或者数据操作语句 (DML)，只要能反映出数据表的结构都属于本专利技术关注范围。(4)接收数据，按照数据流描述对应的数据结构定义，提取和数据表结构定义中对 应的字段值，写入数据库。该步骤具体为开始接收数据流，按照步骤(3)中数据流和数据结构的映射关系， 读取各字段值，利用入库命令(如插入语句)将读取的字段值写入数据库，完成本次数据插 入操作，等待下一次数据流输入，依次循环。由以上专利技术所提供的技术方案可以看出，通过配置文件对数据流中的数据结构进 行描述后，本专利技术可以实现任意内置数据类型的入库操作。因此，本专利技术可以解决不同数据 结构本文档来自技高网...

【技术保护点】
一种通用数据入库方法，包括：根据数据流类型及数据库生成配置文件；根据配置文件建立数据库连接，并建立数据流对应数据结构和数据库中数据表结构的映射关系；之后将接收的数据流写入所述数据库。

【技术特征摘要】

【专利技术属性】
技术研发人员：周玉，安占江，段文国，诸葛凌啸，
申请(专利权)人：北京启明星辰信息技术股份有限公司，北京启明星辰信息安全技术有限公司，
类型：发明
国别省市：11