一种抽取ＩＭＳ数据库中数据的方法和装置制造方法及图纸

本发明专利技术提供了一种抽取ＩＭＳ数据库中数据的方法，包括步骤：将ＩＭＳ数据库中的数据下载至主机文件中；预置数据抽取条件；根据所述抽取条件遍历所述下载文件中的记录，抽取符合条件的数据。当主机文件中的数据库为多个时，在数据抽取步骤之前还包括步骤：预置基准栏位，且所述数据抽取过程为：根据所述抽取条件和基准栏位遍历下载文件中不同数据库中的记录，抽取符合条件的数据。提高了数据抽取的效率，节省了网络资源。本发明专利技术还提供了一种抽取ＩＭＳ数据库中数据的装置和系统。

【技术实现步骤摘要】

本专利技术涉及数据处理领域，特别是涉及一种抽取IMS数据库中数据的方 法、装置和系统。
技术介绍
IBM主机系统Z/OS是一种CPU利用率高、多任务处理水平高、具有密 集i/o处理的计算机系统，能很好地处理不同类型的工作负载，并且提供非常 高的可靠性。由于IBM主机系统的这些优点，其被大量应用于大中型企业(如 银行)的商业计算任务。IMS数据库系统是一种基于IBM主机系统的大型层 次型数据库系统，具有存储容量大、并发存取性能突出，安全可靠等一系列优 点，是一种在全世界范围内被众多大中型企业广泛采用的数据库管理系统。在开发过程中，必然会将生产环境IMS数据库中的数据倒入测试环境以 供测试开发用，然而实际生产环境中的数据量都是海量的，利用所述实际生产 环境中的海量数据进行测试，对主机系统的CPU资源、存储资源等计算机系 统资源是一个^l大的浪费，并且测试效率低下，因此，需要对实际生产环境中 的海量数据进行抽取，抽取符合条件的少量数据进行测试，减少测试环境的数 据量。由于IMS数据库系统是层次型数据库，自身不具有关系型数据库通过SQL 语言实现数据抽取的功能，用户必须通过编写程序并执行作业调用这些程序来 实现对IMS数据库数据的抽取。所述数据抽取过程工作量大，效率低。并且 由于是对IMS数据库中的数据直接进行抽取，直接遍历IMS数据库系统各数 据库中的数据，抽取符合条件的数据，主机系统与IMS数据库系统在数据抽 取过程中必须一直建立连接，浪费大量的网络资源，并且由于网络带宽资源的 有限，所述在线抽取IMS数据库中数据的效率非常低。因此，迫切需要一种 抽取IMS数据库中数据的方法，所述方法能够提高数据抽取的效率，并且节 省网络资源。进一步，由于IMS数据库是层次型数据库，对于有联系的数据库一般都 会有相同含义的栏位，在对多数据库中的数据进行抽取时，往往无法保证数据抽取的完整性。
技术实现思路
本专利技术所要解决的技术问题是提供一种抽取IMS数据库中数据的方法，能够提高数据抽取的效率，节省网络资源。相应的，本专利技术还提供了 一种抽取IMS数据库中数据的装置和系统。 为了解决上述问题，本专利技术公开了一种抽取IMS数据库中数据的方法，包括将IMS数据库中的数据下载至主机文件中； 预置数据抽取条件；根据所述抽取条件遍历所述下载文件中的记录，抽取符合条件的数据。 进一步，在下载IMS数据库中的数据之前还包括步骤 确定IMS数据库中下载的数据范围。进一步，当主机文件中的数据库为多个时，在数据抽取步骤之前还包括 预置基准栏位，且所述数据抽取过程为根据所述抽取条件和基准栏位遍历下载文件中不同数据库中的记录，抽取 符合条件的数据。进一步，还包括在抽取的数据中确定需要进行清洗的数据； 预置清洗规则；根据清洗规则对所述需要进行清洗的数据进行转换，完成数据清洗。 其中，当清洗的数据是多个不同数据库中的数据时，所述预置的清洗规则 需满足条件不同数据库中属性相同且值相同的栏位的清洗规则相同。 进一步，还包括将所述抽取清洗后的数据RELOAD回测试环境的数据库，完成基础测试 环境的数据装入工作，建立基础测试环境。 进一步，还包括将所述基础测试环境中的数据倒入其他测试环境，进行测试。 本专利技术还公开了 一种抽取IMS数据库中数据的装置，包括下载单元，用于将IMS数据库中的数据下载至主机文件中； 第一预置单元，用于预置数据抽取条件；抽取单元，用于根据所述抽取条件遍历所述下载文件中的记录，抽取符合 条件的数据。进一步，还包括第一确定单元，用于确定IMS数据库中下载的数据范围。 进一步，当主机文件中的数据库为多个时，还包括 第二预置单元，用于预置基准栏位，且所述抽取单元用于 根据所述抽取条件和基准栏位遍历下载文件中不同数据库中的记录，抽取 符合条件的数据。进一步，还包括第二确定单元，用于在抽取的数据中确定需要进行清洗的数据； 第三预置单元，用于预置清洗规则；清洗单元，用于根据清洗规则对所述需要进行清洗的数据进行转换，完成 数据清洗。进一步，当清洗的数据是多个不同数据库中的数据时，所述第三预置单元 预置的清洗规则需满足条件不同数据库中属性相同且值相同的栏位的清洗少见则相同。 进一步，还包括创建单元，用于将所述抽取清洗后的数据RELOAD回测试环境的数据库， 完成基础测试环境的数据装入工作，建立基础测试环境。 进一步，还包括数据传输单元，用于将所述基础测试环境中的数据倒入其他测试环境，进 行测试。本专利技术还公开了一种抽取IMS数据库中数据的系统。 与现有技术相比，本专利技术具有以下优点本专利技术所述技术方案先将IMS数据库系统的数据下档至主机文件中，再 在主机系统中对下档文件中的数据进行抽取，由于对IMS数据库中的数据下 档时速度很快，往往几分钟即可完成，因此提高了数据抽取的效率。并且数据下档完成后即可断开与IMS数据库系统的连接，在数据抽取过程中不再需要 主机系统与IMS数据库系统建立连接，因此节省了网络资源。 进一步，通过预设基准栏位，保证了抽取时数据的完整性。 进一步，在数据抽取完成后倒入测试环境前，对抽取后数据中的重要数据 信息进行清洗，从而不会造成重要数据信息的泄露，增强了数据的安全性。附图说明图1是本专利技术一种抽取IMS数据库中数据方法第一实施例的流程图； 图2是本专利技术一种抽取IMS数据库中数据方法第二实施例的流程图； 图3是本专利技术一种抽取IMS数据库中数据方法第三实施例的流程图； 图4是本专利技术一种抽取IMS数据库中数据装置第一实施例的结构框图； 图5是本专利技术一种抽取IMS数据库中数据系统第 一实施例的结构框图。具体实施方式为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本专利技术作进一步详细的说明。本专利技术可以在由计算机执行的计算机可执行指令的 一般上下文中描 述，例如程序模块。 一般地，程序模块包括执行特定任务或实现特定抽象 数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计 算环境中实践本专利技术，在这些分布式计算环境中，由通过通信网络而被连 接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于 包括存储设备在内的本地和远程计算机存储介质中。参照图1,示出了本专利技术一种抽取IMS数据库中数据方法第一实施例的流 程图，包括步骤步骤101 、将IMS数据库中的数据下载至主机文件中。可以通过多种方式将IMS数据库中的数据下载至主机系统中，本专利技术实 施例优选的是通过直接对数据库物理文件进行处理的方式进行数据下档，如采 用数据库快速下档工具BMC工具完成对数据库中数据的下载。步骤102、预置数据抽取条件。数据库中有各种各样的数据，并不是所有的数据都对测试环境有用，并且利用所述海量数据进行测试，会浪费计算机系统资源，测试效率也很低，因此 需要对海量数据进行选择，选择需要的数据进行测试。所述预置数据抽取条件即是对海量数据进行选择的条件，所述抽取i件可以才艮据实际应用环境进行i殳定，如只抽取某个省的数据则抽取条件可以设定为省名或省代码，抽取某个公 司的数据则设定抽取条件为公司名称，本专利技术并不对此进行限定。步骤103、根据所述抽取条件遍历所述下载文件中的记录，抽取符合条件 的数据。假设数据库I，它的某一栏位包括机构号A本文档来自技高网...

【技术保护点】
一种抽取ＩＭＳ数据库中数据的方法，其特征在于，包括：将ＩＭＳ数据库中的数据下载至主机文件中；预置数据抽取条件；根据所述抽取条件遍历所述下载文件中的记录，抽取符合条件的数据。

【技术特征摘要】
1、一种抽取IMS数据库中数据的方法，其特征在于，包括将IMS数据库中的数据下载至主机文件中；预置数据抽取条件；根据所述抽取条件遍历所述下载文件中的记录，抽取符合条件的数据。2、 如权利要求l所述的方法，其特征在于，在下载IMS数据库中的数据 之前还包括步骤确定IMS数据库中下载的数据范围。3、 如权利要求1所述的方法，其特征在于，当主机文件中的数据库为多 个时，在数据抽取步骤之前还包括预置基准栏位，且所述数据抽取过程为根据所述抽取条件和基准栏位遍历下载文件中不同数据库中的记录，抽取 符合条件的数据。4、 如权利要求1或3所述的方法，其特征在于，还包括 在抽取的数据中确定需要进行清洗的数据； 预置清洗规则；根据清洗规则对所述需要进行清洗的数据进行转换，完成数据清洗。5、如权利要求4所述的方法，其特征在于，当清洗的数据是多个不同数 据库中的数据时，所述预置的清洗规则需满足条件不同数据库中属性相同且值相同的栏位的清洗规则相同。6、 如权利要求4所述的方法，其特征在于，还包括 将所述抽取清洗后的数据RELOAD回测试环境的数据库，完成基础测试环境的数据装入工作，建立基础测试环境。7、 如权利要求6所述的方法，其特征在于，还包括 将所述基础测试环境中的数据倒入其他测试环境，进行测试。8、 一种抽取IMS数据库中数据的装置，其特征在于，包括 下载单元，用于将IMS数据库中的数据下载至主机文件中； 第一预置单元，用于预置数据抽取条件；抽取单...

【专利技术属性】
技术研发人员：来琢，王耀强，郑滨涛，徐靓，严峻，林志农，戚桂凤，洪延生，朱洪梅，叶坚，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：11[中国|北京]