数据交互管理装置、跨库数据交互处理装置及方法制造方法及图纸

本发明专利技术公开了一种数据交互管理装置、跨库数据交互处理装置及方法，数据交互管理装置包括：作业管理单元，用于管理作业信息，并在作业执行过程中记录作业运行情况，供调度执行单元访问；所述作业为跨库数据交互过程中的作业；调度执行单元，用于在监控扫描到上游数据库发出的控制信息后执行作业调度，从作业管理单元获取待执行的作业信息，从系统监控单元获取该作业的系统资源分配情况；若已分配系统资源，则根据从作业管理单元获取的作业信息执行该作业，并发起作业监控进程；系统监控单元，用于为各个作业分配系统资源。本发明专利技术可以在确保数据准确性的同时，统筹整体系统资源，实现多数据库之间的数据交互。

【技术实现步骤摘要】

本专利技术涉及计算机数据处理
，尤其涉及数据交互管理装置、跨库数据交互处理装置及方法。
技术介绍
大数据时代对计算机数据处理的性能提出了更高的要求，在数据处理的各个环节，如存储、批量、查询等方面都要求低成本高可用。通常的，企业会通过不同阶段采用不同类型数据库针对性地进行数据处理，以能更好地满足各方面要求。比如在数据批量环节运用大容量、处理速度快的数据库，在联机环节运用灵活性好、查找效率高的数据库，在数据存储环节使用价格便宜、读写速度快的数据库，这种方式的优势是能充分利用不同数据库的性能优势，但这种处理方式在数据交互方面仍存在一些问题，主要体现在：常用的数据交互方式采用时间触发机制，即上游数据库与下游数据库约定数据到位时间，时刻一到即触发下游数据库执行，这样做的风险在于当上游数据库供数异常时，下游数据库却在约定时刻触发了数据处理，导致了数据缺失、丢失等情况。另一种常用的数据交互方式是数据到齐扫描机制，即下游数据库定时扫描指定目录以检测上游数据是否已下达，下游数据库等待直至扫描到所有数据包到齐才启动数据处理。这种方式解决了数据丢失的问题，但对于系统整体的资源分配上却仍有缺陷，这是因为上游数据库与下游数据库是独立的执行体系，为缩短整体处理时间，依照“木桶效应”，上游各数据库会优先处理自身耗时较长的数据批次，这就导致了在上游耗时短但下游耗时长的数据批次被迫处于等待状态，造成了该批次整体处理总时长超过预计值，大大降低了系统资源的有效利用率。
技术实现思路
本专利技术实施例提供一种数据交互管理装置，用以在确保数据准确性的同时，统筹整体系统资源，实现多数据库之间的数据交互，该数据交互管理装置包括作业管理单元、调度执行单元和系统监控单元；作业管理单元，用于管理作业信息，并在作业执行过程中记录作业运行情况，供调度执行单元访问；所述作业为跨库数据交互过程中的作业；调度执行单元，用于在监控扫描到上游数据库发出的控制信息后执行作业调度，从作业管理单元获取待执行的作业信息，从系统监控单元获取该作业的系统资源分配情况；若已分配系统资源，则根据从作业管理单元获取的作业信息执行该作业，并发起作业监控进程，所述作业监控进程将作业运行情况反馈给作业管理单元；系统监控单元，用于为各个作业分配系统资源，以及监控到异常后发起作业警报。一个实施例中，所述作业管理单元包括：作业信息管理单元，用于管理作业信息，所述作业信息包括作业信息表、作业运行情况记录表和作业运行历史情况记录表；作业依赖管理单元，用于管理作业依赖信息，通过作业依赖表构建依赖作业树，建立各作业之间的依赖关系；作业分块单元，用于通过作业块信息表管理作业块信息，作业块是对多个作业划分而形成。一个实施例中，所述作业分块单元进一步用于：对每个作业块设立优先级信息，所述优先级信息包括作业块的后续关键路径时间，所述作业块的后续关键路径时间用于调整作业块所需预留资源及最大资源；所述调度执行单元进一步用于按作业块的优先级信息执行作业调度。一个实施例中，所述作业分块单元进一步用于：从作业运行情况记录表中获取到当天所有作业的运行时间信息，计算每个作业当天运行的时长；从作业信息表中获取作业信息，确定后续关键路径时间确定的第一作业集合，及后续关键路径时间待定的第二作业集合；根据作业依赖表从第二作业集合中找寻只依赖第一作业集合中作业的作业，计算找寻到的作业的后续关键路径时间，将计算完成的作业从第二作业集合移到第一作业集合中，直至第二作业集合中全部作业的后续关键路径时间计算完成，将第二作业集合中全部作业移到第一作业集合中；更新作业信息表中作业的后续关键路径时间；从作业信息表中获取作业所属作业块信息，计算作业块的后续关键路径时间，将作业块的后续关键路径时间更新至作业块信息表中。一个实施例中，所述调度执行单元包括：控制信息监控单元，用于监控上游数据库发出的控制信息，在监控扫描到控制信息后更新作业管理单元所管理的作业信息；程序调用单元，用于调起下游数据库内的程序作业；数据库交互单元，用于维护数据库之间的数据交互；作业状态监控单元，用于在作业调起时监控作业状态，并在作业结束后更新作业管理单元所管理的作业信息。一个实施例中，所述数据库交互单元包括：数据导出单元，用于从数据库中导出为特定结构的数据文件；数据导入单元，用于将特定结构的数据文件导入至指定数据库；文件传输单元，用于将特定结构的数据文件从源数据库服务器传输至目标数据库服务器，并根据目标数据库的编码要求对数据文件进行转码。一个实施例中，所述作业状态监控单元包括：程序调用监控单元，用于监控程序调用单元的运行状态；数据导出监控单元，用于监控数据导出单元的运行状态；数据导入监控单元，用于监控数据导入单元的运行状态；文件传输监控单元，用于监控文件传输单元的运行状态。一个实施例中，所述系统监控单元包括：内存及线程管理单元，用于管理内存及线程的资源信息，监控每个数据库内存占用情况及作业调用线程数，为作业是否允许调用提供依据；调度警报单元，用于提供作业运行失败报警及作业运行超时报警。本专利技术实施例还提供一种跨库数据交互处理装置，用以在确保数据准确性的同时，统筹整体系统资源，实现多数据库之间的数据交互，该跨库数据交互处理装置包括上游数据库、下游数据库、多个应用系统和上述的数据交互管理装置；上游数据库与下游数据库连接，上游数据库用于将处理完成的数据输出给下游数据库，下游数据库用于对上游数据库提供的数据进行处理，处理完成后输出给各个应用系统；数据交互管理装置分别与上游数据库、下游数据库、各应用系统连接，用于协调跨库数据交互过程中的作业执行，以及监控作业运行状态。一个实施例中，所述多个应用系统包括计量系统和/或报表系统。本专利技术实施例还提供一种跨库数据交互处理方法，用以在确保数据准确性的同时，统筹整体系统资源，实现多数据库之间的数据交互，该跨库数据交互处理方法包括：上游数据库将处理完成的数据输出给下游数据库；在监控扫描到上游数据库发出的控制信息后执行跨库数据交互过程中的作业调度，获取待执行的作业信息及该作业的系统资源分配情况；若已分配系统资源，则根据获取的作业信息执行该作业，并发起作业监控进程；下游数据库根据调度，对上游数据库提供的数据进行处理，处理完成后输出给应用系统。一个实施例中，所述跨库数据交互处理方法还包括：对每个作业块设立优先级信息，所述优先级信息包括作业块的后续关键路径时间，所述作业块的后续关键路径时间用于调整作业块所需预留资源及最大资源；作业块是对多个作业划分而形成；所述执行作业调度包括按作业块的优先级信息执行作业调度。一个实施例中，所述对每个作业块设立优先级信息，包括：获取到当天所有作业的运行时间信息，计算每个作业当天运行的时长；获取作业信息，确定后续关键路径时间确定的第一作业集合，及后续关键路径时间待定的第二作业集合；从第二作业集合中找寻只依赖第一作业集合中作业的作业，计算找寻到的作业的后续关键路径时间，将计算完成的作业从第二作业集合移到第一作业集合中，直至第二作业集合中全部作业的后续关键路径时间计算完成，将第二作业集合中全部作业移到第一作业集合中；获取作业所属作业块信息，计算作业块的后续关键路径时间。一个实施例中，所述跨库数据交互处理方法还包括：管理内存及线本文档来自技高网...

【技术保护点】
一种数据交互管理装置，其特征在于，包括作业管理单元、调度执行单元和系统监控单元；作业管理单元，用于管理作业信息，并在作业执行过程中记录作业运行情况，供调度执行单元访问；所述作业为跨库数据交互过程中的作业；调度执行单元，用于在监控扫描到上游数据库发出的控制信息后执行作业调度，从作业管理单元获取待执行的作业信息，从系统监控单元获取该作业的系统资源分配情况；若已分配系统资源，则根据从作业管理单元获取的作业信息执行该作业，并发起作业监控进程，所述作业监控进程将作业运行情况反馈给作业管理单元；系统监控单元，用于为各个作业分配系统资源，以及监控到异常后发起作业警报。

【技术特征摘要】
1.一种数据交互管理装置，其特征在于，包括作业管理单元、调度执行单元和系统监控单元；作业管理单元，用于管理作业信息，并在作业执行过程中记录作业运行情况，供调度执行单元访问；所述作业为跨库数据交互过程中的作业；调度执行单元，用于在监控扫描到上游数据库发出的控制信息后执行作业调度，从作业管理单元获取待执行的作业信息，从系统监控单元获取该作业的系统资源分配情况；若已分配系统资源，则根据从作业管理单元获取的作业信息执行该作业，并发起作业监控进程，所述作业监控进程将作业运行情况反馈给作业管理单元；系统监控单元，用于为各个作业分配系统资源，以及监控到异常后发起作业警报。2.如权利要求1所述的数据交互管理装置，其特征在于，所述作业管理单元包括：作业信息管理单元，用于管理作业信息，所述作业信息包括作业信息表、作业运行情况记录表和作业运行历史情况记录表；作业依赖管理单元，用于管理作业依赖信息，通过作业依赖表构建依赖作业树，建立各作业之间的依赖关系；作业分块单元，用于通过作业块信息表管理作业块信息，作业块是对多个作业划分而形成。3.如权利要求2所述的数据交互管理装置，其特征在于，所述作业分块单元进一步用于：对每个作业块设立优先级信息，所述优先级信息包括作业块的后续关键路径时间，所述作业块的后续关键路径时间用于调整作业块所需预留资源及最大资源；所述调度执行单元进一步用于按作业块的优先级信息执行作业调度。4.如权利要求3所述的数据交互管理装置，其特征在于，所述作业分块单元进一步用于：从作业运行情况记录表中获取到当天所有作业的运行时间信息，计算每个作业当天运行的时长；从作业信息表中获取作业信息，确定后续关键路径时间确定的第一作业集合，及后续关键路径时间待定的第二作业集合；根据作业依赖表从第二作业集合中找寻只依赖第一作业集合中作业的作业，计算找寻到的作业的后续关键路径时间，将计算完成的作业从第二作业集合移到第一作业集合中，直至第二作业集合中全部作业的后续关键路径时间计算完成，将第二作业集合中全部作业移到第一作业集合中；更新作业信息表中作业的后续关键路径时间；从作业信息表中获取作业所属作业块信息，计算作业块的后续关键路径时间，将作业块的后续关键路径时间更新至作业块信息表中。5.如权利要求1所述的数据交互管理装置，其特征在于，所述调度执行单元包括：控制信息监控单元，用于监控上游数据库发出的控制信息，在监控扫描到控制信息后更新作业管理单元所管理的作业信息；程序调用单元，用于调起下游数据库内的程序作业；数据库交互单元，用于维护数据库之间的数据交互；作业状态监控单元，用于在作业调起时监控作业状态，并在作业结束后更新作业管理单元所管理的作业信息。6.如权利要求5所述的数据交互管理装置，其特征在于，所述数据库交互单元包括：数据导出单元，用于从数据库中导出为特定结构的数据文件；数据导入单元，用于将特定结构的数据文件导入至指定数据库；文件传输单元，用于将特定结构的数据文件从源数据库服务器传输至目标数据库...

【专利技术属性】
技术研发人员：李家捷，黄文卿，秦恺，徐敏，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：北京;11