进程拆分判别方法、装置、设备及介质制造方法及图纸

本发明专利技术实施例公开了一种进程拆分判别方法、装置、设备及介质。该方法包括：响应于业务量增大，判断是否存在进程性能问题；在存在进程性能问题的情况下，采集进程统计信息；基于所采集的进程统计信息，分析所述进程性能问题的原因是否与进程数量有关；以及在所述进程性能问题的原因与进程数量有关的情况下，判定需要执行进程拆分。由此，通过实时关注进程数据同步情况，及时的自动判别，以对进程做出有效的拆分，防止突发的业务变更导致数据同步延时而影响数据的及时性和一致性，同时避免人工干预。

Process Splitting Discrimination Method, Device, Equipment and Media

【技术实现步骤摘要】
进程拆分判别方法、装置、设备及介质
本专利技术涉及数据库
，尤其涉及一种进程拆分判别方法、装置、设备及介质。
技术介绍
OracleGoldenGate12c以前的goldengate各个进程处理trail文件是串行处理，当源端一个大事务提交后因网络带宽等问题影响该事务提交后的其他小事务传输。在使用Goldengate作为复制解决方案时，随着负载的增加，进程组件常常是最先出现性能瓶颈的。为了适应不断增加的负载，就需要拆分进程来实现并行复制。在目前的goldengate运维中，基本处于一种被动滞后运维的方式。现有的方法依赖于数据库管理员(DatabaseAdministrator，简称DBA)长期积累的维护经验及技术水平。在实际情况中，随着业务的变更，不能在第一时间判别业务的变化所带来的数据变化，直到goldengate进程出现延时才去针对分析应该如何处理或拆分，待发现问题时数据同步已经延迟，无法提前做好应对措施。综上所述，需要一种能够实时有效地判别和拆分进程的方案。
技术实现思路
本专利技术实施例提供了进程拆分判别方法、装置、设备及介质，通过程序自动判别是否需要拆分进程，以便于及时自动地对进程做出有效的拆分，防止突发的业务变更导致数据同步延时而影响数据的及时性和一致性，同时避免人工干预。第一方面，本专利技术实施例提供了一种进程拆分判别方法，方法包括：响应于业务量增大，判断是否存在进程性能问题；在存在进程性能问题的情况下，采集进程统计信息；基于所采集的进程统计信息，分析所述进程性能问题的原因是否与进程数量有关；以及在所述进程性能问题的原因与进程数量有关的情况下，判定需要执行进程拆分。第二方面，本专利技术实施例提供了一种进程拆分判别装置，装置包括：性能识别单元，用于响应于业务量增大，判断是否存在进程性能问题；信息采集单元，用于在存在进程性能问题的情况下，采集进程统计信息；性能分析单元，用于基于所采集的进程统计信息，分析所述进程性能问题的原因是否与进程数量有关；以及拆分判定单元，用于在所述进程性能问题的原因与进程数量有关的情况下，判定需要执行进程拆分。第三方面，本专利技术实施例提供了一种计算设备，包括：至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。第四方面，本专利技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。本专利技术实施例提供的进程拆分判别方法、装置、设备及介质，通过实时关注进程数据同步情况，及时、自动地判别进程是否需要拆分、如何拆分，并对进程做出有效的拆分，防止突发的业务变更导致数据同步延时而影响数据的及时性和一致性，并且避免了对于DBA经验的依赖。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1示出了根据本专利技术一个实施例的进程拆分判别方法的流程示意图；图2示出了根据本专利技术一个实施例的进程拆分判别装置的示意性框图；图3示出了根据本专利技术一个实施例的GoldenGate基于程序判别自动拆分进程的流程图；图4示出了本专利技术实施例提供的计算设备的硬件结构示意图。具体实施方式下面将详细描述本专利技术的各个方面的特征和示例性实施例，为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本专利技术，并不被配置为限定本专利技术。对于本领域技术人员来说，本专利技术可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本专利技术的示例来提供对本专利技术更好的理解。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。OracleGoldenGate软件是一种基于日志的结构化数据复制备份软件，它通过解析源端数据库在线日志或归档日志获得数据的增量变化，再将这些变化应用到目标端数据库，从而实现源数据库与目标数据库同步。主库业务发生改变后，GoldenGate运行配置无法满足业务的改变时，GoldenGate进程将发生性能问题，常常表现为extract(抽取)/replicat(复制)进程产生较大延迟。为了适应不断增加的负载，就需要拆分进程来实现并行复制。因为OracleGoldenGate(OGG)中的Extract/Replicat都是独立的，进程拆分的方式一般分为两种一种是用GoldenGate提供的@RANGE函数作表内的拆分，通过对表上主键列作hash算法将该表上发生的变更均分到多个进程上来降低单个进程的负载；另一种是将复制的表划分成几组，使用多个进程来分别复制其中的一组表。在GoldenGate进程发生性能问题时，现有的方法是需要DBA介入调整GoldenGate进程配置。从业务变化到最终DBA介入往往历时数小时甚至数天，无法提前防止GoldenGate进程出现性能问题。因此，现有的方法依赖于DBA长期积累的维护经验及技术水平，并且，当GoldenGate进程出现性能问题时才介入而无法提前做好应对措施。有鉴于此，本专利技术提出了一种用于GoldenGate的进程判别拆分方案，通过收集统计信息、优化执行计划、拆分进程等手段，使得GoldenGate进程能及时应对业务系统变更带来的数据变更，提高了GoldenGate进程数据复制效率，降低了复制延迟。在进程出现性能问题时，现有方案是不拆分进程或者由维护人员手工拆分进程，本专利技术可以通过收集统计信息，判别进程如何拆分，做到自动化，减少人工干预，提高工作效率，及时避免因数据量大而进程拆分不及时影响数据的一致性和实时性。如下将结合附图及实施例详细说明本专利技术的进程拆分判别方案。图1示出了根据本专利技术一个实施例的进程拆分判别方法的流程示意图。参见图1，在步骤S110，响应于业务量增大，判断是否存在进程性能问题。在业务发生变更时，相应的数据量会发生变化。对于当业务量增大，OGG的进程数不满足性能需求的问题，源端数据库与目标端数据库的数据未实现同步，则GoldenGate存在性能问题，例如延迟。因此，优选地，本专利技术可以实时监控业务变化情况，实时关注GoldenGate进程数据同步情况，实时判断是否存在延迟等性能问题。在不存在例如延迟等性能问题时，判定进程性能良好，此时不做任何处理，例如不拆分进程，继续运行程序。在步骤S120，在存在进程性能问题的情况下，采集进程统计信息。这里的进程可以包括抽取进程和/或复制进程。对于抽取进程，例如可以采本文档来自技高网...

【技术保护点】
1.一种进程拆分判别方法，其特征在于，所述方法包括：响应于业务量增大，判断是否存在进程性能问题；在存在进程性能问题的情况下，采集进程统计信息；基于所采集的进程统计信息，分析所述进程性能问题的原因是否与进程数量有关；以及在所述进程性能问题的原因与进程数量有关的情况下，判定需要执行进程拆分。

【技术特征摘要】
1.一种进程拆分判别方法，其特征在于，所述方法包括：响应于业务量增大，判断是否存在进程性能问题；在存在进程性能问题的情况下，采集进程统计信息；基于所采集的进程统计信息，分析所述进程性能问题的原因是否与进程数量有关；以及在所述进程性能问题的原因与进程数量有关的情况下，判定需要执行进程拆分。2.根据权利要求1所述的方法，其特征在于，对于抽取进程，所述进程统计信息包括抽取进程执行抽取命令时统计的抽取进程统计信息，所述基于所采集的进程统计信息，分析所述进程性能问题的原因是否与进程数量有关，包括：基于所述抽取进程统计信息，分别计算所述抽取进程的进程需要吞吐量和当前实际吞吐量；以及在所述进程需要吞吐量大于所述当前实际吞吐量的情况下，判定所述进程性能与进程数量有关。3.根据权利要求2所述的方法，其特征在于，所述当前实际吞吐量是所述抽取进程起始两次执行info,detail命令的相对字节地址节地址的差值、与其生成一个Trail文件所用的时间的比值；并且/或者所述进程需要吞吐量是所述抽取进程的Trail文件转换系数均值与其单位时间抽取日志量的乘积，所述Trail文件转换系数均值是所述抽取进程解析Redo日志产生的预定Trail文件量与预定Redo日志量的比值。4.根据权利要求3所述的方法，其特征在于，通过如下公式计算所述Trail文件转换系数均值其中，St为trail文件量，Sr为redo日志量，i为每次采集的次数，n为总次数。5.根据权利要求1所述的方法，其特征在于，在判定需要执行抽取进程拆分的情况下，所述方法还包括：基于采集的原抽取进程的抽取统计信息以及该原抽取进程的参数配置信息，将原抽取进程拆分为多个新抽取进程。6.根据权利要求5所述的方法，其特征在于，所述将原抽取进程拆分为多个新抽取进程，包括：将所述原抽取进程的关键信息复制到所述新抽取进程，所述关键信息包括所述原抽取进程的参数配置信息、其对应的trail文件信息以及原抽取进程的检查点信息；以及基于所述抽取统计信息，将关联的数据拆分到一个新抽取进程中。7.根据权利...

【专利技术属性】
技术研发人员：杨名，
申请(专利权)人：中国移动通信集团四川有限公司，中国移动通信集团公司，
类型：发明
国别省市：四川,51