自动识别表的原数据变化的方法及装置制造方法及图纸

本发明专利技术提供了一种自动识别表原数据变化的方法，包括：配置数据源的连接信息并启动定时程序，根据目标表映射的原始表去扫描原数据库中的原始表的原数据，并获取所述原数据库中的原始表的原数据信息；将获取的所述原始表的原数据信息和与目标表映射的原始表的原数据进行比较，如果它们之间不能完全匹配，则将变化后的原数据库中的原始表的原数据进行版本记录后存储；推送消息至运维人员告知原数据库中的原始表的原数据变化情况。在本发明专利技术中，通过自动识别原始表的原数据变化，并通知相关运维系统运维人员，从而确保业务和系统的正常运行，以真正达到无人值守的任务运行环境。

The method and device of automatic identification table's original data change

【技术实现步骤摘要】
自动识别表的原数据变化的方法及装置
本专利技术涉及数据库领域，具体而言，涉及一种自动识别表的原数据变化的方法及装置。
技术介绍
在数据治理过程中，大量的跑数据任务都是无人值守，自动启动，自动执行。而很多情况下，由于源端的表原数据(schema)变化后，而已经配置好的源端与目标端的映射关系并不会随之变化，就会造成跑数时按照配置的源端的原数据抽取数据时报错，导致任务报错，最终导致任务失败，影响正常的业务和系统。并且，等到任务再通过报警方式提醒运维人员，最佳解决时间已过，可能会影响用户的重要时间节点，从而降低了用户体验。
技术实现思路
本专利技术实施例提供了一种自动识别表原数据变化的方法及装置，以至少解决相关技术中由于源端的表的原数据变化所导致的跑数据任务失败的问题。根据本专利技术的一个实施例，提供了一种自动识别表的原数据变化的方法，包括：配置数据源的连接信息并启动定时程序，根据目标表映射的原始表去扫描原数据库中的原始表的原数据，并获取所述原数据库中的原始表的原数据信息；将获取的所述原始表的原数据信息和与目标表映射的原始表的原数据进行比较，如果它们之间不能完全匹配，则将变化后的原数据库中的原始表的原数据进行版本记录后存储；推送消息至运维人员告知原数据库中的原始表的原数据变化情况。可选地，推送消息至运维人员告知原数据库中的原始表的原数据变化情况之后，还包括：启动一个新的定时程序，扫描原数据库中已变化的原始表的原数据，并将扫描结果与映射的原始表的原数据做比较，若有变化，并且与上次版本记录的的原数据一致时，不记录，若发生新的变化，则记录新的版本并推送消息至运维人员并告警。可选地，该方法还包括：当再次扫描原数据库中的原始表的原数据时，发现其已经与映射关系的原始表的原数据保持一致，则取消告警并停止此项定时程序。可选地，在推送消息至运维人员的同时，并在系统页面弹出告警信息。根据本专利技术的另一个实施例，提供了一种自动识别表原数据变化的装置，包括：获取模块，用于配置数据源的连接信息并启动定时程序，根据目标表映射的原始表去扫描原数据库中的原始表的原数据，并获取所述原数据库中的原始表的原数据信息；第一比较模块，用于将获取的所述原始表的原数据信息和与目标表映射的原始表的原数据进行比较，如果它们之间不能完全匹配，则将变化后的原数据库中的原始表的原数据进行版本记录后存储；告警模块，用于推送消息至运维人员告知原数据库中的原始表的原数据变化情况。可选地，该装置还包括：第二比较模块，用于启动一个新的定时程序，扫描原数据库中已变化的原始表的原数据，并将扫描结果与映射的原始表的原数据做比较，若有变化，并且与上次版本记录的原数据一致时，不记录，若发生新的变化，则记录新的版本并推送消息至运维人员并告警。可选地，该装置还包括：停止模块，用于当再次扫描原数据库中的原始表的原数据时，发现其已经与映射关系的原始表的原数据保持一致，则取消告警并停止此项定时程序。可选地，所述告警模块还用于，在推送消息至运维人员的同时，在系统页面弹出告警信息。根据本专利技术的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。根据本专利技术的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。在本专利技术上述实施例中，通过自动识别原始表的原数据变化，并通知相关运维系统运维人员，从而确保业务和系统的正常运行，以达到无人值守的任务运行环境。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1是根据相关技术的目标表与原始表的映射关系示意图；图2是根据本专利技术实施例的自动识别表原数据变化的方法流程图；图3是根据本专利技术实施例的自动识别表原数据变化的方法流程图；图4是根据本专利技术实施例自动识别表原数据变化的装置结构示意图；图5是根据本专利技术可选实施例的自动识别表原数据变化的装置结构示意图。具体实施方式下文中将参考附图并结合实施例来详细说明本专利技术。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。如前文所描述的，在跑数据任务时，常常由于源端的表的原数据变化后，而已经配置好的源端与目标端的映射关系并不会随之变化，因而导致任务失败。例如，图1所示，假设有原始表y1，字段分别有y11、y12，目标表m1，字段有m11，m12。表映射配置为：y1映射到m1。字段映射配置为：y11映射到m11，y12映射到m12。当客户方的原始表y1删除一个字段y11后，而目标表m1的字段m11是取自y11字段，此时就会取不到y11，任务报错。为此，在本实施例中提供了一种自动识别表原数据变化的方法，图2是根据本专利技术实施例的方法流程图，如图2所示，该流程包括如下步骤：步骤S202，配置数据源的连接信息并启动定时程序，根据目标表映射的原始表去扫描原数据库中的原始表的原数据，并获取所述原数据库中的原始表的原数据信息；步骤S204，将获取的所述原始表的原数据信息和与目标表映射的原始表的原数据进行比较，如果它们之间不能完全匹配，则将变化后的原数据库中的原始表的原数据进行版本记录后存储；步骤S206，推送消息至运维人员告知原数据库中的原始表的原数据变化情况。在本实施例的步骤S206之后，还可以包括：启动一个新的定时程序，扫描原数据库中已变化的原始表的原数据，并将扫描结果与映射的原始表的原数据做比较，若有变化，并且与上次版本记录的原数据一致时，不记录，若发生新的变化，则记录新的版本并推送消息至运维人员并告警。在本实施例中，还可以包括：当再次扫描原数据库中的原始表的原数据时，发现其已经与映射关系的原始表的原数据保持一致，则取消告警并停止此项定时程序。在本实施例中，在推送消息至运维人员的同时，还可以在系统首页弹出告警信息。为了便于本专利技术的技术方案的理解，下面提供一个具体的实施例进行详细的描述。在本实施例中，详细描述了通过定时扫描原始表，以自动识别原始表的原数据的变化，从而进行告警。如图3所示，本实施例包括如下步骤：步骤S301，首先配置数据源的连接信息；步骤S302，启动定时程序，根据目标表映射的原始表去扫描原始库中的相对应的原始表的原数据(schema)，获得原始表的原数据信息；步骤S303，将获取的原数据信息与目标表已经存在映射关系的原始表的原数据进行比较，如发现未变化，则执行步骤S311；若发现有变化，则执行步骤S304，步骤S304，将变化后的原数据标记为第一个版本后进行存储；步骤S305，推送消息至运维人员，告知变化的情况。例如：原始表增加了一个字段，并可在系统首页弹出告警信息；步骤S306，后台启动一个新的定时程序(可设置较短时间)，扫描原数据库中已变化的原始表的原数据；步骤S307，将扫描结果与映射的原始表做比较，若发生变化，则执行步骤S308，如果当再次扫描发现，已经与映射关系的原数据本文档来自技高网...

【技术保护点】
1.一种自动识别表原数据变化的方法，其特征在于，包括：配置数据源的连接信息并启动定时程序，根据目标表映射的原始表去扫描原数据库中的原始表的原数据，并获取所述原数据库中的原始表的原数据信息；将获取的所述原始表的原数据信息和与目标表映射的原始表的原数据进行比较，如果它们之间不能完全匹配，则将变化后的原数据库中的原始表的原数据进行版本记录后存储；推送消息至运维人员告知原数据库中的原始表的原数据变化情况。

【技术特征摘要】
1.一种自动识别表原数据变化的方法，其特征在于，包括：配置数据源的连接信息并启动定时程序，根据目标表映射的原始表去扫描原数据库中的原始表的原数据，并获取所述原数据库中的原始表的原数据信息；将获取的所述原始表的原数据信息和与目标表映射的原始表的原数据进行比较，如果它们之间不能完全匹配，则将变化后的原数据库中的原始表的原数据进行版本记录后存储；推送消息至运维人员告知原数据库中的原始表的原数据变化情况。2.根据权利要求1所述的方法，其特征在于，推送消息至运维人员告知原数据库中的原始表的原数据变化情况之后，还包括：启动一个新的定时程序，扫描原数据库中已变化的原始表的原数据，并将扫描结果与映射的原始表的原数据做比较，若有变化，并且与上次版本记录的原数据一致时，不记录，若发生新的变化，则记录新的版本并推送消息至运维人员并告警。3.根据权利要求2所述的方法，其特征在于，还包括：当再次扫描原数据库中的原始表的原数据时，发现其已经与映射关系的原始表的原数据保持一致，则取消告警并停止此项定时程序。4.根据权利要求1所述的方法，其特征在于，在推送消息至运维人员的同时，并在系统页面弹出告警信息。5.一种自动识别表原数据变化的装置，其特征在于，包括：获取模块，用于配置数据源的连接信息并启动定时程序，根据目标表映射的原始表去扫描原数据库中的原始表的原数据，...

【专利技术属性】
技术研发人员：贾亮，张毅然，
申请(专利权)人：北京明略软件系统有限公司，
类型：发明
国别省市：北京,11