【技术实现步骤摘要】
本申请涉及数据处理，尤其涉及一种数据源异常监测方法、装置、电子设备和存储介质。
技术介绍
1、当前数据源调用平台在对数据源中的表进行拆分后，将拆分表推送到各分析环境过程中，是纯开环方式进行推送，拆分前各产品应该有多少记录、拆分过程是否有操作风险是不清楚的。也就是对数据源的拆分过程是否存在异常是不清楚的。若出现异常，则在将拆分表推送到分析环境，进行数据源数据对账过程中会出现拆分表条目数与实际数据量对不齐的现象发生，进而影响对账和后续的数据分析流程。因此如何快速准确识别数据源拆分过程是否出现异常成为目前急需解决的技术问题。
技术实现思路
1、本申请的主要目的在于提供一种数据源异常监测方法、装置、电子设备和存储介质，旨在解决如何快速准确识别数据源拆分过程是否出现异常的技术问题。
2、为实现上述目的，本申请提供一种数据源异常监测方法，所述数据源异常监测方法应用于数据源调用平台，包括以下步骤：
3、所述数据源异常监测方法应用于数据源调用平台，包括以下步骤：
4、确定至少一个数据源内不同类型的数据源表；
5、依据每个所述数据源表内的条目数构建条目数对账表，依据所述条目数对账表对所述数据源进行表格拆分，得到多个拆分表；
6、对于每个所述拆分表，将所述拆分表推送至所述拆分表对应的推送环境终端，其中，所述推送环境终端获取所述数据源调用平台中的条目数对账表，在检测到所述拆分表内的条目数与所述条目数对账表中所述拆分表对应的条目数不匹配时，发送异
7、若接收到所述推送环境终端发送的异常告警，则对所述数据源中异常告警对应的数据源表进行更新调整。
8、可选地，依据每个所述数据源表内的条目数构建条目数对账表的步骤，包括：
9、对于每个所述数据源表，确定存储在所述数据源表中每类产品的产品号；
10、依据每类所述产品的实际产品数据确定条目数，构建所述产品的产品号与所述条目数之间的第一映射关系；
11、依据所述第一映射关系构建条目数对账表。
12、可选地，依据所述第一映射关系构建条目数对账表的步骤，包括：
13、确定每类所述产品对应的条线，其中，每类所述产品与条线一一对应，且每个所述产品对应的条线之间互不相同；
14、依据所述第一映射关系确定所述条线、所述条目数和所述产品号三者之间的第二映射关系；
15、确定每个所述数据源表的表名，依据所述表名和所述第二映射关系构建条目数对账表，其中，所述条目数对账表包括每个所述数据源表的表名、产品号、条线和所述条目数之间的映射关系。
16、可选地，依据每类所述产品的实际产品数据确定条目数的步骤，包括：
17、确定每类所述产品被调用的日期，以及在所述日期下所述产品被调用的实际产品数据；
18、将所述实际产品数据与不同类型的多个数据源表进行匹配，以将所述实际产品数据分别存储至各所述数据源表，并将所述数据源表中存储的同一日期内的实际产品数据的数量作为条目数。
19、可选地，依据所述条目数对账表对所述数据源进行表格拆分的步骤，包括：
20、确定所述条目数对账表中每类产品对应的条线；
21、对于所述数据源中的每个数据源表，确定所述数据源表中存储的所有产品数据对应的产品，依据每类所述产品对应的条线对所述数据源表进行表格拆分。
22、可选地，依据所述条目数对账表对所述数据源进行表格拆分，得到多个拆分表的步骤之后，还包括：
23、依次遍历每个所述拆分表，确定遍历的所述拆分表内的条目数；
24、确定所述条目数对账表中与遍历的所述拆分表对应的目标条目数，若遍历的所述拆分表内的条目数与所述目标条目数不一致，则输出预设异常告警，并对所述数据源中预设异常告警对应的数据源表进行更新调整。
25、可选地，确定所述条目数对账表中与遍历的所述拆分表对应的目标条目数的步骤，包括：
26、将遍历的所述拆分表所归属的数据源表作为目标数据源表；
27、确定遍历的所述拆分表中的产品号和条线，将所述条目数对账表中与所述目标数据源表的表名、所述遍历的拆分表中的产品号和条线，均对应的条目数作为目标条目数。
28、此外，为实现上述目的，本申请还提供一种数据源异常监测装置，数据源异常监测装置设置于数据源调用平台，包括：
29、确定模块，用于确定至少一个数据源内不同类型的数据源表；
30、拆分模块，用于依据每个所述数据源表内的条目数构建条目数对账表，依据所述条目数对账表对所述数据源进行表格拆分，得到多个拆分表；
31、推送模块，用于对于每个所述拆分表，将所述拆分表推送至所述拆分表对应的推送环境终端，其中，所述推送环境终端获取所述数据源调用平台中的条目数对账表，在检测到所述拆分表内的条目数与所述条目数对账表中所述拆分表对应的条目数不匹配时，发送异常告警至所述数据源调用平台；
32、告警模块，用于若接收到所述推送环境终端发送的异常告警，则对所述数据源中异常告警对应的数据源表进行更新调整。
33、本申请还提供一种电子设备，所述电子设备为实体设备，所述电子设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述数据源异常监测方法的程序，所述数据源异常监测方法的程序被处理器执行时可实现如上述的数据源异常监测方法的步骤。
34、本申请还提供一种可读存储介质，所述可读存储介质为所述计算机可读存储介质，所述计算机可读存储介质上存储有实现数据源异常监测方法的程序，所述实现数据源异常监测方法的程序被处理器执行以实现如上述数据源异常监测方法的步骤。
35、本申请还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的数据源异常监测方法的步骤。
36、本申请的技术方案是通过依据数据源内每个数据源表内的条目数构建条目数对账表，依据条目数对账表对数据源进行表格拆分，得到多个拆分表。并将每个拆分表发送至推送环境终端，在推送环境终端依据条目数对账表检测到拆分表异常时，发送异常告警至数据源调用平台，以便数据源调用平台对数据源表进行更新调整。从而可以实现在将拆分表推送后，能及时对拆分表进行条目数检测，以快速确定拆分表是否存在异常，以及快速确定数据源拆分过程中是否出现异常，并且由于对拆分表进行条目数检测是依据条目数对账表进行的，而条目数对账表又是依据数据源内每个数据源表内的条目数构建的，因此也提高了识别数据源拆分过程是否出现异常的准确性。也就是实现了快速准确识别数据源拆分过程是否出现异常。
本文档来自技高网...【技术保护点】
1.一种数据源异常监测方法，其特征在于，所述数据源异常监测方法应用于数据源调用平台，包括以下步骤：
2.如权利要求1所述的数据源异常监测方法，其特征在于，所述依据每个所述数据源表内的条目数构建条目数对账表的步骤，包括：
3.如权利要求2所述的数据源异常监测方法，其特征在于，所述依据所述第一映射关系构建条目数对账表的步骤，包括：
4.如权利要求2所述的数据源异常监测方法，所述依据每类所述产品的实际产品数据确定条目数的步骤，包括：
5.如权利要求1所述的数据源异常监测方法，其特征在于，所述依据所述条目数对账表对所述数据源进行表格拆分的步骤，包括：
6.如权利要求1-5任一项所述的数据源异常监测方法，其特征在于，所述依据所述条目数对账表对所述数据源进行表格拆分，得到多个拆分表的步骤之后，还包括：
7.如权利要求5所述的数据源异常监测方法，其特征在于，所述确定所述条目数对账表中与遍历的所述拆分表对应的目标条目数的步骤，包括：
8.一种数据源异常监测装置，其特征在于，所述数据源异常监测装置设置于数据源调用平
9.一种电子设备，其特征在于，所述电子设备包括：
10.一种存储介质，其特征在于，所述存储介质为计算机可读存储介质，所述计算机可读存储介质上存储有实现数据源异常监测方法的程序，所述实现数据源异常监测方法的程序被处理器执行以实现如权利要求1至7中任一项所述数据源异常监测方法的步骤。
...【技术特征摘要】
1.一种数据源异常监测方法，其特征在于，所述数据源异常监测方法应用于数据源调用平台，包括以下步骤：
2.如权利要求1所述的数据源异常监测方法，其特征在于，所述依据每个所述数据源表内的条目数构建条目数对账表的步骤，包括：
3.如权利要求2所述的数据源异常监测方法，其特征在于，所述依据所述第一映射关系构建条目数对账表的步骤，包括：
4.如权利要求2所述的数据源异常监测方法，所述依据每类所述产品的实际产品数据确定条目数的步骤，包括：
5.如权利要求1所述的数据源异常监测方法，其特征在于，所述依据所述条目数对账表对所述数据源进行表格拆分的步骤，包括：
6.如权利要求1-5任一项所述的数据源异常监测...
【专利技术属性】
技术研发人员：潘剑影，赵鹏举，袁青，孙媛，何颖，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。