名单数据处理方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及大数据技术领域，公开了一种名单数据处理方法、装置、设备及存储介质，用于通过拼接多个独立功能函数处理名单数据，降低代码的冗余性。名单数据处理方法包括：当接收到终端发送的创建名单同步任务请求时，对目标功能函数集进行代码拼接，得到名单同步任务；当接收到终端发送的执行名单同步任务请求时，通过源表取值功能函数获取待处理的名单数据；通过去重功能函数对待处理的名单数据进行去重处理，并将已去重的名单数据同步处理，得到第一名单数据；通过校验功能函数对第一名单数据进行黑名单校验，得到第二名单数据，第二名单数据包括已过滤黑名单的目标号码；通过目标表处理功能函数同步第二名单数据，并对目标号码进行语音呼叫。

【技术实现步骤摘要】
名单数据处理方法、装置、设备及存储介质
本专利技术涉及大数据技术的差异同步领域，尤其涉及一种名单数据处理方法、装置、设备及存储介质。
技术介绍
水壶kettle是一种用于数据抽取、转换和装载的工具，可以在不同的操作系统上运行，数据抽取高效稳定。kettle通过提供一个图形化的用户环境管理来自不同数据库的数据，然后以一种指定的格式输出数据。kettle中有两种脚本文件，分别是转换transformation和任务job，transformation用于指示数据的基础转换，job则用于指示对整个工作流的控制。目前调度系统通过接口或者数据迁移工具接收来自上游的名单，当名单到达调度系统时，首先写入名单同步表，然后通过job同步至名单表，现在存在多个同时独立运行的job，分别处理不同类型的名单同步数据，但每个job中各自对应的核心代码处理逻辑基本一致，表结构也基本相同，当新增job时，需要重新编写相关功能的代码，导致冗余代码过多。
技术实现思路
本专利技术的主要目的在于解决了现有的名单同步策略中通过job执行多个名单同步任务时存在代码冗余的技术问题。为实现上述目的，本专利技术第一方面提供了一种名单数据处理方法，包括：当接收到终端发送的创建名单同步任务请求时，按照所述创建名单同步任务请求获取目标功能函数集，并对所述目标功能函数集进行代码拼接，得到名单同步任务，所述目标功能函数集包括源表取值功能函数、去重功能函数、校验功能函数和目标表处理功能函数；当接收到所述终端发送的执行所述名单同步任务请求时，通过所述源表取值功能函数从初始名单数据表中获取所述待处理的名单数据；通过所述去重功能函数对所述待处理的名单数据进行去重处理，并将已去重的名单数据同步到第一目标名单数据表中，得到第一名单数据；通过所述校验功能函数对所述第一名单数据进行黑名单校验，得到第二名单数据，所述第二名单数据包括已过滤黑名单的目标号码；通过所述目标表处理功能函数将所述第二名单数据同步到第二目标名单数据表中，并对所述已过滤黑名单的目标号码进行语音呼叫。可选的，在本专利技术第一方面的第一种实现方式中，所述当接收到终端发送的创建名单同步任务请求时，按照所述创建名单同步任务请求获取目标功能函数集，并对所述目标功能函数集进行代码拼接，得到名单同步任务，所述目标功能函数集包括源表取值功能函数、去重功能函数、校验功能函数和目标表处理功能函数，包括：当接收到终端发送的创建名单同步任务请求时，解析所述创建名单同步任务请求，得到任务类型；按照所述任务类型查询对应的目标配置信息；按照所述目标配置信息读取对应的目标功能函数集，并对所述目标功能函数集进行代码封装，得到目标代码文件，所述目标功能函数集包括源表取值功能函数、去重功能函数、校验功能函数和目标表处理功能函数；对所述目标代码文件设置任务入口地址，并将所述任务入口地址写入到预置任务列表中，得到名单同步任务。可选的，在本专利技术第一方面的第二种实现方式中，所述当接收到所述终端发送的执行所述名单同步任务请求时，通过所述源表取值功能函数从初始名单数据表中获取所述待处理的名单数据，包括：当接收到所述终端发送的执行所述名单同步任务请求时，对第一预置名单类型和初始名单数据表按照结构化查询语言语法规则生成第一查询语句；将所述第一查询语句设置为所述源表取值功能函数对应的参数值，并基于所述参数值执行所述源表取值功能函数，得到所述待处理的名单数据，所述待处理的名单数据包括待筛选号码。可选的，在本专利技术第一方面的第三种实现方式中，所述通过所述去重功能函数对所述待处理的名单数据进行去重处理，并将已去重的名单数据同步到第一目标名单数据表中，得到第一名单数据，包括：从所述待处理的名单数据中提取所述待筛选号码；通过所述去重功能函数判断所述待筛选号码是否存在第一目标名单数据表中；若所述待筛选号码不存在所述第一目标名单数据表中，则保留所述待筛选号码对应的名单数据；若所述待筛选号码存在所述第一目标名单数据表中，则从第一目标名单数据表中读取所述待筛选号码对应的最新同步日期；获取当前日期，并对所述当前日期与所述最新同步日期进行差运算，得到差异时长；判断所述差异时长是否小于预置时长；若所述差异时长小于预置时长，则删除所述待筛选号码对应的重复名单数据；若所述差异时长大于或者等于预置时长，则保留所述待筛选号码对应的名单数据；按照预置数据格式封装已去重的名单数据，并将已封装的名单数据更新到所述第一目标名单数据表中，得到第一名单数据。可选的，在本专利技术第一方面的第四种实现方式中，所述通过所述校验功能函数对所述第一名单数据进行黑名单校验，得到第二名单数据，所述第二名单数据包括已过滤黑名单的目标号码，包括：从所述第一名单数据中读取待验证号码，并通过所述校验功能函数判断所述待验证号码是否存在预置黑名单中；若所述待验证号码不存在预置黑名单中，则对所述待验证号码对应的名单数据进行保留；若所述待验证号码存在预置黑名单中，则对所述待验证号码对应的名单数据进行删除；当对所述第一名单数据中的待验证号码全部校验完成时，将已过滤黑名单的名单数据设置为第二名单数据，所述第二名单数据包括已过滤黑名单的目标号码。可选的，在本专利技术第一方面的第五种实现方式中，在所述当接收到终端发送的创建名单同步任务请求时，按照所述创建名单同步任务请求获取目标功能函数集，并对所述目标功能函数集进行代码拼接，得到名单同步任务，所述目标功能函数集包括源表取值功能函数、去重功能函数、校验功能函数和目标表处理功能函数之前，所述名单数据处理方法还包括：从多个已开发的源代码中按照预置业务类型循环提取多个预设代码，并对所述多个预设代码进行预处理，所述多个预设代码用于指示按照所述预置业务类型实现多个同步数据处理的代码块；对预处理后的多个预设代码进行语法解析，得到多个抽象语法树；从所述多个抽象语法树中抽取任意两个抽象语法树，并基于所述任意两个抽象语法树中的词汇计算余弦距离，得到相似的预设代码；基于预置规则对所述相似的预设代码进行相同类别标识，得到多个类别标识码；按照所述多个类别标识码对已标识的预设代码进行筛选并去重处理，得到每个类别对应的待封装代码块；对所述每个类别对应的待封装代码块按照所述预置业务类型进行函数封装，并对已封装的函数添加各自对应的预置参数，得到目标功能函数集。可选的，在本专利技术第一方面的第六种实现方式中，所述在所述通过所述目标表处理功能函数将所述第二名单数据同步到第二目标名单数据表中，并对所述已过滤黑名单的目标号码进行语音呼叫之后，所述名单数据处理方法还包括：当接收到所述终端发送的推送名单请求时，基于待推送数据表和第二预置名单类型设置第二查询语句；通过所述源表取值功能函数执行所述第二查询语句，得到待推送的名单数据；通过所述目标表处理功能函数获取目标终端的标识信息，并按照所述标识信息将所述待推送的名单数据推送到所述目标终端。本专利技术第二方面提供了一种名单数据处理装置，包括：创建模块，当接收到终端发送的创建名单同步任务请求时，用于按照所述创建名单同步任务请求获取目标功能函数集，并对所述目标功能函数集进行代码拼接，本文档来自技高网...

【技术保护点】
1.一种名单数据处理方法，其特征在于，所述名单数据处理方法包括：/n当接收到终端发送的创建名单同步任务请求时，按照所述创建名单同步任务请求获取目标功能函数集，并对所述目标功能函数集进行代码拼接，得到名单同步任务，所述目标功能函数集包括源表取值功能函数、去重功能函数、校验功能函数和目标表处理功能函数；/n当接收到所述终端发送的执行所述名单同步任务请求时，通过所述源表取值功能函数从初始名单数据表中获取所述待处理的名单数据；/n通过所述去重功能函数对所述待处理的名单数据进行去重处理，并将已去重的名单数据同步到第一目标名单数据表中，得到第一名单数据；/n通过所述校验功能函数对所述第一名单数据进行黑名单校验，得到第二名单数据，所述第二名单数据包括已过滤黑名单的目标号码；/n通过所述目标表处理功能函数将所述第二名单数据同步到第二目标名单数据表中，并对所述已过滤黑名单的目标号码进行语音呼叫。/n

【技术特征摘要】
1.一种名单数据处理方法，其特征在于，所述名单数据处理方法包括：
当接收到终端发送的创建名单同步任务请求时，按照所述创建名单同步任务请求获取目标功能函数集，并对所述目标功能函数集进行代码拼接，得到名单同步任务，所述目标功能函数集包括源表取值功能函数、去重功能函数、校验功能函数和目标表处理功能函数；
当接收到所述终端发送的执行所述名单同步任务请求时，通过所述源表取值功能函数从初始名单数据表中获取所述待处理的名单数据；
通过所述去重功能函数对所述待处理的名单数据进行去重处理，并将已去重的名单数据同步到第一目标名单数据表中，得到第一名单数据；
通过所述校验功能函数对所述第一名单数据进行黑名单校验，得到第二名单数据，所述第二名单数据包括已过滤黑名单的目标号码；
通过所述目标表处理功能函数将所述第二名单数据同步到第二目标名单数据表中，并对所述已过滤黑名单的目标号码进行语音呼叫。


2.根据权利要求1所述的名单数据处理方法，其特征在于，所述当接收到终端发送的创建名单同步任务请求时，按照所述创建名单同步任务请求获取目标功能函数集，并对所述目标功能函数集进行代码拼接，得到名单同步任务，所述目标功能函数集包括源表取值功能函数、去重功能函数、校验功能函数和目标表处理功能函数，包括：
当接收到终端发送的创建名单同步任务请求时，解析所述创建名单同步任务请求，得到任务类型；
按照所述任务类型查询对应的目标配置信息；
按照所述目标配置信息读取对应的目标功能函数集，并对所述目标功能函数集进行代码封装，得到目标代码文件，所述目标功能函数集包括源表取值功能函数、去重功能函数、校验功能函数和目标表处理功能函数；
对所述目标代码文件设置任务入口地址，并将所述任务入口地址写入到预置任务列表中，得到名单同步任务。


3.根据权利要求1所述的名单数据处理方法，其特征在于，所述当接收到所述终端发送的执行所述名单同步任务请求时，通过所述源表取值功能函数从初始名单数据表中获取所述待处理的名单数据，包括：
当接收到所述终端发送的执行所述名单同步任务请求时，对第一预置名单类型和初始名单数据表按照结构化查询语言语法规则生成第一查询语句；
将所述第一查询语句设置为所述源表取值功能函数对应的参数值，并基于所述参数值执行所述源表取值功能函数，得到所述待处理的名单数据，所述待处理的名单数据包括待筛选号码。


4.根据权利要求3所述的名单数据处理方法，其特征在于，所述通过所述去重功能函数对所述待处理的名单数据进行去重处理，并将已去重的名单数据同步到第一目标名单数据表中，得到第一名单数据，包括：
从所述待处理的名单数据中提取所述待筛选号码；
通过所述去重功能函数判断所述待筛选号码是否存在第一目标名单数据表中；
若所述待筛选号码不存在所述第一目标名单数据表中，则保留所述待筛选号码对应的名单数据；
若所述待筛选号码存在所述第一目标名单数据表中，则从第一目标名单数据表中读取所述待筛选号码对应的最新同步日期；
获取当前日期，并对所述当前日期与所述最新同步日期进行差运算，得到差异时长；
判断所述差异时长是否小于预置时长；
若所述差异时长小于预置时长，则删除所述待筛选号码对应的重复名单数据；
若所述差异时长大于或者等于预置时长，则保留所述待筛选号码对应的名单数据；
按照预置数据格式封装已去重的名单数据，并将已封装的名单数据更新到所述第一目标名单数据表中，得到第一名单数据。


5.根据权利要求1所述的名单数据处理方法，其特征在于，所述通过所述校验功能函数对所述第一名单数据进行黑名单校验，得到第二名单数据，所述第二名单数据包括已过滤黑名单的目标号码，包括：
从所述第一名单数据中读取待验证号码，并通过所述校验功能函数判断所述待...

【专利技术属性】
技术研发人员：袁俊磊，
申请(专利权)人：中国平安财产保险股份有限公司，
类型：发明
国别省市：广东;44