【技术实现步骤摘要】
本申请属于数据处理，尤其涉及一种批次变量计算方法、装置、设备及计算机可读存储介质。
技术介绍
1、随着科技的不断发展，特征变量的计算对于个人信用风险评估、风险管理、投资组合管理和反欺诈等业务来说，已经成为至关重要的一环。
2、目前，由于长时间窗口(时间窗口为一个时间段)特征变量的计算所需的数据量机器庞大，所以在计算此类特征变量时通常采用批流结合的方式，然而传统使用hive(hive是一个数据仓库工具，用于进行数据查询、数据分析以及数据存储)计算批次变量的方式需要人工对变量时间窗口进行拆分并开发hive作业，这不仅对开发人员的开发能力要求较高，而且导致了批次变量计算流程繁琐、耗时长，存在计算效率低的问题。
3、综上，如何提供一种批次变量计算策略，以提升批次变量的计算效率，已经成为数据处理
亟待解决的技术问题。
技术实现思路
1、本申请的主要目的在于提供一种批次变量计算方法、装置、设备及计算机可读存储介质。旨在提升批次变量的计算效率。
2、为了实现上述目的，本申请提供一种批次变量计算方法，所述批次变量计算方法应用于采用sql语言的数据库管理系统，所述批次变量计算方法包括以下步骤：
3、获取用户在可视化定义窗口定义的待计算的批次变量以及所述批次变量对应的sql查询信息；
4、基于所述sql查询信息确定所述批次变量的基础数据和计算规则；
5、按照所述批次变量的计算规则对所述批次变量的基础数据进行处理，得到所述批次
6、可选地，所述基于所述sql查询信息确定所述批次变量的基础数据和计算规则的步骤，包括：
7、解析所述sql查询信息得到所述批次变量的存储源表、查询条件、查询字段和计算规则；
8、基于所述批次变量的查询条件和查询字段，从所述批次变量的存储源表中确定所述批次变量的基础数据。
9、可选地，所述按照所述批次变量的计算规则对所述批次变量的基础数据进行处理，得到所述批次变量的计算结果步骤之前，所述方法还包括：
10、基于多个所述批次变量各自的合并依据生成计算任务，并在预设触发时刻将所述计算任务加入至待执行队列；
11、触发所述待执行队列中的计算任务，并执行所述按照所述批次变量的计算规则对所述批次变量的基础数据进行处理，得到所述批次变量的计算结果的步骤。
12、可选地，所述计算任务包括第一计算任务和/或者第二计算任务，所述基于多个所述批次变量各自的合并依据生成计算任务的步骤，包括：
13、判断各所述批次变量各自的合并依据是否相同；
14、将各所述批次变量中合并依据相同的第一批次变量合并生成所述第一计算任务；
15、将各所述批次变量中除所述第一批次变量之外的第二批次变量单独生成所述第二计算任务。
16、可选地，所述判断各所述批次变量各自的合并依据是否相同的步骤，包括：
17、若第三批次变量的存储源表和第四批次变量的存储源表相同，且，第三批次变量的查询条件和第四批次变量的查询条件相同，且，第三批次变量的计算规则和第四批次变量的合并依据相同，则确定所述第三批次变量和所述第四批次变量的合并依据相同，其中，所述第三批次变量和所述第四批次变量为多个所述批次变量中的任意两个。
18、可选地，所述数据库管理系统包括至少一个消费者，所述消费所述待执行队列中的所述计算任务的步骤之前，所述方法还包括：
19、从所述消费者中确定空闲消费者，并通过所述空闲消费者拉取所述待执行队列中的计算任务，其中，一个空闲消费者单次拉取一个计算任务；
20、通过所述空闲消费者从预设的令牌桶中获取限流令牌，并在获取到所述限流令牌后，执行所述触发所述待执行队列中的计算任务的步骤。
21、可选地，所述按照所述批次变量的计算规则对所述批次变量的基础数据进行处理，得到所述批次变量的计算结果的步骤之后，所述方法还包括：
22、生成包含所述批次变量的计算结果的文件；
23、获取所述用户在所述可视化定义窗口定义的目标格式；
24、将所述文件转化为所述目标格式的目标文件，并将所述目标文件加入至待入库队列，以供其他中间件或者所述数据库管理系统消费。
25、此外，为实现上述目的，本申请还提供一种批次变量计算装置，所述批次变量计算装置应用于采用sql语言的数据库管理系统，所述批次变量计算方法包括以下步骤：
26、获取模块，用于获取用户在可视化定义窗口定义的待计算的批次变量以及所述批次变量对应的sql查询信息；
27、确定模块，用于基于所述sql查询信息确定所述批次变量的基础数据和计算规则；
28、计算模块，用于按照所述批次变量的计算规则对所述批次变量的基础数据进行处理，得到所述批次变量的计算结果。
29、此外，为实现上述目的，本申请还提供一种批次变量计算设备，所述批次变量计算设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的批次变量计算程序，所述批次变量计算设备的批次变量计算程序被所述处理器执行时实现如上所述的批次变量计算方法的步骤。
30、此外，为实现上述目的，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有批次变量计算程序，所述批次变量计算程序被处理器执行时实现如上所述的批次变量计算方法的步骤。
31、本申请实施例应用于采用sql语言的数据库管理系统，该数据库管理系统采用sql语言，本申请实施例通过获取用户在可视化定义窗口定义的待计算的批次变量以及该批次变量对应的sql(structured query language，结构化查询语言)查询信息，基于该sql查询信息确定计算该批次变量需要的基础数据和计算该批次变量使用的计算规则，按照该计算规则对基础数据进行处理，得到批次变量的计算结果。如此，相比于传统使用hive计算批次变量的方式，本申请应用于采用sql语言的数据库管理系统，并提供可视化定义窗口给用户输入批次变量和批次变量的sql语言，由于sql语言应用广泛，可操作性强，所以降低了对开发人员开发能力的要求，而且在得到用户定义的sql查询信息后，可以基于sql查询信息确定参与本次批次变量计算的基础数据以及计算规则，然后按照计算规则对基础数据进行处理，就可以得到批次变量的计算结果，减少了人工拆分变量时间窗口以及开发批次变量计算作业的开销，从而提升了批次变量的计算效率。
本文档来自技高网...【技术保护点】
1.一种批次变量计算方法，其特征在于，所述批次变量计算方法应用于采用SQL语言的数据库管理系统，所述批次变量计算方法包括以下步骤：
2.如权利要求1所述的批次变量计算方法，其特征在于，所述基于所述SQL查询信息确定所述批次变量的基础数据和计算规则的步骤，包括：
3.如权利要求1所述的批次变量计算方法，其特征在于，所述按照所述批次变量的计算规则对所述批次变量的基础数据进行处理，得到所述批次变量的计算结果步骤之前，所述方法还包括：
4.如权利要求3所述的批次变量计算方法，其特征在于，所述计算任务包括第一计算任务和/或者第二计算任务，所述基于多个所述批次变量各自的合并依据生成计算任务的步骤，包括：
5.如权利要求4所述的批次变量计算方法，其特征在于，所述判断各所述批次变量各自的合并依据是否相同的步骤，包括：
6.如权利要求3所述的批次变量计算方法，其特征在于，所述数据库管理系统包括至少一个消费者，所述消费所述待执行队列中的所述计算任务的步骤之前，所述方法还包括：
7.如权利要求1至6中任一项所述的批次变量计算方法，
8.一种批次变量计算装置，其特征在于，所述批次变量计算装置应用于采用SQL语言的数据库管理系统，所述批次变量计算方法包括以下步骤：
9.一种批次变量计算设备，其特征在于，所述批次变量计算设备包括：存储器、处理器，所述存储器存储有可在所述处理器上运行的批次变量计算程序，所述批次变量计算程序被所述处理器执行时实现如权利要求1至7中任一项所述的批次变量计算方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有批次变量计算程序，所述批次变量计算程序被处理器执行时实现如权利要求1至7中任一项所述的批次变量计算方法的步骤。
...【技术特征摘要】
1.一种批次变量计算方法，其特征在于，所述批次变量计算方法应用于采用sql语言的数据库管理系统，所述批次变量计算方法包括以下步骤：
2.如权利要求1所述的批次变量计算方法，其特征在于，所述基于所述sql查询信息确定所述批次变量的基础数据和计算规则的步骤，包括：
3.如权利要求1所述的批次变量计算方法，其特征在于，所述按照所述批次变量的计算规则对所述批次变量的基础数据进行处理，得到所述批次变量的计算结果步骤之前，所述方法还包括：
4.如权利要求3所述的批次变量计算方法，其特征在于，所述计算任务包括第一计算任务和/或者第二计算任务，所述基于多个所述批次变量各自的合并依据生成计算任务的步骤，包括：
5.如权利要求4所述的批次变量计算方法，其特征在于，所述判断各所述批次变量各自的合并依据是否相同的步骤，包括：
6.如权利要求3所述的批次变量计算方法，其特征在于，所述数据库管理系统包括至少一个消...
【专利技术属性】
技术研发人员：周世旺，
申请(专利权)人：招商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。