【技术实现步骤摘要】
一种数据处理的方法和装置
本专利技术涉及计算机
,尤其涉及一种数据处理的方法和装置。
技术介绍
大数据时代,随着数据量的指数式激增,对数据处理的计算能力要求也越来越高,计算机系统面临的不仅是数据存储与传输的效率的压力,还有用户对于时效性要求的压力。在市场上,越来越多的金融机构提出于实时计算的需求,即需要基于每时每刻的数据进行高效运算,以满足用户需求。在实现本专利技术过程中,专利技术人发现现有技术中至少存在如下问题:目前,对金融时间序列数据的研究往往频繁的滑动时间窗口,而金融数据的体量往往是巨大的,传统全量的金融时序数据效率低下,并且对历史数据的重复计算造成计算资源的浪费,且适用范围太小。
技术实现思路
有鉴于此,本专利技术实施例提供一种数据处理的方法和装置,能够解决现有对用户数据请求的计算效率低的问题。为实现上述目的,根据本专利技术实施例的一个方面,提供了一种数据处理的方法,包括接收数据请求,解析获得所述请求的时间窗口;调用日期管理组件,根据预设分块模型将所述时间窗口拆分为一 ...
【技术保护点】
1.一种数据处理的方法,其特征在于,包括:/n接收数据请求,解析获得所述请求的时间窗口;/n调用日期管理组件,根据预设分块模型将所述时间窗口拆分为一个或多个时间子窗口,以基于当前数据库调取每个时间子窗口对应的指标数据;/n调用分布式增量计算引擎组件,通过预设的泛化增量算法对所述指标数据进行处理得到目标指标值,进而返回所述目标指标值并进行展示。/n
【技术特征摘要】
1.一种数据处理的方法,其特征在于,包括:
接收数据请求,解析获得所述请求的时间窗口;
调用日期管理组件,根据预设分块模型将所述时间窗口拆分为一个或多个时间子窗口,以基于当前数据库调取每个时间子窗口对应的指标数据;
调用分布式增量计算引擎组件,通过预设的泛化增量算法对所述指标数据进行处理得到目标指标值,进而返回所述目标指标值并进行展示。
2.根据权利要求1所述的方法,其特征在于,调用分布式增量计算引擎组件之后,包括:
判断是否接收到用户选取的泛化增量算法,若是则通过选取的泛化增量算法对所述指标数据进行处理得到目标指标值;若否则根据预设配置信息匹配泛化增量算法,以基于匹配后的泛化增量算法对所述指标数据进行处理得到目标指标值。
3.根据权利要求1所述的方法,其特征在于,根据预设分块模型将所述时间窗口拆分为一个或多个时间子窗口,包括:
根据所述时间窗口,获取相应的开始时间和结束时间;
提取开始时间和结束时间中的第一目标属性信息,以计算两者之差并判断是否大于或等于预设第一阈值,若是则调取第一分块模型,将所述时间窗口拆分为一个或多个时间子窗口;若否则判断是否等于0,如果是则提取开始时间和结束时间中的第二目标属性信息以将所述时间窗口拆分为一个或多个时间子窗口,如果否则提取开始时间和结束时间中的第二目标属性信息和第三目标属性信息以将所述时间窗口拆分为一个或多个时间子窗口。
4.根据权利要求3所述的方法,其特征在于,提取开始时间和结束时间中的第二目标属性信息以将所述时间窗口拆分为一个或多个时间子窗口,包括:
提取开始时间和结束时间中的第二目标属性信息,计算两者之差并判断是否大于1,若是则调取第二分块模型,将所述时间窗口拆分为一个或多个时间子窗口;若否则调取第三分块模型,将所述时间窗口拆分为一个或多个时间子窗口。
5.根据权利要求3所述的方法,其特征在于,提取开始时间和结束时间中的第二目标属性信息和第三目标属性信息以将所述时间窗口拆分为一个或多个时间子窗口,包括:
提取...
【专利技术属性】
技术研发人员:王政钟,
申请(专利权)人:中国建设银行股份有限公司,建信金融科技有限责任公司,
类型:发明
国别省市:北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。