【技术实现步骤摘要】
本申请涉及数据处理,特别是涉及一种数据处理方法、装置、设备、存储介质和程序产品。
技术介绍
1、数据仓库作为重要的数据分析系统,可以集中存储来自不同外部系统的数据,将多个数据库整合成一个数据管理系统,以便于在实际应用过程中可以将各个不同系统的数据供外部应用使用,或者进行数据加工后供外部应用使用。其中,数据加工在数据仓库和数据分析处理中被广泛使用。
2、相关技术中,同一业务可能会出现在不同的外部系统中,也就是说,在数据仓库中经常会出现大量数据项冗余,容易导致较多数据重复加工的问题,使得数据处理效率较低。
技术实现思路
1、基于此,有必要针对上述技术问题,提供一种能够有效提高数据处理效率的数据处理方法、装置、设备、存储介质和程序产品。
2、第一方面,本申请提供了一种数据处理方法,包括:
3、在获取到数据处理消息的情况下,根据数据处理消息中携带的多个数据筛选项,确定目标数据筛选项组合;
4、根据目标数据筛选项组合确定预设数据存储区域是否存储有目标数
...【技术保护点】
1.一种数据处理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述根据所述目标数据筛选项组合确定预设数据存储区域是否存储有所述目标数据筛选项组合对应的目标加工数据,包括:
3.根据权利要求2所述的方法,其特征在于,所述根据所述预设位图中的所述目标位置存储的目标元素值,确定所述预设数据存储区域是否存储有所述目标数据筛选项组合对应的目标加工数据,包括:
4.根据权利要求2所述的方法,其特征在于,所述方法还包括:
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
6.根据权利
...【技术特征摘要】
1.一种数据处理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述根据所述目标数据筛选项组合确定预设数据存储区域是否存储有所述目标数据筛选项组合对应的目标加工数据,包括:
3.根据权利要求2所述的方法,其特征在于,所述根据所述预设位图中的所述目标位置存储的目标元素值,确定所述预设数据存储区域是否存储有所述目标数据筛选项组合对应的目标加工数据,包括:
4.根据权利要求2所述的方法,其特征在于,所述方法还包括:
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
6.根据权利要求4所述的方法,其特征在于,所述根据所述目标数据筛选项组合从待处理数据集中确定所述目标数据,包括:
7.根据权利要求1-6中任一项所述的方法,其特征在于,所述从所述预设数据存储区域获取所述目标加工数据,包括:
8.一种数据处理装置,其特征在于,所述装置包括:
9.根据权利要求8所述的装置,其特征在于,所述第二确定模块,具体用于根据预设哈希算法确定所述目标数据筛选项组合对应的目标哈希值;其中,所述目标哈希值用于指示预设位图中的目标位置;根据所述预设位图中的所述目标位置存储的目标元素值,确定所述预设数据存储区域是否存储有所述目标数据筛选项组合对应的目标加工数据。
10.根据权利要求9所述的装置,其特征在于,所述第二确定模块,具体用于若所述目标元素值为1,则确定所述预设数据存储区域存储有所述目标加工数据;若所述目标元素值为0,则确定所述预设数据存储区域未存储有所述目标加工数据。
11.根据权利要求9所述的装...
【专利技术属性】
技术研发人员:安飞飞,张圳,李昱,杨雷,张海霞,
申请(专利权)人:中国建设银行股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。