【技术实现步骤摘要】
本申请涉及数据处理，特别是涉及一种数据处理方法、装置、设备、存储介质和程序产品。
技术介绍
1、数据仓库作为重要的数据分析系统，可以集中存储来自不同外部系统的数据，将多个数据库整合成一个数据管理系统，以便于在实际应用过程中可以将各个不同系统的数据供外部应用使用，或者进行数据加工后供外部应用使用。其中，数据加工在数据仓库和数据分析处理中被广泛使用。
2、相关技术中，同一业务可能会出现在不同的外部系统中，也就是说，在数据仓库中经常会出现大量数据项冗余，容易导致较多数据重复加工的问题，使得数据处理效率较低。
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种能够有效提高数据处理效率的数据处理方法、装置、设备、存储介质和程序产品。
2、第一方面，本申请提供了一种数据处理方法，包括：
3、在获取到数据处理消息的情况下，根据数据处理消息中携带的多个数据筛选项，确定目标数据筛选项组合；
4、根据目标数据筛选项组合确定预设数据存储区域是否存储有目标数据筛选项组合对应的目标加工数据；其中，目标加工数据为对目标数据筛选项组合对应的目标数据进行预设加工处理后得到的数据；
5、若确定预设数据存储区域存储有目标加工数据，则从预设数据存储区域获取目标加工数据。
6、在其中一个实施例中，根据目标数据筛选项组合确定预设数据存储区域是否存储有目标数据筛选项组合对应的目标加工数据，包括：
7、根据预设哈希算法确定目标数据筛选项
8、在其中一个实施例中，根据预设位图中的目标位置存储的目标元素值，确定预设数据存储区域是否存储有目标数据筛选项组合对应的目标加工数据，包括：
9、若目标元素值为1，则确定预设数据存储区域存储有目标加工数据；若目标元素值为0，则确定预设数据存储区域未存储有目标加工数据。
10、在其中一个实施例中，该数据处理方法还包括：
11、若确定预设数据存储区域未存储有目标加工数据，则根据目标数据筛选项组合从待处理数据集中确定目标数据；对目标数据进行预设加工处理，以得到目标加工数据；将目标加工数据存储在预设数据存储区域中的目标存储子区域，并保存目标数据筛选项组合与目标存储子区域之间的映射关系。
12、在其中一个实施例中，该数据处理方法还包括：
13、将预设位图中的目标位置存储的目标元素值置为1。
14、在其中一个实施例中，根据目标数据筛选项组合从待处理数据集中确定目标数据，包括：
15、获取待处理数据集对应的数据立方体，数据立方体为根据待处理数据集的数据维度将待处理数据集进行组合得到的；根据目标数据筛选项组合从数据立方体中筛选出目标数据。
16、在其中一个实施例中，从预设数据存储区域获取目标加工数据，包括：
17、根据目标数据筛选项组合和预设数据筛选选组合与存储子区域之间的映射关系，从预设数据存储区域中的目标存储子区域获取目标加工数据。
18、第二方面，本申请还提供了一种数据处理装置，包括：
19、第一确定模块，用于在获取到数据处理消息的情况下，根据数据处理消息中携带的多个数据筛选项，确定目标数据筛选项组合；
20、第二确定模块，用于根据目标数据筛选项组合确定预设数据存储区域是否存储有目标数据筛选项组合对应的目标加工数据；其中，目标加工数据为对目标数据筛选项组合对应的目标数据进行预设加工处理后得到的数据；
21、获取模块，用于若确定预设数据存储区域存储有目标加工数据，则从预设数据存储区域获取目标加工数据。
22、在其中一个实施例中，第二确定模块，具体用于根据预设哈希算法确定目标数据筛选项组合对应的目标哈希值；其中，目标哈希值用于指示预设位图中的目标位置；根据预设位图中的目标位置存储的目标元素值，确定预设数据存储区域是否存储有目标数据筛选项组合对应的目标加工数据。
23、在其中一个实施例中，第二确定模块，具体用于若目标元素值为1，则确定预设数据存储区域存储有目标加工数据；若目标元素值为0，则确定预设数据存储区域未存储有目标加工数据。
24、在其中一个实施例中，数据处理装置还包括处理模块，用于若确定预设数据存储区域未存储有目标加工数据，则根据目标数据筛选项组合从待处理数据集中确定目标数据；对目标数据进行预设加工处理，以得到目标加工数据；将目标加工数据存储在预设数据存储区域中的目标存储子区域，并保存目标数据筛选项组合与目标存储子区域之间的映射关系。
25、在其中一个实施例中，处理模块，还用于将预设位图中的目标位置存储的目标元素值置为1。
26、在其中一个实施例中，获取模块，具体用于获取待处理数据集对应的数据立方体，数据立方体为根据待处理数据集的数据维度将待处理数据集进行组合得到的；根据目标数据筛选项组合从数据立方体中筛选出目标数据。
27、在其中一个实施例中，获取模块，具体用于根据目标数据筛选项组合和预设数据筛选选组合与存储子区域之间的映射关系，从预设数据存储区域中的目标存储子区域获取目标加工数据。
28、第三方面，本申请还提供了一种数据处理设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述第一方面任一的方法。
29、第四方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述第一方面任一的方法。
30、第五方面，本申请还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述第一方面任一的方法。
31、上述数据处理方法、装置、设备、存储介质和程序产品，首先，在获取到数据处理消息的情况下，根据数据处理消息中携带的多个数据筛选项，确定目标数据筛选项组合，然后，根据目标数据筛选项组合确定预设数据存储区域是否存储有目标数据筛选项组合对应的目标加工数据，其中，目标加工数据为对目标数据筛选项组合对应的目标数据进行预设加工处理后得到的数据，最后，若确定预设数据存储区域存储有目标加工数据，则从预设数据存储区域获取目标加工数据。这样可以根据目标数据筛选项组合确定预设数据存储区域中是否已有对应的目标加工数据，也即确定是否已获取并处理过相同的目标数据，若已经获取并处理过相同的目标数据后，则可以直接获取目标数据对应的目标加工数据即可，无需根据目标数据筛选项组合再次获取目标数据并进行加工处理等，可以缓解数据处理过程中的重复加工的问题，从而有利于提高数据处理效率，并且还可以缓解目标加工数据的重复性存储问题，从而有利于节省存储资源。
本文档来自技高网...【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标数据筛选项组合确定预设数据存储区域是否存储有所述目标数据筛选项组合对应的目标加工数据，包括：
3.根据权利要求2所述的方法，其特征在于，所述根据所述预设位图中的所述目标位置存储的目标元素值，确定所述预设数据存储区域是否存储有所述目标数据筛选项组合对应的目标加工数据，包括：
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
6.根据权利要求4所述的方法，其特征在于，所述根据所述目标数据筛选项组合从待处理数据集中确定所述目标数据，包括：
7.根据权利要求1-6中任一项所述的方法，其特征在于，所述从所述预设数据存储区域获取所述目标加工数据，包括：
8.一种数据处理装置，其特征在于，所述装置包括：
9.根据权利要求8所述的装置，其特征在于，所述第二确定模块，具体用于根据预设哈希算法确定所述目标数据筛选项组合对应的目标哈
10.根据权利要求9所述的装置，其特征在于，所述第二确定模块，具体用于若所述目标元素值为1，则确定所述预设数据存储区域存储有所述目标加工数据；若所述目标元素值为0，则确定所述预设数据存储区域未存储有所述目标加工数据。
11.根据权利要求9所述的装置，其特征在于，所述数据处理装置还包括处理模块，用于若确定所述预设数据存储区域未存储有所述目标加工数据，则根据所述目标数据筛选项组合从待处理数据集中确定所述目标数据；对所述目标数据进行所述预设加工处理，以得到所述目标加工数据；将所述目标加工数据存储在所述预设数据存储区域中的目标存储子区域，并保存所述目标数据筛选项组合与所述目标存储子区域之间的映射关系。
12.根据权利要求11所述的装置，其特征在于，所述处理模块，还用于将所述预设位图中的所述目标位置存储的所述目标元素值置为1。
13.根据权利要求11所述的装置，其特征在于，所述获取模块，具体用于获取所述待处理数据集对应的数据立方体，所述数据立方体为根据所述待处理数据集的数据维度将所述待处理数据集进行组合得到的；根据所述目标数据筛选项组合从所述数据立方体中筛选出所述目标数据。
14.根据权利要求8-13任一项所述的装置，其特征在于，所述获取模块，具体用于根据所述目标数据筛选项组合和预设数据筛选选组合与存储子区域之间的映射关系，从所述预设数据存储区域中的目标存储子区域获取所述目标加工数据。
15.一种数据处理设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
17.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
...【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标数据筛选项组合确定预设数据存储区域是否存储有所述目标数据筛选项组合对应的目标加工数据，包括：
3.根据权利要求2所述的方法，其特征在于，所述根据所述预设位图中的所述目标位置存储的目标元素值，确定所述预设数据存储区域是否存储有所述目标数据筛选项组合对应的目标加工数据，包括：
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
6.根据权利要求4所述的方法，其特征在于，所述根据所述目标数据筛选项组合从待处理数据集中确定所述目标数据，包括：
7.根据权利要求1-6中任一项所述的方法，其特征在于，所述从所述预设数据存储区域获取所述目标加工数据，包括：
8.一种数据处理装置，其特征在于，所述装置包括：
9.根据权利要求8所述的装置，其特征在于，所述第二确定模块，具体用于根据预设哈希算法确定所述目标数据筛选项组合对应的目标哈希值；其中，所述目标哈希值用于指示预设位图中的目标位置；根据所述预设位图中的所述目标位置存储的目标元素值，确定所述预设数据存储区域是否存储有所述目标数据筛选项组合对应的目标加工数据。
10.根据权利要求9所述的装置，其特征在于，所述第二确定模块，具体用于若所述目标元素值为1，则确定所述预设数据存储区域存储有所述目标加工数据；若所述目标元素值为0，则确定所述预设数据存储区域未存储有所述目标加工数据。
11.根据权利要求9所述的装...
【专利技术属性】
技术研发人员：安飞飞，张圳，李昱，杨雷，张海霞，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。