【技术实现步骤摘要】
本专利技术涉及大数据领域，尤其涉及一种数据处理方法、装置、设备以及存储介质。
技术介绍
1、随着大数据的不断发展，业务场景日益复杂，业务功能对处理计算的实时性要求也越来越高。相较于传统的批处理，流处理的特点是无界、实时，无需针对整个数据集执行操作，而是对通过系统传输的每个数据项执行操作，在提升计算时效性方面有着巨大潜力。
2、针对每条流式数据处理的一个常见场景是关联外部数据源进行数据打宽，维度拓展，流式数据源称为事实表，关联的外部数据源称为维表。但在事实表数据量庞大，时效性要求较高的场景下，外部数据源的数据处理效率会受到可能会因为自身存储设计、网络开销大等因素的影响，从而导致数据处理效率差。
3、因此，如何有效利用本地存储和外部数据源，改善维表关联存在的外部数据源性能问题，提升数据处理效率，是目前亟待解决的问题。
技术实现思路
1、本专利技术提供了一种数据处理方法、装置、设备以及存储介质，以有效利用本地存储和外部数据源，改善维表关联存在的外部数据源性能问题，提升数据处理效率。
2、根据本专利技术的一方面，提供了一种数据处理方法，包括：
3、响应于对事实表对应目标维表的查询请求，在本地的缓存队列中进行查询，确定是否存在目标维表；
4、若否，则根据目标维表的目标请求数量和定时器时间，确定是否满足外部查询条件，若是，则生成维表外部查询命令；
5、基于预设分布式处理引擎，根据对外部数据源的访问策略，将维表外部查询命令发
6、根据本专利技术的另一方面，提供了一种数据处理装置，包括：
7、第一确定模块，用于响应于对事实表对应目标维表的查询请求，在本地的缓存队列中进行查询，确定是否存在目标维表；
8、第二确定模块，用于若否，则根据目标维表的目标请求数量和定时器时间，确定是否满足外部查询条件，若是，则生成维表外部查询命令；
9、发送模块，用于基于预设分布式处理引擎，根据对外部数据源的访问策略，将维表外部查询命令发送至外部数据源，以进行目标维表查询。
10、根据本专利技术的另一方面，提供了一种电子设备，所述电子设备包括：
11、至少一个处理器；以及
12、与所述至少一个处理器通信连接的存储器；其中，
13、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例所述的数据处理方法。
14、根据本专利技术的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本专利技术任一实施例所述的数据处理方法。
15、本专利技术实施例的技术方案，响应于对事实表对应目标维表的查询请求，在本地的缓存队列中进行查询，确定是否存在目标维表；若否，则根据目标维表的目标请求数量和定时器时间，确定是否满足外部查询条件，若是，则生成维表外部查询命令；基于预设分布式处理引擎，根据对外部数据源的访问策略，将维表外部查询命令发送至外部数据源，以进行目标维表查询。通过这样的方式，可以有效利用本地存储和外部数据源，改善维表关联存在的外部数据源性能问题，提升数据处理效率。
16、应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
本文档来自技高网...【技术保护点】
1.一种数据处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，在本地的缓存队列中进行查询，确定是否存在目标维表之后，还包括：
3.根据权利要求1所述的方法，其特征在于，将维表的外部查询命令发送至外部数据源，以进行目标维表查询之后，还包括：
4.根据权利要求1所述的方法，其特征在于，根据目标维表的目标请求数量和定时器时间，确定是否满足外部查询条件，包括：
5.根据权利要求1所述的方法，其特征在于，将维表的外部查询命令发送至外部数据源，包括：
6.根据权利要求1所述的方法，其特征在于，其中，所述预设分布式处理引擎为Flink处理引擎；所述对外部数据源的访问策略为同步访问策略或异步访问策略。
7.根据权利要求1所述的方法，其特征在于，根据对外部数据源的访问策略，将维表外部查询命令发送至外部数据源，包括：
8.一种数据处理装置，其特征在于，包括：
9.一种电子设备，其特征在于，所述电子设备包括：
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质
...【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，在本地的缓存队列中进行查询，确定是否存在目标维表之后，还包括：
3.根据权利要求1所述的方法，其特征在于，将维表的外部查询命令发送至外部数据源，以进行目标维表查询之后，还包括：
4.根据权利要求1所述的方法，其特征在于，根据目标维表的目标请求数量和定时器时间，确定是否满足外部查询条件，包括：
5.根据权利要求1所述的方法，其特征在于，将维表的外部查询命令发送至外部数据源，包括：
6.根据权利要求1所...
【专利技术属性】
技术研发人员：丹晓东，
申请(专利权)人：中国农业银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。