【技术实现步骤摘要】
本专利技术涉及数据处理，尤其是涉及一种数据处理方法、装置、电子设备及计算机可读存储介质。
技术介绍
1、flink是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架。在flink的数据流关联的过程中，采用业务时间的关联过程会有时间上的要求，如果延迟时间过大会导致耗费内存过多，对于过多延时的延迟数据，会将其进行丢弃处理。
技术实现思路
1、本专利技术的目的在于提供一种数据处理方法、装置、电子设备及计算机可读存储介质，以实现对数据丢弃的补救。
2、第一方面，本专利技术实施例提供了一种数据处理方法，包括：
3、将经过数据流关联的至少两条数据流中的实时数据存储在redis数据库的有序集合结构中；其中，所述有序集合结构用于按照生成时间对存储的数据进行自动排序，所述有序集合结构中存储的延迟数据带有迟到标记；
4、从所述有序集合结构中读取预设时间范围内所述至少两条数据流对应的排序数据；
5、对所述至少两条数据流对应的排序数据进行关联处理，得到关联结果；
6、基于迟到标记存储所述关联结果。
7、进一步地，所述将经过数据流关联的至少两条数据流中的实时数据存储在redis数据库的有序集合结构中，包括：
8、将所述实时数据的生成时间作为所述有序集合结构中的分数，将所述实时数据的其他内容作为值插入到所述redis数据库的相关结果中，并标记所述实时数据是否迟到。
9、进一步地，所述redis
10、当检测到存在热点数据时，按照生成时间顺序对所述热点数据进行切片，得到键不同的多个切片数据，每个所述切片数据的键携带有切片顺序信息；
11、按照数据的键将多个所述切片数据分别存储在相应所述服务器节点的有序集合结构中。
12、进一步地，所述按照生成时间对所述热点数据进行切片，得到键不同的多个切片数据之前，所述数据处理方法还包括：
13、判断预设时长内的一条实时数据是否满足预设的热点要求，得到判断结果；其中，所述热点要求包括访问次数达到预设的访问次数阈值和/或数据量达到预设的数据量阈值；
14、当所述判断结果为满足时，确定所述预设时长内的实时数据为所述热点数据。
15、进一步地，所述按照生成时间顺序对所述热点数据进行切片，得到键不同的多个切片数据，包括：
16、基于预设的切片时间间隔，按照生成时间顺序对所述热点数据进行切片，得到多个切片数据，并根据切片顺序确定每个所述切片数据的键。
17、进一步地，所述从所述有序集合结构中读取预设时间范围内所述至少两条数据流对应的排序数据，包括：
18、按照数据的键从所述有序集合结构中读取预设时间范围内所述至少两条数据流对应的排序数据；
19、当所述排序数据中包括至少一组所述切片数据时，按照数据的键中的切片顺序信息，将每组所述切片数据还原为一条热点数据。
20、进一步地，所述基于迟到标记存储所述关联结果，包括：
21、过滤所述关联结果中不含迟到标记的结果；
22、存储过滤后的关联结果。
23、第二方面，本专利技术实施例还提供了一种数据处理装置，包括：
24、第一存储模块，用于将经过数据流关联的至少两条数据流中的实时数据存储在redis数据库的有序集合结构中；其中，所述有序集合结构用于按照生成时间对存储的数据进行自动排序，所述有序集合结构中存储的延迟数据带有迟到标记；
25、数据读取模块，用于从所述有序集合结构中读取预设时间范围内所述至少两条数据流对应的排序数据；
26、关联处理模块，用于对所述至少两条数据流对应的排序数据进行关联处理，得到关联结果；
27、第二存储模块，用于基于迟到标记存储所述关联结果。
28、第三方面，本专利技术实施例还提供了一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面所述的数据处理方法。
29、第四方面，本专利技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行第一方面所述的数据处理方法。
30、本专利技术实施例提供的数据处理方法、装置、电子设备及计算机可读存储介质，能够将经过数据流关联的至少两条数据流中的实时数据存储在redis数据库的有序集合结构中；其中，有序集合结构用于按照生成时间对存储的数据进行自动排序，有序集合结构中存储的延迟数据带有迟到标记；从有序集合结构中读取预设时间范围内至少两条数据流对应的排序数据；对至少两条数据流对应的排序数据进行关联处理，得到关联结果；基于迟到标记存储关联结果。这样通过redis数据库的有序集合结构可以实现数据的自动排序，且一段时间之后可以对排序后的延迟数据再次进行关联处理，从而避免了延迟数据的丢弃，实现了对数据丢弃的补救。
本文档来自技高网...【技术保护点】
1.一种数据处理方法，其特征在于，包括：
2.根据权利要求1所述的数据处理方法，其特征在于，所述将经过数据流关联的至少两条数据流中的实时数据存储在Redis数据库的有序集合结构中，包括：
3.根据权利要求1所述的数据处理方法，其特征在于，所述Redis数据库采用由多个服务器节点构成的服务器集群对应的集群模式；所述将经过数据流关联的至少两条数据流中的实时数据存储在Redis数据库的有序集合结构中，包括：
4.根据权利要求3所述的数据处理方法，其特征在于，所述按照生成时间对所述热点数据进行切片，得到键不同的多个切片数据之前，所述数据处理方法还包括：
5.根据权利要求3所述的数据处理方法，其特征在于，所述按照生成时间顺序对所述热点数据进行切片，得到键不同的多个切片数据，包括：
6.根据权利要求3所述的数据处理方法，其特征在于，所述从所述有序集合结构中读取预设时间范围内所述至少两条数据流对应的排序数据，包括：
7.根据权利要求1所述的数据处理方法，其特征在于，所述基于迟到标记存储所述关联结果，包括：
8.
9.一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-7中任一项所述的数据处理方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1-7中任一项所述的数据处理方法。
...【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
2.根据权利要求1所述的数据处理方法，其特征在于，所述将经过数据流关联的至少两条数据流中的实时数据存储在redis数据库的有序集合结构中，包括：
3.根据权利要求1所述的数据处理方法，其特征在于，所述redis数据库采用由多个服务器节点构成的服务器集群对应的集群模式；所述将经过数据流关联的至少两条数据流中的实时数据存储在redis数据库的有序集合结构中，包括：
4.根据权利要求3所述的数据处理方法，其特征在于，所述按照生成时间对所述热点数据进行切片，得到键不同的多个切片数据之前，所述数据处理方法还包括：
5.根据权利要求3所述的数据处理方法，其特征在于，所述按照生成时间顺序对所述热点数据进行切片，得到...
【专利技术属性】
技术研发人员：刘松树，程强，汪金苗，
申请(专利权)人：北京锐安科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。