数据处理方法、装置及计算机可读存储介质制造方法及图纸

本申请公开了一种数据处理方法、装置及计算机可读存储介质。该数据处理方法包括获取业务数据流，并获取用于处理业务数据流的Flink SQL任务；获取Flink SQL任务中的业务配置参数，并将业务配置参数写入至数据库中；将数据库与业务数据流进行维表关联，生成处理数据。本申请可在应用Flink SQL处理数据时将更改或新增的业务配置参数保存在可与Flink SQL进行维表关联的数据库中，以使Flink SQL在无需重新启动的情况下实时使用业务配置参数。

【技术实现步骤摘要】
数据处理方法、装置及计算机可读存储介质
本申请涉及计算机
，特别的涉及一种数据处理方法、装置及计算机可读存储介质。
技术介绍
随着软件程序功能的日益复杂，程序的配置也越来越多，如各种数据库配置、应用配置、服务器配置等，但是往往在实际使用过程中如果能够支持动态配置的话，应用就会显得更加灵活可控。现有的动态配置方式一般包括两种，其一是在启动或者停止程序的过程中，通过启停脚本，传递配置参数到程序中，实现对配置参数的使用，以达到动态配置的效果，但这种方式需要多次重新启动程序。其二是通过配置管理中心工具实时获取更新的配置参数，并直接将更新的配置参数加载于正在运行的程序中，这种方式虽然不需要停止程序，但在应用FlinkSQL处理数据时无法加载配置参数，进而导致无法动态更新配置参数。
技术实现思路
本申请实施例提供了一种数据处理方法、装置及计算机可读存储介质，可在应用FlinkSQL处理数据时使用业务动态配置参数。第一方面，本申请实施例提供了一种数据处理方法，包括：获取业务数据流，并获取用于处理业务数据流的FlinkSQL任务；获取FlinkSQL任务中的业务配置参数，并将业务配置参数写入至数据库中；将数据库与业务数据流进行维表关联，生成处理数据。第二方面，本申请实施例提供了一种数据处理装置，包括：获取模块，用于获取业务数据流，并获取用于处理业务数据流的FlinkSQL任务；第一处理模块，用于获取FlinkSQL任务中的业务配置参数，并将业务配置参数写入至数据库中；第二处理模块，用于将数据库与业务数据流进行维表关联，生成处理数据。第三方面，本申请实施例又提供了一种数据处理装置，包括处理器、存储器以及通信接口；处理器与存储器、通信接口相连；存储器，用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于执行本申请实施例第一方面实现方式提供的数据处理方法。第四方面，本申请实施例提供了一种计算机可读存储介质，计算机存储介质存储有计算机程序，计算机程序包括程序指令，程序指令当被处理器执行时，可实现本申请实施例第一方面实现方式提供的数据处理方法。第五方面，本申请实施例提供了一种计算机程序产品，当该计算机程序产品在数据处理装置上运行时，使得该数据处理装置执行本申请实施例第一方面实现方式提供的数据处理方法。在本申请实施例中，通过获取业务数据流，并获取用于处理业务数据流的FlinkSQL任务，然后获取FlinkSQL任务中的业务配置参数，并将业务配置参数写入至数据库中，进而将数据库与业务数据流进行维表关联，生成处理数据。可在应用FlinkSQL处理数据时将更改或新增的业务配置参数保存在可与FlinkSQL进行维表关联的数据库中，以使FlinkSQL在无需重新启动的情况下实时加载业务配置参数。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本申请实施例提供的一种用于数据处理方法的配置参数流程示意图；图2为本申请实施例提供的一种数据处理方法的流程示意图；图3为本申请实施例提供的一种Flink任务递交流程示意图；图4为本申请实施例提供的又一种数据处理方法的流程示意图；图5为本申请实施例提供的一种数据处理装置的结构示意图；图6为本申请实施例提供的又一种数据处理装置的结构示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。本申请在下文中提到的：Redis：RemoteDictionaryServer，即远程字典服务，是一个开源的使用ANSIC语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的应用程序接口(ApplicationProgrammingInterface，API)。Flink：开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。SQL：StructuredQueryLanguage，结构化查询语言，是一种特殊目的的编程语言，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统。其中，FlinkSQL可理解为在Flink运行任务时用SQL进行数据处理。Kafka：一种开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。这种动作(网页浏览，搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。请参阅图1，图1示出了本申请实施例提供的一种用于数据处理方法的配置参数流程示意图。现有的一些开发方式，可通过配置管理中心工具(例如但不限于携程Apollo)获取动态配置参数。例如可参阅图1所示的配置管理架构100，该配置管理架构100可包括配置用户界面101、客户端服务102、配置数据库103、客户端服务104以及客户端105。具体的，开发人员可在配置用户界面101输入与任务对应的配置参数，在客户端服务102监听到有输入的配置参数的情况下，由客户端102将监听到的配置参数保存至配置数据库103中。其中，客户端102可不局限于为一种服务器，用于监听配置用户界面101是否输入有配置参数。进一步的，配置数据库103在保存该配置参数后，可由客户端服务104从配置数据库103中调取该配置参数并将该配置参数分配至相应客户端105。其中，哭护短服务104可不局限于一种服务器，用于将从配置数据库103获取的配置参数分配至客户端105。需要说明的是，当客户端服务102监听到配置用户界面101输入有更改的配置参数或新增的配置参数时，将该更改的配置参数或新增的配置参数保存至配置数据库中，并由客户本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n获取业务数据流，并获取用于处理所述业务数据流的Flink SQL任务；/n获取所述Flink SQL任务中的业务配置参数，并将所述业务配置参数写入至数据库中；/n将所述数据库与所述业务数据流进行维表关联，生成处理数据。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
获取业务数据流，并获取用于处理所述业务数据流的FlinkSQL任务；
获取所述FlinkSQL任务中的业务配置参数，并将所述业务配置参数写入至数据库中；
将所述数据库与所述业务数据流进行维表关联，生成处理数据。


2.根据权利要求1所述的方法，其特征在于，所述数据库为Redis数据库；
所述将所述业务配置参数写入至数据库中，包括：
将所述业务配置参数写入至所述Redis数据库中的Redis维表；
所述将所述数据库与所述业务数据流进行维表关联，生成处理数据，包括：
读取所述Redis数据库中的所述Redis维表，将所述Redis维表与所述业务数据流进行维表关联，得到目标数据表。


3.根据权利要求2所述的方法，其特征在于，所述获取所述FlinkSQL任务中的业务配置参数，包括：
启动客户端服务，基于所述客户端服务拉取所述FlinkSQL任务中的业务配置参数。


4.根据权利要求2所述的方法，其特征在于，所述将所述业务配置参数保存至所述Redis数据库中的Redis维表，包括：
采用预设的缓存机制将所述Redis维表中的所述业务配置参数进行缓存。


5.根据权利要求1所述的方法，其特征在于，所述将所述数据库与所述业务数据流进行维表关联，生成处理数据之前，还包括：
若所述业务配置参数发生更新，则拉取所述更新的业务配置参数，并将所述更新的业务配置参数写入至所述数据库中；
所述将所述数据库与所述业务数据流进行维表关联，生成处理数据，包括：
将写入有所述更新的业务配置参数的所述数据库...

【专利技术属性】
技术研发人员：陈泉，
申请(专利权)人：深圳市欢太科技有限公司，OPPO广东移动通信有限公司，
类型：发明
国别省市：广东;44