实时数据处理方法、装置、设备及存储介质制造方法及图纸

本公开提供了一种实时数据处理方法、装置、设备及存储介质。该方法包括：获取基于预设模板编写的代码；按照所述预设模板，对所述代码进行解析，并存储解析后的所述代码；触发Flink平台；当所述Flink平台被触发时，获取并加载解析后的所述代码；以及基于所述Flink平台，根据解析后的所述代码进行实时数据处理。该方法可以减少实时数据处理过程中的繁琐流程，提升处理效率。

Real time data processing methods, devices, equipment and storage media

【技术实现步骤摘要】
实时数据处理方法、装置、设备及存储介质
本公开涉及计算机应用

，尤其涉及一种实时数据处理方法、装置、设备及存储介质。
技术介绍
Flink是一个框架和分布式处理引擎，设计为面向分布式数据流处理和批量数据处理的开源计算平台。然而目前，在基于Flink平台来执行实时计算任务时，可能需要循环多次编码、打包、上传、发布及验证5个步骤，直到实时计算任务正确。这样的处理方式冗余工作多，导致实时计算任务处理流程长，效率低。需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
本公开实施例提供一种实时数据处理方法、装置、设备及存储介质，可以减少实时数据处理过程中的繁琐流程，提升处理效率。本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。根据本公开的一个方面，提供一种基于Flink平台的实时数据处理方法，包括：获取基于预设模板编写的代码；按照所述预设模板，对所述代码进行解析，并存储解析后的所述代码；触发Flink平台；当所述Flink平台被触发时，获取并加载解析后的所述代码；以及基于所述Flink平台，根据解析后的所述代码进行实时数据处理。根据本公开的一实施方式，在触发所述Flink平台获取并加载解析后的所述代码之前，所述方法还包括：将预先编写的程序加载至所述Flink平台的执行环境中。根据本公开的一实施方式，触发Flink平台包括：向预先编写的所述程序发送触发指令；当所述所述Flink平台被触发时，获取并加载解析后的所述代码包括：通过所述程序接收所述触发指令；以及当所述程序接收到所述触发指令时，通过所述Flink平台获取并加载解析后的所述代码。根据本公开的一实施方式，解析后的所述代码作为所述程序的一个输入参数被加载到所述Flink平台中。根据本公开的一实施方式，基于所述Flink平台，根据解析后的所述代码进行实时数据处理包括：基于所述Flink平台，将解析后的所述代码生成执行图；执行所述执行图，以获得实时数据处理结果；以及输出所述实时数据处理结果。根据本公开的一实施方式，输出所述实时数据处理结果包括：将所述实时数据处理结果输出到预设文件中；和/或，在用户界面中显示所述实时数据处理结果。根据本公开的一实施方式，所述代码为所述Flink平台的配置信息。根据本公开的另一方面，提供一种基于Flink平台的实时数据处理装置，包括：编码获取模块，用于获取基于预设模板编写的代码；编码解析模块，用于按照所述预设模板，对所述代码进行解析，并存储解析后的所述代码；编码触发模块，用于触发所述Flink平台；代码加载模块，用于当所述Flink平台被触发时，获取并加载解析后的所述代码；以及数据处理模块，用于基于所述Flink平台，根据解析后的所述代码进行实时数据处理。根据本公开的再一个方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述的用于标准化医疗文本数据的方法。根据本公开的再一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的用于标准化医疗文本数据的方法。根据本公开实施例提供的基于Flink平台的实时数据处理方法，通过解析按照预先设定的模板编写的代码，并自动将解析后的代码加载到Flink平台中，可以实现Flink平台的动态运行。进而减少了开发人员的诸如打包、上传、发布等手工操作流程，极大地提升了实时数据处理流程的效率。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1示出本公开实施例中一种基于Flink平台的实时数据处理方法的流程图。图2示出本公开实施例中另一种基于Flink平台的实时数据处理方法的流程图。图3示出本公开实施例中再一种基于Flink平台的实时数据处理方法的流程图。图4示出本公开实施例中一种基于Flink平台的实时数据处理装置的框图。图5示出本公开实施例中一种电子设备的结构示意图。图6示出本公开实施例中一种计算机可读存储介质的示意图。具体实施方式现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。如上述，在相关技术中，在基于Flink平台来执行实时计算任务时，处理方式包括很多人工需要执行的冗余工作，导致实时数据计算任务处理流程长，效率低。本公开实施例提供一种实时数据处理方法、装置、设备及存储介质，可减少实时数据处理过程中的繁琐流程，提升处理效率。首先，将结合附图及实施例对本示例实施方式中的基于Flink平台的实时数据处理方法的各个步骤进行更详细的说明。图1示出本公开实施例中一种基于Flink平台的实时数据处理方法的流程图。本公开实施例提供的方法可以由任意具备计算处理能力的电子设备执行。参考图1，基于Flink平台的实时数据处理方法10包括：在步骤S102中，获取基于预设模板编写的代码。预先定义用于开发人员进行编写代码的预设模板。通过使用预设模板进行代码编写，可以便于对代码进行解析，此外还可以使开发人员编写的代码更为规范。在一些实施例中，所述代码例如可以为Flink平台的配置信息。如上述，Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台。基于该实时计算平台，开发人员可以通过配置方式进行二次开发，从而利用该实时计算平台对待处理的实时数据进行计算。不同的实时数据操作会对应不同的配置信息，本公开不以此为限。例如，当需要进行实时数据流同步操作时，配置的信息如可以包括用于描述数据同步任务的规格说明，如源数据库配置信息、目的数据库配置信息等。源数据库配置信息如可以包括源数据库类型、源数据库连接配置信息、字段列表等；目的数据库配置信息如可以包括目的数据本文档来自技高网...

【技术保护点】
1.一种基于Flink平台的实时数据处理方法，其特征在于，包括：/n获取基于预设模板编写的代码；/n按照所述预设模板，对所述代码进行解析，并存储解析后的所述代码；/n触发Flink平台；/n当所述Flink平台被触发时，获取并加载解析后的所述代码；以及/n基于所述Flink平台，根据解析后的所述代码进行实时数据处理。/n

【技术特征摘要】
1.一种基于Flink平台的实时数据处理方法，其特征在于，包括：
获取基于预设模板编写的代码；
按照所述预设模板，对所述代码进行解析，并存储解析后的所述代码；
触发Flink平台；
当所述Flink平台被触发时，获取并加载解析后的所述代码；以及
基于所述Flink平台，根据解析后的所述代码进行实时数据处理。


2.根据权利要求1所述的方法，其特征在于，在触发所述Flink平台获取并加载解析后的所述代码之前，所述方法还包括：
将预先编写的程序加载至所述Flink平台的执行环境中。


3.根据权利要求2所述的方法，其特征在于，触发Flink平台包括：向预先编写的所述程序发送触发指令；
当所述所述Flink平台被触发时，获取并加载解析后的所述代码包括：通过所述程序接收所述触发指令；以及当所述程序接收到所述触发指令时，通过所述Flink平台获取并加载解析后的所述代码。


4.根据权利要求3所述的方法，其特征在于，解析后的所述代码作为所述程序的一个输入参数被加载到所述Flink平台中。


5.根据权利要求1所述的方法，其特征在于，基于所述Flink平台，根据解析后的所述代码进行实时数据处理包括：
基于所述Flink平台，将解析后的所述代码生成执行图；
执行所述执行...

【专利技术属性】
技术研发人员：徐阳，黄伟伦，刘强，
申请(专利权)人：北京三快在线科技有限公司，
类型：发明
国别省市：北京;11