业务数据流的解析方法及其装置制造方法及图纸

本申请提出了一种业务数据流的解析方法及其装置，该方法包括：获取待解析的业务数据流，以及对应的逻辑数据流。对逻辑数据流进行解析，以确定待解析的业务数据流对应的第一解析逻辑。使用第一解析逻辑对待解析的业务数据流进行解析，以生成第一解析结果。由此，实现了根据逻辑数据流，确定业务数据流对应的第一解析逻辑，来对业务数据流进行解析，从而能够对不同的业务数据流采用不同的第一解析逻辑进行解析，能够灵活地实时更新解析程序的解析逻辑，减少解析程序重启更新的次数。

Analysis method and device of business data flow

【技术实现步骤摘要】
业务数据流的解析方法及其装置
本申请涉及数据处理
，尤其涉及一种业务数据流的解析方法及其装置。
技术介绍
业务系统在运行过程中，通过日志来记录业务系统的工作记录，对业务系统的日志进行实时地采集和解析，能够及时发现业务系统存在的问题，并进行及时处理，目前通常采用分布式的架构和实时计算框架(比如Flink处理框架、Spark计算平台)，来完成日志的采集和解析。对于不同的业务需求，同一份日志数据需要以不同的格式进行存储，相应地需要使用不同的解析程序对日志进行解析，对于解析程序的开发和维护需要消耗人力和时间。相关技术中，通过采用改变配置文件的方式来更新解析相关的配置，进而更新解析程序，避免了对解析程序的重复开发，减少了解析程序维护成本。但是，在分布式架构中，配置文件的存放和更新无法满足使用需求。
技术实现思路
本申请实施例提供了一种业务数据流的解析方法及其装置，通过对逻辑数据流进行解析，来确定业务数据流对应的第一解析逻辑，从而能够实时地更新解析程序的解析逻辑，减少解析程序重启更新的次数。第一方面，本申请实施例提供了一种业务数据流的解析方法，包括以下步骤：获取待解析的业务数据流，以及对应的逻辑数据流；对所述逻辑数据流进行解析，以确定所述待解析的业务数据流对应的第一解析逻辑；以及使用所述第一解析逻辑对所述待解析的业务数据流进行解析，以生成第一解析结果。和现有技术相比，本申请实现了根据逻辑数据流，确定业务数据流对应的第一解析逻辑，来对业务数据流进行解析，从而能够对不同的业务数据流采用不同的第一解析逻辑进行解析，能够灵活地实时更新解析程序的解析逻辑，减少解析程序重启更新的次数。可选地，在所述获取待解析的业务数据流之前，还包括：将所述第一解析逻辑注入所述逻辑数据流中。可选地，所述对所述逻辑数据流进行解析，以确定所述待解析的业务数据流对应的第一解析逻辑，包括：对所述逻辑数据流进行解析，以生成所述第一解析逻辑的解析算子。可选地，所述使用所述第一解析逻辑对所述待解析的业务数据流进行解析，以生成第一解析结果，包括：使用所述解析算子对所述待解析的业务数据流进行解析，以生成所述第一解析结果。可选地，在所述使用所述第一解析逻辑对所述待解析的业务数据流进行解析，以生成第一解析结果之后，还包括：从所述逻辑数据流中确定所述第一解析结果对应的第二解析逻辑；使用所述第二解析逻辑对所述第一解析结果进行解析，以生成第二解析结果。第二方面，本申请实施例还提供了一种业务数据流的解析装置，包括：获取模块，用于获取待解析的业务数据流，以及对应的逻辑数据流；第一解析模块，用于对所述逻辑数据流进行解析，以确定所述待解析的业务数据流对应的第一解析逻辑；以及第二解析模块，用于使用所述第一解析逻辑对所述待解析的业务数据流进行解析，以生成第一解析结果。可选地，所述装置还包括：注入模块，用于将所述第一解析逻辑注入所述逻辑数据流中。可选地，所述第一解析模块，具体用于对所述逻辑数据流进行解析，以生成所述第一解析逻辑的解析算子。可选地，所述第二解析模块，具体用于使用所述解析算子对所述待解析的业务数据流进行解析，以生成所述第一解析结果。可选地，所述装置还包括：确定模块，用于从所述逻辑数据流中确定所述第一解析结果对应的第二解析逻辑；第三解析模块，用于使用所述第二解析逻辑对所述第一解析结果进行解析，以生成第二解析结果。第三方面，本申请实施例还提供了一种非临时性计算机可读存储介质，所述非临时性计算机可读存储介质包括存储的程序，其中，在程序运行时控制所述非临时性计算机可读存储介质所在设备执行上述业务数据流的解析方法。第四方面，本申请实施例还提供了一种计算机设备，包括存储器和处理器，所述存储器用于存储包括程序指令的信息，所述处理器用于控制程序指令的执行，所述程序指令被处理器加载并执行时实现上述业务数据流的解析方法。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本申请实施例所提出的一种业务数据流的解析方法的流程示意图；图2为本申请实施例所提供的业务数据流的解析方法的一个示例的流程图；图3为本申请实施例所提出的另一种业务数据流的解析方法的流程示意图；图4为本申请实施例所提供的业务数据流的存储方式示意图；图5为本申请实施例所提供的一种业务数据流的解析装置的结构示意图；图6为本申请实施例所提供的另一种业务数据流的解析装置的结构示意图；以及图7为本申请计算机设备一个实施例的结构示意图。具体实施方式为了更好的理解本申请的技术方案，下面结合附图对本申请实施例进行详细描述。应当明确，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。基于前述现有技术的说明，可以知道，目前通常采用分布式的架构和实时计算框架(比如Flink处理框架、Spark计算平台)，来完成日志的采集和解析，相关技术中，通过采用改变配置文件的方式来更新解析相关的配置，进而更新解析程序，但是配置文件的存放存在问题，并且在对配置文件进行更新后，需要重启才能更新Flink等分布式处理架构的解析逻辑，无法满足使用需求。为了解决上述问题，本申请实施例提出了一种业务数据流的解析方法，图1为本申请实施例所提出的一种业务数据流的解析方法的流程示意图。如图1所示，该方法包括：步骤S101，获取待解析的业务数据流，以及对应的逻辑数据流。其中，待解析的业务数据流为业务系统不断生成的日志，本申请实施例将业务系统生成的日志以数据流的形式进行实时解析。需要说明的是，为了对解析程序进行实时更新，本申请实施例借助逻辑数据流来对解析程序的配置文件进行更新，进而实现对解析程序的实时更新。一种可能的实现方式是，在获取待解析的业务流之前，先创建另一个的数据流，该数据流初始时不存储任何数据，将第一解析逻辑以数据的形式注入该数据流中，得到逻辑数据流。步骤S102，对逻辑数据流进行解析，以确定待解析的业务数据流对应的第一解析逻辑。可以理解，通过对逻辑数据流中的数据进行解析，能够从中解析出第一解析逻辑。需要说明的是，本申请实施例所提出的业务数据流的解析方法，通过解析算子来对业务数据流进行解析。其中，解析算子能够实现业务数据流的选择和解析逻辑的配置，通本文档来自技高网...

【技术保护点】
1.一种业务数据流的解析方法，其特征在于，包括：/n获取待解析的业务数据流，以及对应的逻辑数据流；/n对所述逻辑数据流进行解析，以确定所述待解析的业务数据流对应的第一解析逻辑；以及/n使用所述第一解析逻辑对所述待解析的业务数据流进行解析，以生成第一解析结果。/n

【技术特征摘要】
1.一种业务数据流的解析方法，其特征在于，包括：
获取待解析的业务数据流，以及对应的逻辑数据流；
对所述逻辑数据流进行解析，以确定所述待解析的业务数据流对应的第一解析逻辑；以及
使用所述第一解析逻辑对所述待解析的业务数据流进行解析，以生成第一解析结果。


2.如权利要求1所述的解析方法，其特征在于，在所述获取待解析的业务数据流之前，还包括：
将所述第一解析逻辑注入所述逻辑数据流中。


3.如权利要求2所述的解析方法，其特征在于，所述对所述逻辑数据流进行解析，以确定所述待解析的业务数据流对应的第一解析逻辑，包括：
对所述逻辑数据流进行解析，以生成所述第一解析逻辑的解析算子。


4.如权利要求3所述的解析方法，其特征在于，所述使用所述第一解析逻辑对所述待解析的业务数据流进行解析，以生成第一解析结果，包括：
使用所述解析算子对所述待解析的业务数据流进行解析，以生成所述第一解析结果。


5.如权利要求1-4中任一项所述的解析方法，其特征在于，在所述使用所述第一解析逻辑对所述待解析的业务数据流进行解析，以生成第一解析结果之后，还包括：
从所述逻辑数据流中确定所述第一解析结果对应的第二解析逻辑；
使用所述第二解析逻辑对所述第...

【专利技术属性】
技术研发人员：杨立鹏，樊春美，李雯，单杏花，朱建军，张志强，阎志远，张智，朱颖婷，王思宇，陈曹振，王拓，马杰，吕晓艳，李天翼，汪健雄，于澎，
申请(专利权)人：中国铁道科学研究院集团有限公司电子计算技术研究所，北京经纬信息技术有限公司，中铁程科技有限责任公司，
类型：发明
国别省市：北京;11