数据处理方法以及装置制造方法及图纸

本说明书提供数据处理方法以及装置，其中所述数据处理方法包括：根据语义符号对获取到的离线日志进行分割，得到多层级结构数据；根据预设的特征参数对所述多层级结构数据进行解析，得到参数集合，其中，所述特征参数包括参数路径；根据所述参数集合中的所述参数路径构建树形数据结构。所述数据处理方法能够直接对离线日志进行递归解析，因此，对业务代码没有侵入性，且具有很好的普适性。

Data processing method and device

【技术实现步骤摘要】
数据处理方法以及装置
本说明书涉及数据处理
，特别涉及一种数据处理方法。本说明书同时涉及一种数据处理装置，一种计算设备，以及一种计算机可读存储介质。
技术介绍
随着线下支付场景的不断拓展，移动支付业务的形态也随之变化，新业务、新需求的快速接入使移动支付链路的各个业务系统之间的交互模型日益复杂且存在多层嵌套，因此，给移动支付服务端的链路带来了很大挑战。由于每天有数以千亿计的参数在移动支付链路的各个业务系统之间传递，这些参数如果出现异动，不仅会对移动支付业务产生影响，而且还会给用户带来经济损失，因此，有效地管理和监控参数成为移动支付业务的重要质量保障。然而，管理和监控参数的重要前提是如何精准地描述或定义参数的维度，即参数名、参数类型和参数值。在模型多层嵌套的场景下，出现相同参数名、相同参数值、不同参数路径的参数的概率极高，因此，参数路径也是复杂模型中的重要维度之一。现有技术中，解析接口间请求对象的方式主要有以下两种：第一种是录制接口层的请求对象和返回对象，通过在业务代码中埋点的方式拦截当前系统与其它系统交互的所有请求对象和返回对象，这种方式对业务代码有侵入性，需要对接口配置拦截，并且由于是实时拦截，只能配置为采样方式，因此，无法获取接口的全量数据；第二种是JSON字符串反解析为对象，提取对象中属性的特征，这种方式仅针对完全JSON化的对象，通过将JSON串解析为JSON对象，遍历对象的各个属性和层级以提取参数路径、参数名和参数值，因此，只适用于JSON化打印的对象，无很好的普适性。
技术实现思路
有鉴于此，本说明书实施例提供了一种数据处理方法。本说明书同时涉及一种数据处理装置，一种计算设备，以及一种计算机可读存储介质，以解决现有技术中存在的技术缺陷。根据本说明书实施例的第一方面，提供了一种数据处理方法，包括：根据语义符号对获取到的离线日志进行分割，得到多层级结构数据；根据预设的特征参数对所述多层级结构数据进行解析，得到参数集合，其中，所述特征参数包括参数路径；根据所述参数集合中的所述参数路径构建树形数据结构。根据本说明书实施例的第二方面，提供了一种数据处理装置，包括：分割模块，配置为根据语义符号对获取到的离线日志进行分割，得到多层级结构数据；解析模块，配置为根据预设的特征参数对所述多层级结构数据进行解析，得到参数集合，其中，所述特征参数包括参数路径；构建模块，配置为根据所述参数集合中的所述参数路径构建树形数据结构。根据本说明书实施例的第三方面，提供了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述指令时实现所述数据处理方法的步骤。根据本说明书实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现所述数据处理方法的步骤。本说明书实施例中，通过根据语义符号对获取到的离线日志进行分割，得到多层级结构数据，根据预设的特征参数对所述多层级结构数据进行解析，得到参数集合，其中，所述特征参数包括参数路径，根据所述参数集合中的所述参数路径构建树形数据结构，能够直接对离线日志进行递归解析，因此，对业务代码没有侵入性，且具有很好的普适性。附图说明图1是本申请实施例提供的计算设备的结构框图；图2是本申请实施例提供的数据处理方法的流程图；图3a和图3b是本申请实施例提供的数据处理方法的处理结果的界面示意图；图4是本申请实施例提供的数据处理装置的结构示意图。具体实施方式在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。在本申请中，提供了一种数据处理方法。本说明书同时涉及一种数据处理装置，一种计算设备，以及一种计算机可读存储介质，在下面的实施例中逐一进行详细说明。图1示出了根据本说明书一实施例的计算设备100的结构框图。该计算设备100的部件包括但不限于存储器110和处理器120。处理器120与存储器110通过总线130相连接，数据库150用于保存数据。计算设备100还包括接入设备140，接入设备140使得计算设备100能够经由一个或多个网络160通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备140可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC))中的一个或多个，诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口，等等。在本说明书的一个实施例中，计算设备100的上述部件以及图1中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图1所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。计算设备100可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。计算设备100还可以是移动式或静止式的服务器。其中，处理器120可以执行图2所示数据处理方法中的步骤。图2示出了根据本说明书一实施例的数据处理方法的流程图，包括步骤202至步骤206。步骤202：根据语义符号对获取到的离线日志进行分割，得到多层级结构数据。本说明书一实施例中，在对离线日志进行分割之前，首先要获取该离线日志。具体地，为了保证对业务系统的业务代码无侵入性，并且能够获取全量交互参数，可以使用诸如某金融服务集团的日志采集平台对目标系统的接口日志进行采集，并通过离线的方式将采集到的日志以“T+H”(其中，T为时间，H为小时)延时导入开放数据处理服务(OpenDataProcessingService，ODPS)表中，得到待分析的离线日志。进一步地，根据语义符号对待分析的离线日志进行分割，得到多层级结构数据，换言之，根据语义符号将获取到的离线日志切割成字符串数组。这里，语义符号是业务系统的交互日志中明确本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：根据语义符号对获取到的离线日志进行分割，得到多层级结构数据；根据预设的特征参数对所述多层级结构数据进行解析，得到参数集合，其中，所述特征参数包括参数路径；根据所述参数集合中的所述参数路径构建树形数据结构。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：根据语义符号对获取到的离线日志进行分割，得到多层级结构数据；根据预设的特征参数对所述多层级结构数据进行解析，得到参数集合，其中，所述特征参数包括参数路径；根据所述参数集合中的所述参数路径构建树形数据结构。2.根据权利要求1所述的方法，其特征在于，所述特征参数还包括参数名、参数类型和参数值；所述根据预设的特征参数对所述多层级结构数据进行解析，得到参数集合，包括：根据预设的所述参数路径、所述参数名、所述参数类型和所述参数值对所述多层级结构数据进行解析，得到所述参数集合。3.根据权利要求1所述的方法，其特征在于，所述语义符号包括第一级递增语义符号和第一级递减语义符号，和/或第二级递增语义符号和第二级递减语义符号；所述根据预设的特征参数对所述多层级结构数据进行解析，得到参数集合，包括：根据所述预设的特征参数以递归的方式对所述多层级结构数据进行检测；当检测到所述第一级递增语义符号或所述第二级递增语义符号时，获取与所述第一级递增语义符号或所述第二级递增语义符号最近的参数路径作为当前层级的父节点；当进一步检测到所述第一级递增语义符号或所述第二级递增语义符号时，获取与所述第一级递增语义符号或所述第二级递增语义符号最近的参数路径作为所述当前层级的下一层级的子节点；将所述子节点对应的参数路径添加到所述父节点对应的参数路径中，并用分隔符将所述父节点对应的参数路径与所述子节点对应的参数路径分隔开；重复上述检测过程，直到所有的第一级递增语义符号和/或第二级递增语义符号均被检测。4.根据权利要求3所述的方法，其特征在于，所述根据预设的特征参数对所述多层级结构数据进行解析，得到参数集合，还包括：当检测到所述第一级递减语义符号或所述第二级递减语义符号时，删除当前参数路径中最近的父节点，并退回到上一层级；重复上述检测过程，直到所有的第一级递减语义符号和/或第二级递减语义符号均被检测。5.根据权利要求3所述的方法，其特征在于，所述根据所述参数集合中的所述参数路径构建树形数据结构，包括：根据所述参数集合中的所述参数路径以反向递归的方式构建所述树形数据结构。6.根据权利要求1-5任意一项所述的方法，其特征在于，还包括：根据所述参数路径对所述参数集合进行校验，并在校验未通过时剔除异常参数路径对应的节点。7.根据权利要求2-5任意一项所述的方法，其特征在于，还包括：根据所述参数路径和/或所述参数名对所述参数集合进行校验，并在校验未通过时剔除异常参数路径和/或异常参数名对应的节点。8.根据权利要求1-5任意一项所述的方法，其特征在于，处于同一层级的所述参数路径具有相同的父节点。9.一种数据处理装置，其特征在于，包括：分割模块，配置为根据语义符号对获取到的离线日志...

【专利技术属性】
技术研发人员：潘帅好，张蓉，何煜，杨贝贝，王国君，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY