一种定位导致数据异常的操作的方法及服务器技术

技术编号:17912114 阅读:33 留言:0更新日期:2018-05-10 18:06
本申请提供一种定位导致数据异常的操作的方法及服务器,涉及通信领域,能够在使用spark框架处理批量数据时,精确定位到导致数据异常的具体操作,减短对异常数据响应的时间。该方法包括:若服务器确定目标业务数据存在异常,则服务器获取目标业务数据对应的血缘跟踪数据,血缘跟踪数据为对目标业务数据进行至少一个预设类型的操作后得到的与每个预设类型操作对应的数据;服务器根据血缘跟踪数据中每个预设类型操作对应的数据,确定导致目标业务数据出现异常的目标操作。

【技术实现步骤摘要】
一种定位导致数据异常的操作的方法及服务器
本申请涉及通信领域,尤其涉及一种定位导致数据异常的操作的方法及服务器。
技术介绍
Spark是一种开源集群计算框架,其启用了内存分布数据集,能够提供交互式查询,并且可以优化迭代工作负载。目前,由于Spark计算框架处理数据的最小单位是批次,即Spark框架需对批量数据进行处理,因此,当批量数据的内容发生异常的时候,使用Spark计算框架能定位到出现异常的数据批次,却无法精确定位导致数据异常的具体操作,导致无法快速地对异常数据进行处理和维护,增加了对异常数据的响应时间。
技术实现思路
本申请提供一种定位导致数据异常的操作的方法及服务器,能够在使用spark计算框架处理批量数据时,精确定位到导致数据异常的具体某一操作,减短对异常数据响应的时间。为达到上述目的,本申请采用如下技术方案:第一方面,本申请提供一种定位导致数据异常的操作的方法及服务器,该方法可以包括:若服务器确定目标业务数据存在异常,则所述服务器获取所述目标业务数据对应的血缘跟踪数据,所述血缘跟踪数据为对所述目标业务数据进行至少一个预设类型的操作后得到的与每个预设类型操作对应的数据;所述服务器根据所述血缘跟踪数据中每个预设类型操作对应的数据,确定导致所述目标业务数据出现异常的目标操作。第二方面,本申请提供一种服务器,该服务器包括:获取模块和确定模块。其中,获取模块,用于若所述服务器确定目标业务数据存在异常,则获取所述目标业务数据对应的血缘跟踪数据,所述血缘跟踪数据为对所述目标业务数据进行至少一个预设类型的操作后得到的与每个预设类型操作对应的数据;确定模块,用于根据所述血缘跟踪数据中每个预设类型操作对应的数据,确定导致所述目标业务数据出现异常的目标操作。第三方面,本申请提供一种服务器,该服务器包括:处理器、收发器和存储器。其中,存储器用于存储一个或多个程序,一个或多个程序包括指令,当该服务器运行时,处理器执行该存储器存储的指令,以使该服务器执行第一方面及其各种可选的实现方式中任意之一所述的定位导致数据异常的操作方法。第四方面,本申请提供一种计算机可读存储介质,计算机可读存储介质中存储有一个或多个程序,一个或多个程序包括计算机执行指令,当该服务器的处理器执行该计算机执行指令时,该服务器执行上述第一方面及其各种可选的实现方式中任意之一所述的定位导致数据异常的操作方法。与现有技术中仅能定位到出现异常的数据批次,无法精确定位到导致数据异常的具体操作,导致对异常数据的响应时间增加相比,本申请提供的定位导致数据异常的操作的方法,当目标业务数据存在异常时,可以获取目标业务数据对应的血缘跟踪数据,根据血缘跟踪数据对目标业务数据进行定位导致数据异常的操作的流程。由于血缘跟踪数据为对目标业务数据进行至少一个预设类型操作时,每个预设类型操作对应的数据,也就意味着,对目标业务数据的操作均记录在血缘跟踪数据中,所以,当目标业务数据出现异常时,根据血缘跟踪数据中记录的各个操作,能够回溯定位到导致内容异常的具体某个操作。举例来说,假定血缘跟踪数据中包含3个对目标业务数据的操作,操作1对应数据1,操作2对应数据2,操作3对应数据3,若目标业务数据出现异常,则根据血缘跟踪数据中记录的操作1至操作3,能够回溯定位到导致数据异常的某个具体操作,进而减短对异常数据的响应时间。附图说明图1为本申请实施例提供的一种定位导致数据异常的操作的方法流程图;图2为本申请实施例提供的另一种定位导致数据异常的操作的方法流程图;图3为本申请实施例提供的另一种定位导致数据异常的操作的方法流程图;图4为本申请实施例提供的服务器的结构示意图一;图5为本申请实施例提供的服务器的结构示意图二。具体实施方式下面结合附图对本申请实施例提供的定位导致数据异常的操作的方法及服务器进行详细地描述。本申请的描述中所提到的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括其他没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。需要说明的是,本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。在本申请的描述中,除非另有说明,“多个”的含义是指两个或两个以上。终端将业务数据发送给服务器,再由服务器处理业务数据,在服务器处理业务数据的过程中,很可能业务数据的处理结果出现异常,在本申请实施例中,通过对业务数据进行处理,并生成业务数据对应的血缘跟踪数据,当业务数据产生异常时,根据血缘跟踪数据中记录的对业务数据的各项预设类型操作对应的数据,能够回溯定位到导致数据异常的某个具体操作,进而减短对异常数据的响应时间。终端可以为用户设备(userequipment,UE),如:手机、电脑,还可以为蜂窝电话、无绳电话、会话发起协议(sessioninitiationprotocol,SIP)电话、智能电话、无线本地环路(wirelesslocalloop,WLL)站、个人数字助理(personaldigitalassistant,PDA)、膝上型计算机、手持式通信设备、手持式计算设备、卫星无线设备、无线调制解调器卡、电视机顶盒(settopbox,STB)、用户驻地设备(customerpremiseequipment,CPE)和/或用于在无线系统上进行通信的其它设备。本申请实施例提供一种定位导致数据异常的操作的方法,如图1所示,该方法可以包括S101-S102:S101、若服务器确定目标业务数据存在异常,则服务器获取目标业务数据对应的血缘跟踪数据。其中,血缘跟踪数据为对目标业务数据进行至少一个预设类型操作时,每个预设类型操作对应的数据,也就意味着,血缘跟踪数据记录有对一条业务数据进行的全部预设类型操作的数据,相当于记录了该条业务数据在整个生命周期中的变化,以便后续在整个生命周期中找到导致内容异常的操作,从而提高处理问题的效率。需要说明的是,在执行S101之前,服务器接收终端发送的目标业务数据,并生成目标业务数据对应的血缘跟踪数据。可以理解的是,在服务器完成对目标业务数据的所有预设类型操作之后,服务器生成最终的血缘跟踪数据,服务器根据该血缘跟踪数据定位导致目标业务数据异常的操作。服务器还可以在完成对目标数据业务的某一次预设类型操作之后,生成本次预设类型操作对应的中间血缘跟踪数据,经过对目标业务数据的多次预设类型操作,生成多个中间血缘跟踪数据,并根据多个中间血缘跟踪数据定位导致目标业务数据异常的操作。具体地,如图2所示,服务器生成血缘跟踪数据的方式可以实现为S201至S204。S201、服务器检测对目标业务数据的预设类型的操作。可选地,服务器可以对目标业务数据进行不同类型的操作,以满足不同的业务需求。例如,用户当前正在通过网页访问购物网站,则目标业务数据为用户输入的网页数据,服务器在接收到用户输入的网页数据之后,可以计算网页数据对应的用户级别本文档来自技高网...
一种定位导致数据异常的操作的方法及服务器

【技术保护点】
一种定位导致数据异常的操作的方法,其特征在于,所述方法包括:若服务器确定目标业务数据存在异常,则所述服务器获取所述目标业务数据对应的血缘跟踪数据,所述血缘跟踪数据为对所述目标业务数据进行至少一个预设类型的操作后得到的与每个预设类型操作对应的数据;所述服务器根据所述血缘跟踪数据中每个预设类型操作对应的数据,确定导致所述目标业务数据出现异常的目标操作。

【技术特征摘要】
1.一种定位导致数据异常的操作的方法,其特征在于,所述方法包括:若服务器确定目标业务数据存在异常,则所述服务器获取所述目标业务数据对应的血缘跟踪数据,所述血缘跟踪数据为对所述目标业务数据进行至少一个预设类型的操作后得到的与每个预设类型操作对应的数据;所述服务器根据所述血缘跟踪数据中每个预设类型操作对应的数据,确定导致所述目标业务数据出现异常的目标操作。2.根据权利要求1所述的定位导致数据异常的操作的方法,其特征在于,在所述服务器确定所述目标业务数据存在异常之前,所述方法还包括:在所述服务器完成对所述目标业务数据的所有预设类型的操作之后,生成所述血缘跟踪数据,其中,所述血缘跟踪数据包括消息头、消息体与附加消息部分,所述消息体包括所述目标业务数据,所述消息头包括所述目标业务数据的标识、所述目标业务数据的数据偏移量,所述附加消息部分包括每次预设类型操作对应的标签、每次预设类型操作对应的节点地址、每个节点中的进程标识、每次预设类型操作对应的资源消耗,所述数据偏移量用于指示所述目标业务数据相对于基准数据的偏移量,所述基准数据为所述目标业务数据所在批次的业务数据中的第一个业务数据。3.根据权利要求2所述的定位导致数据异常的操作的方法,其特征在于,在所述服务器确定所述目标业务数据存在异常之前,所述方法还包括:在所述服务器完成对所述目标业务数据的本次预设类型操作之后,所述服务器确定本次预设类型操作对应的中间血缘跟踪数据,所述中间血缘跟踪数据包括消息头、消息体与附加消息部分,所述消息体包括所述目标业务数据,所述消息头包括所述目标业务数据的标识、所述目标业务数据的数据偏移量,所述附加消息部分包括本次预设类型操作对应的标签、本次预设类型操作对应的节点地址、每个节点中的进程标识、本次预设类型操作对应的资源消耗。4.根据权利要求3所述的定位导致数据异常的操作的方法,其特征在于,所述服务器根据所述血缘跟踪数据中每个预设类型操作对应的数据,确定导致所述目标业务数据出现异常的目标操作包括:所述服务器对所述血缘跟踪数据进行解析,得到每次预设类型操作对应的数据,其中,每次预设类型操作对应的数据包括每次预设类型操作对应的标签;若所述预设类型操作对应的标签和所述目标业务数据对应的标签不...

【专利技术属性】
技术研发人员:王庚吴鹏马松杨光明子杨杰
申请(专利权)人:亚信科技中国有限公司
类型:发明
国别省市:北京,11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1