数据处理方法、装置、设备及计算机存储介质制造方法及图纸

本申请公开了数据处理方法、装置、设备及计算机存储介质，涉及云计算技术领域。具体实现方案为：获取标签组合对应的拨测数据，所述标签组合对应的拨测数据具有所述标签组合中的所有标签；根据所获取的各拨测数据的正常异常状况，获取所述标签组合对应的正常异常状况的集中程度；根据各所述集中程度，选择待检测数据。本申请实施例能够过过滤掉正常或异常状况不集中的数据，减少后续根据检测数据分析拨测源或拨测目标是否异常的数据处理量。

【技术实现步骤摘要】
数据处理方法、装置、设备及计算机存储介质
本申请涉及计算机
，尤其涉及云计算

技术介绍
在网络上运行的软件模块可以称为服务，它使得用户能够在不同的地方通过不同的终端设备访问网络上的数据或者使用APP(Application，应用)。在用户使用服务的过程中，用户终端需要与服务后端进行交互，服务后端之间也需要进行一些交互。如果承载这些交互的网络存在连通性问题，用户就不能正常使用服务。为了确定网络连通性有没有问题、问题影响的范围等，一个常见的方式是进行拨测，即发送一个数据包，检查有没有正常返回。通过收集拨测数据进行分析，可以给出网络连通性检测结果。这样的连通性检测可以用在网络性能管理(NPM)，用来发送故障告警和协助运维人员整理故障通告。目前，基于拨测数据进行连通性检测给出的故障范围不准确。
技术实现思路
本申请提供了一种用于数据处理方法、装置、设备以及计算机存储介质。根据本申请的一方面，提供了一种数据处理方法，包括：获取标签组合对应的拨测数据，标签组合对应的拨测数据具有标签组合中的所有标签；根据所获取的各拨测数据的正常异常状况，获取标签组合对应的正常异常状况的集中程度；根据各集中程度，选择待检测数据。根据本申请的另一方面，提供了一种数据处理装置，包括：拨测数据获取模块，用于获取标签组合对应的拨测数据，标签组合对应的拨测数据具有标签组合中的所有标签；集中程度模块，用于根据所获取的各拨测数据的正常异常状况，获取标签组合对应的正常异常状况的集中程度；待检测数据模块，用于根据各集中程度，选择待检测数据。根据本申请的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本申请任意一项实施例所提供的方法。根据本申请的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，计算机指令用于使计算机执行本申请任意一项实施例所提供的方法。本申请的技术实施方式中，根据标签组合对应的拨测数据，确定正常或异常的拨测数据在标签组合对应的所有拨测数据中的集中程度，然后根据集中程度选择待检测的拨测数据，从而可以对拨测数据进行初步筛选，剔除掉集中程度低的拨测数据，从而减少后续拨测数据状况的确定所消耗的工作量，提高检测效率。应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。附图说明附图用于更好地理解本方案，不构成对本申请的限定。其中：图1是根据本申请一实施例的数据处理方法示意图；图2是根据本申请另一实施例的数据处理方法示意图；图3是根据本申请另一实施例的数据处理方法示意图；图4是根据本申请另一实施例的数据处理方法示意图；图5是根据本申请一实施例的数据处理装置示意图；图6是根据本申请另一实施例的数据处理装置示意图；图7是根据本申请另一实施例的数据处理装置示意图；图8是根据本申请另一实施例的数据处理装置示意图；图9是用来实现本申请实施例的数据处理方法的电子设备的框图。具体实施方式以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。本申请实施例提供一种数据处理方法，如图1所示，包括：步骤S11：获取标签组合对应的拨测数据，标签组合对应的拨测数据具有标签组合中的所有标签；步骤S12：根据所获取的各拨测数据的正常异常状况，获取标签组合对应的正常异常状况的集中程度；步骤S13：根据各集中程度，选择待检测数据。在本实施例中，拨测数据具有多个标签，标签组合包括多个标签中的至少一个。标签为拨测数据的拨测源信息或者拨测数据的拨测目标信息，可对应拨测过程中的异常出现的来源。比如，标签可以为拨测源所在的省份、拨测目标所在的省份、拨测源的运营商、拨测目标的运营商等，对应的异常状况的来源可以为拨测源所在的省份、拨测目标所在的省份、拨测源的运营商、拨测目标的运营商等。在具体示例中，标签组合可以为拨测数据异常状况可能集中的标签的组合。比如，拨测源为A省份、拨测目标为B省份的10条拨测数据中有2条异常；拨测源为A省份、拨测目标为C省份的8条拨测数据中有3条异常，则标签“A省份”可以被确定为异常状况可能集中的标签组合。再如，拨测源为A省份、拨测源运营商为D公司、拨测目标为B省份、拨测目标运营商为E公司的10条拨测数据中有3条异常；拨测源为A省份、拨测源运营商为D公司、拨测目标为C省份、拨测目标运营商为F公司的8条拨测数据中有3条异常，则标签“A省份、D运营商”可以被确定为异常状况可能集中的标签组合。在具体操作中，如果标签组合为异常状况可能集中的标签组合，可先采用模型进行初步筛选，比如，将拨测数据输入模型，由模型对拨测数据进行分析，输出标签组合。为了节省计算量，可以在确定标签组合时，仅通过模型进行预测，而不计算具体的异常的拨测数据的在标签组合对应的所有拨测数据中的集中程度。标签组合包含的标签可能是拨测源对应的标签，也可能是拨测目标对应的标签，也可能既包含拨测源对应的标签也包含拨测目标对应的标签。标签组合也可以选择拨测源对应的任意标签，和/或拨测目标对应的任意标签。本实施例中，正常异常状况可以指拨测数据为正常的状况，或者拨测数据为异常的状况。根据所获取的各拨测数据的正常异常状况，获取标签组合对应的正常异常状况的集中程度，可以是获取标签组合对应的拨测数据中异常的拨测数据的集中程度。也可以是获取标签组合对应的拨测数据中正常的拨测数据的集中程度，然后根据正常的拨测数据的集中程度，计算出异常的拨测数据的集中程度。本实施例中，根据各集中程度，选择待检测数据，可以是选择集中程度高于设定阈值的拨测数据为待检测数据。还可以是将拨测数据中，集中程度低的标签组合的拨测数据剔除，将剩余的数据作为待检测数据。拨测的目的是为了检测拨测源或拨测目标是否存在异常。这些拨测通常包括：从全国各个省区市的各个运营商向服务入口进行拨测、从各服务所在机器或容器向依赖服务的机器或容器拨测。通过收集拨测数据进行分析，给出网络连通性检测结果。由于拨测源或拨测目标出现故障，均会表现为拨测数据异常。如果仅根据拨测数据是否异常来判断拨测源和拨测目标是否异常，可能出现拨测源和拨测目标中仅有一个存在异常而影响另一个的正常异常判断的问题。采用本实施例的数据处理方法，可将异常的拨测数据集中程度低的标签组合对应的拨测数据剔除，本文档来自技高网...

【技术保护点】
1.一种数据处理方法，包括：/n获取标签组合对应的拨测数据，所述标签组合对应的拨测数据具有所述标签组合中的所有标签；/n根据所获取的各拨测数据的正常异常状况，获取所述标签组合对应的正常异常状况的集中程度；/n根据各所述集中程度，选择待检测数据。/n

【技术特征摘要】
1.一种数据处理方法，包括：
获取标签组合对应的拨测数据，所述标签组合对应的拨测数据具有所述标签组合中的所有标签；
根据所获取的各拨测数据的正常异常状况，获取所述标签组合对应的正常异常状况的集中程度；
根据各所述集中程度，选择待检测数据。


2.根据权利要求1所述的方法，其中，所述根据所获取的各拨测数据的正常异常状况，获取所述标签组合对应的正常异常状况的集中程度，包括：
计算所述标签组合对应的拨测数据中异常的拨测数据的散度；
将所述散度作为所述集中程度。


3.根据权利要求2所述的方法，其中，所述计算所述标签组合对应的拨测数据中异常的拨测数据的散度，包括：
计算所述标签组合对应的拨测数据中正常的拨测数据的第一数量和异常拨测数据的第二数量；
计算所述第一数量占所述标签组合对应的拨测数据的总数量的第一比例，以及第二数量占所述标签组合对应的拨测数据的总数量的第二比例；
将所述第一比例和所述第二比例之间的海林格距离，作为所述标签组合对应的拨测数据中异常的拨测数据散度。


4.根据权利要求1至3中任一项所述的方法，其中，所述根据各所述集中程度，选择待检测数据，包括：
选择所述集中程度高于设定阈值的标签组合对应的异常的拨测数据，作为所述待检测数据。


5.根据权利要求1至3中任一项所述的方法，其中，还包括：
根据所述待检测数据，确定所述标签组合相关的拨测源和/或拨测目标是否异常。


6.根据权利要求1至3中任一项所述的方法，其中，所述标签组合包括下述标签中的至少之一：
拨测源的地址、拨测源的省份、拨测源的运营商、拨测目标的地址、拨测目标的省份、拨测目标的运营商、拨测源的数据中心、拨测目标的数据中心、拨测源的域名系统服务器、拨测目标的域名系统服务器、拨测源的域名系统解析结果和拨测目标的域名系统解析结果。


7.根据权利要求1至3中任一项所述的方法，其中，还包括：
收集拨测数据，所述拨测数据包括在拨测源与拨测目标之间进行拨测的数据；
标记所述拨测数据的状况信息以及标签，所述状况信息为正常或异常。


8.一种数据处理装置，包括：
拨测数据获取模块，用于获取标签组合对应的拨测数据，所述标签组合对应的拨测数据具有所述标签组合中的所有标签；
集中程度模块，用于根据所获取的各拨测数据的正常异常状况，获取所述标签组合对应的正常异...

【专利技术属性】
技术研发人员：李聪，陈宇，王博，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11