本申请提出了一种数据处理方法、装置及计算机设备，其中方法包括：获取对象流量集合，将其均匀划分为N个对象流量子集合；分别确定每个对象流量子集合的流量指标系数，根据N个对象流量子集合的流量指标系数确定N个对象流量子集合的原始均匀性；调用异常流量过滤策略对N个对象流量子集合分别进行过滤处理，得到正常对象流量子集合；分别确定每个正常对象流量子集合的流量指标系数，根据N个正常对象流量子集合的流量指标系数，确定过滤处理后的N个对象流量子集合的过滤均匀性；根据原始均匀性和过滤均匀性确定异常流量过滤策略的有效性。本申请可应用于云技术、人工智能、智慧平台等各种场景，可提高异常流量过滤策略有效性验证的准确性。的准确性。的准确性。
【技术实现步骤摘要】
数据处理方法、装置及计算机设备
[0001]本申请涉及计算机
，具体涉及一种数据处理方法、数据处理装置及计算机设备。
技术介绍
[0002]随着计算机技术的不断发展和应用，出现越来越多的不法分子，通过网络攻击入侵系统以谋取私利。为了保证系统的安全与稳定，可以利用数据处理技术对数据进行分析处理，识别恶意攻击行为，例如使用异常流量过滤策略对行为数据进行检测，识别异常行为。目前，在对异常流量过滤策略进行效果验证时，采用人工检测的方法，也即是由策略专家对异常流量过滤策略进行效果评估，该方法实施成本较高，对策略专家的经验和能力要求极高，且易受人主观因素的影响。因此，上述方法对异常流量过滤策略的有效性验证的准确性低，可信度低。
技术实现思路
[0003]本申请提供一种数据处理方法、数据处理装置及计算机设备，可以提高异常流量过滤策略的有效性验证的准确性和可信度。
[0004]本申请提供了一种数据处理方法，该方法包括：
[0005]获取对象流量集合，将上述对象流量集合均匀划分为N个对象流量子集合，N为正整数；分别确定每个对象流量子集合的流量指标系数，根据上述N个对象流量子集合的流量指标系数确定上述N个对象流量子集合的原始均匀性；调用异常流量过滤策略对上述N个对象流量子集合分别进行过滤处理，得到上述每个对象流量子集合对应的正常对象流量子集合；分别确定每个正常对象流量子集合的流量指标系数，根据N个正常对象流量子集合的流量指标系数，确定过滤处理后的N个对象流量子集合的过滤均匀性；根据上述原始均匀性和上述过滤均匀性确定上述异常流量过滤策略的有效性。
[0006]本申请提供了一种数据处理装置，该装置包括：
[0007]获取模块，用于获取对象流量集合，将上述对象流量集合均匀划分为N个对象流量子集合，N为正整数；
[0008]处理模块，用于分别确定每个对象流量子集合的流量指标系数，根据上述N个对象流量子集合的流量指标系数确定上述N个对象流量子集合的原始均匀性；
[0009]上述处理模块，还用于调用异常流量过滤策略对上述N个对象流量子集合分别进行过滤处理，得到上述每个对象流量子集合对应的正常对象流量子集合；
[0010]上述处理模块，还用于分别确定每个正常对象流量子集合的流量指标系数，根据N个正常对象流量子集合的流量指标系数，确定过滤处理后的N个对象流量子集合的过滤均匀性；
[0011]分析模块，用于根据上述原始均匀性和上述过滤均匀性确定上述异常流量过滤策略的有效性。
[0012]本申请提供了一种计算机设备，包括：存储器、处理器，其中，上述存储器上存储有数据处理程序，上述数据处理程序被上述处理器执行时实现如上述数据处理方法的步骤。
[0013]本申请提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序包括程序指令，上述程序指令被处理器执行，用以执行上述的数据处理方法的步骤。
[0014]本申请提供了一种计算机程序产品，上述计算机程序产品包括计算机程序或计算机指令，上述计算机程序或计算机指令被处理器执行，用以实现如上述的数据处理方法。
[0015]本申请是从数据集以及过滤策略本身出发验证过滤策略的有效性，可以避免因人工检测的主观因素带来的影响，准确度高，应用范围广；由于正常对象和异常对象的对象流量特征可以很好地在流量指标系数上体现出来，因此利用流量指标系数进行过滤策略的效性分析，可以有效提升分析结果的可信度；通过原始均匀性和过滤均匀性的比较，可以很好地表现对象流量集合在经过异常流量过滤策略处理前后的对象流量特征的变化情况，进而由变化情况来分析异常流量过滤策略的有效性，提高了异常流量过滤策略有效性验证的准确度，也进一步提升了有效性验证的可信度。
附图说明
[0016]为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0017]图1是本申请一个示例性实施例提供的一种数据处理系统的架构示意图；
[0018]图2是本申请一个示例性实施例提供的一种数据处理方法的流程示意图；
[0019]图3是本申请一个示例性实施例提供的另一种数据处理方法的流程示意图；
[0020]图4是本申请一个示例性实施例提供的一种异常流量过滤模型的结构图；
[0021]图5是本申请一个示例性实施例提供的一种数据处理装置的示意框图；
[0022]图6是本申请一个示例性实施例提供的一种计算机设备的示意框图。
具体实施方式
[0023]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0024]需要说明的是，本申请实施例中所涉及到的“第一”、“第二”等描述仅用于描述目的，而不能理解为指示或者暗示其相对重要性或者隐含指明所指示的技术特征的数量。因此，限定有“第一”、“第二”的技术特征可以明示或者隐含的包括至少一个该特征。
[0025]人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人
工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器学习/深度学习等几大方向。本申请实施例提供的方案涉及人工智能技术下属的大数据处理技术和机器学习等技术，下面将对大数据处理技术和机器学习技术进行叙述。
[0026]大数据处理技术(Big Data Processing)，就是从各种类型的数据中快速获得有价值信息的技术，通过对纷繁复杂的海量数据价值的提炼，并对其中最有价值的数据进行预测性分析，即可以通过数据可视化、统计模式识别、数据描述等数据挖掘处理形式帮助数据科学家更好的理解数据，根据数据处理的结果得出预测性决策。大数据领域已经涌现出了大量新的技术，它们成为大数据采集、存储、处理和呈现的有力武器。大数据处理技术通常包括大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用(大数据检索、大数据可视化、大数据应用、大数据安全等)等技术。本申请主要涉及大数据处理技术中的大数据采集、大数据预本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：获取对象流量集合，将所述对象流量集合均匀划分为N个对象流量子集合，N为正整数；分别确定每个对象流量子集合的流量指标系数，根据所述N个对象流量子集合的流量指标系数确定所述N个对象流量子集合的原始均匀性；调用异常流量过滤策略对所述N个对象流量子集合分别进行过滤处理，得到所述每个对象流量子集合对应的正常对象流量子集合；分别确定每个正常对象流量子集合的流量指标系数，根据N个正常对象流量子集合的流量指标系数，确定过滤处理后的N个对象流量子集合的过滤均匀性；根据所述原始均匀性和所述过滤均匀性确定所述异常流量过滤策略的有效性。2.根据权利要求1所述的方法，其特征在于，所述流量指标系数包括分发系数、转化率系数、下载系数中的一个或多个，目标对象流量子集合是所述N个对象流量子集合中的任一对象流量子集合，当所述流量指标系数包括分发系数、转化率系数和下载系数时，确定所述目标对象流量子集合的流量指标系数的过程，包括：对所述目标对象流量子集合中的对象流量进行识别，确定所述目标对象流量子集合的下载对象总数、下载应用总数和曝光对象总数；根据所述下载应用总数与和所述下载对象总数确定所述目标对象流量子集合的分发系数；根据所述下载对象总数和所述曝光对象总数确定所述目标对象流量子集合的转化率系数；根据所述下载应用总数和所述曝光对象总数确定所述目标对象流量子集合的下载系数。3.根据权利要求2所述的方法，其特征在于，所述根据所述N个对象流量子集合的流量指标系数确定所述N个对象流量子集合的原始均匀性，包括：从所述N个对象流量子集合的流量指标系数中确定最大流量指标系数和最小流量指标系数；根据所述最大流量指标系数和所述最小流量指标系数确定所述N个对象流量子集合的原始均匀性。4.根据权利要求3所述的方法，其特征在于，所述流量指标系数包括分发系数、转化率系数和下载系数中的多个时，所述最大流量指标系数包括第一最大系数和第二最大系数，所述第一最大系数和所述第二最大系数是最大分发系数、最大转化率系数和最大下载系数中的任意两个系数，所述最小流量指标系数包括第一最小系数和第二最小系数，所述第一最小系数和所述第二最小系数是最小分发系数、最小转化率系数和最小下载系数中的任意两个系数，所述根据所述最大流量指标系数和所述最小流量指标系数确定所述N个对象流量子集合的原始均匀性，包括：根据所述第一最大系数和所述第一最小系数，确定所述N个对象流量子集合的第一均匀性；根据所述第二最大系数和所述第二最小系数，确定所述N个对象流量子集合的第二均匀性；将所述第一均匀性和所述第二均匀性进行加权求和，得到所述N个对象流量子集合的
原始均匀性。5.根据权利要求2所述的方法，其特征在于...
【专利技术属性】
技术研发人员：曾庚卓，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。