网络请求自动分类方法及相关设备技术

本申请实施例提供一种网络请求自动分类方法，包括：接收网络请求；根据所述网络请求自身识别所述网络请求的类别；如果根据所述网络请求无法识别出所述网络请求的类别，将所述网络请求对应的网页的关键信息输入到第一分类器中，识别所述网络请求的类别；如果将所述网络请求对应的网页中的关键信息输入到第一分类器后无法识别出所述网络请求的类别，将所述网络请求对应的网页的内容输入到第二分类器中，识别所述网络请求的类别。本申请可以尽可能解决现有技术中无法同时保证网络请求的分类速度以及分类准确率的问题。本申请实施例还提供一种网络请求自动分类装置、电子设备及计算机可读存储介质。

Automatic Classification of Network Requests and Related Equipment

【技术实现步骤摘要】
网络请求自动分类方法及相关设备
本申请涉及网络安全领域，特别涉及网络请求自动分类方法及相关设备。
技术介绍
目前，很多企事业单位都会对员工的工作电脑上发出的网络请求做出管控：允许哪些类别的请求或者是禁止哪些类别的请求。因此，如何快速、准确地识别网络请求的类别就成为一个关键的问题。
技术实现思路
在相关的现有技术中，一种对网络请求的分类方法是：建立网络请求以及其类别的映射表，并在内存中保存该映射表。对于一个待分类的网络请求，在该映射表中进行匹配，如果有匹配项则直接返回其对应的类别。这种方法受内存等因素的限制，映射表中包含的网络请求数量是有限的，导致一些网络请求无法用映射表识别其类别。另一种对网络请求的分类方式是，在线下用机器学习的方法训练出一个基于网络请求对应的网页内容的分类器，然后将该分类器部署到线上。虽然基于分类的方式避免了使用映射表时无法识别网络请求的类别的问题，但是，完全基于机器学习的分类器很难做到同时具有很高的分类速度和很高的分类准确率。另一种对网络请求的分类方式是，将上述两个方式进行结合。即，对于一个待分类的网络请求，先在映射表中进行匹配，如果有匹配项则直接返回其对应的类别，否则发送网络请求到服务器以获取其对应的网页页面，然后对网页页面进行预处理后将处理获得的网页内容输入分类器中得到一个分类结果。但是，这种方式依然很难同时保证分类速度和分类准确率，并且，对于那些在分类映射中不存在的网络请求需要先在映射表中进行匹配，待匹配完成，确认映射表中不存在匹配项之后再向服务器发起请求来获取网页页面，这就大大的增加了系统的响应时间。有鉴于此，本申请提供网络请求自动分类方法及相关设备，以尽可能解决现有技术中无法同时保证网络请求的分类速度以及分类准确率的问题。具体地，本申请是通过如下技术方案实现的：一种网络请求自动分类方法，包括：接收网络请求；根据所述网络请求自身识别所述网络请求的类别；如果根据所述网络请求无法识别出所述网络请求的类别，将所述网络请求对应的网页的关键信息输入到第一分类器中，识别所述网络请求的类别；如果将所述网络请求对应的网页中的关键信息输入到第一分类器后无法识别出所述网络请求的类别，将所述网络请求对应的网页的内容输入到第二分类器中，识别所述网络请求的类别。一种网络请求自动分类装置，包括：接收单元，用于接收网络请求；第一判别单元，用于根据所述网络请求自身识别所述网络请求的类别；第二判别单元，用于如果根据所述网络请求无法识别出所述网络请求的类别，将所述网络请求对应的网页的关键信息输入到第一分类器中，识别所述网络请求的类别；第三判别单元，用于如果将所述网络请求对应的网页中的关键信息输入到第一分类器后无法识别出所述网络请求的类别，将所述网络请求对应的网页的内容输入到第二分类器中，识别所述网络请求的类别。一种电子设备，所述电子设备包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现前述的网络请求自动识别方法。一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述的网络请求自动识别方法。由以上本申请提供的技术方案可见，由以上本申请提供的技术方案可见，本申请中采用分层的思想较好的解决了网络请求分类过程中速度、准确率和全面性之间存在的矛盾。对于访问频率较高的网络请求和主流网站的网络请求使用第一层判别器可以快速的判别出其类别，其它的网络请求则需用第二层或第三层判别器根据网络请求对应的网页进行判别。这样可以在分类速度、准确率和全面性上取得一个良好的平衡。另外，在第一层判别器和第二层判别器之间采用的异步关联方式可以有效减少判别系统的响应时间。由于第二层判别器和第三层判别器需要用到网络请求对应的网页，所以就需要发送请求到服务器然后等待请求的网页返回。如果等待第一层判别器判别完成之后再发起请求就会使系统的响应时间过大。在本专利技术中，先将网络请求发往远端服务器，然后开始在第一层判别器中进行判别，待请求的网页返回时第一层判别器也已经完成了判别，这样就减少了等待的时间，也就减少了系统的响应时间。附图说明图1为本申请示出的处理网络请求的网络架构示意图；图2位本申请示出的网络请求自动分类的框架图；图3为本申请示出的一种网络请求自动分类方法的流程图；图4为本申请示出的一种网络请求自动分类装置的结构框图；图5为本申请示出的另一种网络请求自动分类装置的结构框图；图6为本申请示出的第一判别单元的结构框图；图7为本申请示出的一种电子设备的结构框图；图8为实现根据本申请示出的网络请求自动分类方法的计算机系统的结构示意图。具体实施方式这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。请参见图1，其为本申请示出的处理网络请求的网络架构示意图。该网络架构中包括用户主机10、网络设备20和服务器30。其中，用户要浏览网页时，可以通过用户主机10发送网络请求，并经过网络设备20的分类，确定该网络请求的类别，根据识别出的类别对该网络请求进行处理，处理后再转发给服务器30。如，根据网络请求的类别进行过滤处理，即，过滤掉被禁止的网络请求，而保留被允许的网络请求并转发给服务器30。本申请提供的方法可以应用在网络设备20中，当网络设备20接收到用户主机10发送的网络请求(如图1中的箭头①所示)时，识别该网络请求的类别，根据识别出的类别对该网络请求过滤处理。例如某公司不允许网络聊天，而如果识别出的类别为聊天类，网络设备20禁止该网络请求(如图1中的箭头②所示)，如果识别出的类别不是聊天类，网络设备20放行该网络请求，将并该网络请求转发给服务器30(如图1中的箭头③所示)，服务器30根据网络请求进行响应，并将响应结果返回给网络设备20(如图1中的箭头④所示)，网络设备20将该响应结果进一步返回给用户主机10(如图1中的箭头⑤所示)。当网络设备20识别网络请求的类别时，在相关的现有技术中，无论是采用分类器的方式，还是采用将分类器和映射表结合的方式，都很难同时保证分类速度和分类准确率。为了解决上述问题，本申请实施例提供了一种网络请求的自动识别方案。一个完整的请求通常包含两部分：发起请求、接收响应。根据这个特点，本申本文档来自技高网...

【技术保护点】
1.一种网络请求自动分类方法，其特征在于，包括：接收网络请求；根据所述网络请求自身识别所述网络请求的类别；如果根据所述网络请求无法识别出所述网络请求的类别，将所述网络请求对应的网页的关键信息输入到第一分类器中，识别所述网络请求的类别；如果将所述网络请求对应的网页中的关键信息输入到第一分类器后无法识别出所述网络请求的类别，将所述网络请求对应的网页的内容输入到第二分类器中，识别所述网络请求的类别。

【技术特征摘要】
1.一种网络请求自动分类方法，其特征在于，包括：接收网络请求；根据所述网络请求自身识别所述网络请求的类别；如果根据所述网络请求无法识别出所述网络请求的类别，将所述网络请求对应的网页的关键信息输入到第一分类器中，识别所述网络请求的类别；如果将所述网络请求对应的网页中的关键信息输入到第一分类器后无法识别出所述网络请求的类别，将所述网络请求对应的网页的内容输入到第二分类器中，识别所述网络请求的类别。2.根据权利要求1所述的方法，其特征在于，还包括：在根据网络请求自身识别所述网络请求的类别时，从服务器获取所述网络请求对应的网页，对所述网页进行预处理，得到所述网络请求对应的网页的关键信息和内容。3.根据权利要求1或2所述的方法，其特征在于，所述网页的关键信息包括网页的摘要和标题中的至少一个。4.根据权利要求1或2所述的方法，其特征在于，还包括：在将所述网络请求对应的网页的关键信息输入到第一分类器中，识别所述网络请求的类别后，判断所述第一分类器将所述网络请求识别为所述类别的概率是否大于或等于预先设置的所述类别的判别阈值，如果是，认定将所述网络请求对应的网页中的关键信息输入到第一分类器后识别出了所述网络请求的类别，如果否，认定将所述网络请求对应的网页中的关键信息输入到第一分类器后无法识别出所述网络请求的类别。5.根据权利要求1所述的方法，其特征在于，所述根据所述网络请求自身识别所述网络请求的类别，包括：从分类库中查找与所述网络请求映射的类别，其中，所述分类库中预先设置有网络请求与类别之间的映射关系；如果分类库中查找不到与所述网络请求映射的类别，从特征库中查找与所述网络请求携带的类别信息映射的类别，其中，所述特征库中预先设置有网络请求携带的类别信息与类别时间的映射关系。6.根据权利要求1所述的方法，其特征在于，还包括：根据识别出的类别对所述网络请求进行处理。7.一种网络请求自动分类装置，其特征在于，包括：接收单元，用于接收网络请求；第一判别单元，用于根据所述网络请求自身识别所述网络请求的类别；第二判别单元，用于如果根据所述网络请求无法识别出所述网络请求的类别，将所述网络请求对应的网页的关键信息输...

【专利技术属性】
技术研发人员：谭天，徐宇啸，
申请(专利权)人：杭州迪普科技股份有限公司，
类型：发明
国别省市：浙江,33