网页安全检测方法、装置、设备及介质制造方法及图纸

本发明专利技术实施例公开了一种网页安全检测方法、装置、设备及介质。该方法包括：获取待检测网页流量，所述待检测网页流量中包括多个待检测网页；对所述待检测网页流量中的各待检测网页逐个进行流量检测，得到与每个所述待检测网页分别对应的访问日志；根据所述访问日志，生成与所述待检测网页流量对应的访问日志清单；根据所述访问日志清单确定未被安全检测过的多个目标检测网页，并对各目标检测网页进行网页安全检测。上述技术方案实现了对新增的未检测网页进行网页安全检测，节省了系统资源，并且提高了检测效率。

【技术实现步骤摘要】
网页安全检测方法、装置、设备及介质
本专利技术实施例涉及网络安全
，尤其涉及一种网页安全检测方法、装置、设备及介质。
技术介绍
随着互联网技术的快速发展，网络上充斥着大量的仿冒、诈骗、赌博和色情等非法网站，由于普通群众在使用互联网时无法对这些非法网站进行有效的风险鉴别，导致用户在使用互联网时存在严重网络安全风险，特别是近年来互联网诈骗行为猖獗，使国家和公民都面临着巨大的财产损失。为了能快速对非法网站进行批量关停和封堵，从而可以最大程度保护人民群众的网络安全，网页安全检测始终是网络安全
的重要议题。目前，在进行网页安全检测时，尤其是面对海量的网页流量时，通常是直接对网页或网页源文件逐一进行检测，导致部分网页会被重复检测，难以基于新增的非法网页进行安全检测，浪费了系统资源，并且降低了检测效率。因此，如何实现对新增的未检测网页进行网页安全检测，节省系统资源，并提高检测效率是亟待解决的问题。
技术实现思路
本专利技术实施例提供一种网页安全检测方法、装置、设备及介质，以实现对新增的未检测网页进行网页安全检测进行网页安全检测，节省系统资源，并提高检测效率。第一方面，本专利技术实施例提供了一种网页安全检测方法，包括：获取待检测网页流量，所述待检测网页流量中包括多个待检测网页；对所述待检测网页流量中的各待检测网页逐个进行流量检测，得到与每个所述待检测网页分别对应的访问日志；根据所述访问日志，生成与所述待检测网页流量对应的访问日志清单；根据所述访问日志清单确定未被安全检测过的多个目标检测网页，并对各目标检测网页进行网页安全检测第二方面，本专利技术实施例还提供了一种网页安全检测装置，包括：待检测网页流量获取模块，用于获取待检测网页流量，所述待检测网页流量中包括多个待检测网页；访问日志生成模块，用于对所述待检测网页流量中的各待检测网页逐个进行流量检测，得到与每个所述待检测网页分别对应的访问日志；访问日志清单生成模块，用于根据所述访问日志，生成与所述待检测网页流量对应的访问日志清单；目标检测网页确定及网页安全检测模块，用于根据所述访问日志清单确定未被安全检测过的多个目标检测网页，并对各目标检测网页进行网页安全检测。第三方面，本专利技术实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本专利技术任意实施例所述的网页安全检测方法。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术任意实施例所述的网页安全检测方法。本专利技术实施例提供的技术方案中，获取待检测网页流量，对其中包括的多个待检测网页逐个进行流量检测，得到与每个待检测网页分别对应的访问日志，然后根据访问日志生成与待检测网页流量对应的访问日志清单，再根据访问日志清单确定未被安全检测过的多个目标检测网页，并对各目标检测网页进行网页安全检测，实现了对新增的未检测网页进行网页安全检测，节省了系统资源，并且提高了对网页的安全检测效率。附图说明图1a是本专利技术实施例一中的一种网页安全检测方法的流程示意图；图1b是本专利技术实施例一中的一种生成访问日志清单的时序图；图1c是本专利技术实施例一中的一种确定目标检测网页的时序图；图2a是本专利技术实施例二中的一种网页安全检测方法的流程示意图；图2b是本专利技术实施例二中的一种网页安全检测的逻辑关系示意图；图3a是本专利技术实施例三中的一种网页安全检测方法的流程示意图；图3b是本专利技术实施例三中的一种通过网页数据获取引擎提取目标网页检测数据的时序图；图3c是本专利技术实施例三中的一种提取目标网页检测数据的流程示意图；图3d是本专利技术实施例三中的一种HTML文件的解析内容对比示意图；图3e是本专利技术实施例三中的一种通过网页数据检测引擎检测目标检测网页的时序图；图3f是本专利技术实施例三中的一种对异常网页进行存活性检测的时序图；图4是本专利技术实施例四中的一种网页安全检测装置的结构示意图；图5是本专利技术实施例五中的一种计算机设备的硬件结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。实施例一图1a是本专利技术实施例一提供的一种网页安全检测方法的流程图，本专利技术实施例可适用于确定待检测网页流量中新增的未被检测过的网页并对其进行网页安全检测的情况，该方法可以由本专利技术实施例提供的网页安全检测装置来执行，该装置可采用软件和/或硬件的方式实现，并一般可集成在计算机设备中。如图1a所示，本实施例提供的一种网页安全检测方法，具体包括：S110、获取待检测网页流量，待检测网页流量中包括多个待检测网页。网页流量，指的是一组包含多个网页的集合。待检测网页流量，指的是需要进行网页安全检测的网页流量。待检测网页，指的是需要检测其是否为安全网页或非法网页的网页。在本专利技术实施例中，可以采用对原始网页流量进行分光的方式实时获取待检测网页流量，或者通过外部导入的方式获取待检测网页流量。其中，分光，指的是通过分光器对原始网页流量复制分发，将通过分光方式得到的实时网页流量作为待检测网页流量。获取包含多个待检测网页的待检测网页流量。S120、对待检测网页流量中的各待检测网页逐个进行流量检测，得到与每个待检测网页分别对应的访问日志。流量检测，用于确定与待检测网页对应的访问日志。访问日志，指的是记录网页访问记录等网页运营情况的文件。逐一对待检测网页流量中的各待检测网页进行流量检测，得到每个待检测网页对应的实时访问日志。例如，逐一对用户实时访问的网页域名进行解析，得到实时访问日志。S130、根据访问日志，生成与待检测网页流量对应的访问日志清单。其中，访问日志清单，指的是包含所有待检测网页对应的访问日志的清单。作为一种具体的实施方式，如附图1b提供的一种生成访问日志清单的时序图，获取待检测网页流量，并对待检测网页流量中各待检测网页对应的域名进行分析，分析完成后可以反馈该待检测网页流量的质量(如网页的主要内容等信息)，同时逐一根据待检测网页的域名进行流量检测，得到与各待检测网页对应的实时访问日志，再将得到的所有访问日志进行整理，生成与多个待检测网页流量本文档来自技高网...

【技术保护点】
1.一种网页安全检测方法，其特征在于，包括：/n获取待检测网页流量，所述待检测网页流量中包括多个待检测网页；/n对所述待检测网页流量中的各待检测网页逐个进行流量检测，得到与每个所述待检测网页分别对应的访问日志；/n根据所述访问日志，生成与所述待检测网页流量对应的访问日志清单；/n根据所述访问日志清单确定未被安全检测过的多个目标检测网页，并对各目标检测网页进行网页安全检测。/n

【技术特征摘要】
1.一种网页安全检测方法，其特征在于，包括：
获取待检测网页流量，所述待检测网页流量中包括多个待检测网页；
对所述待检测网页流量中的各待检测网页逐个进行流量检测，得到与每个所述待检测网页分别对应的访问日志；
根据所述访问日志，生成与所述待检测网页流量对应的访问日志清单；
根据所述访问日志清单确定未被安全检测过的多个目标检测网页，并对各目标检测网页进行网页安全检测。


2.根据权利要求1所述的方法，其特征在于，根据所述访问日志清单确定未被安全检测过的多个目标检测网页，包括：
根据预设的黑白名单对所述访问日志清单进行过滤；
将过滤后的结果与历史访问记录进行匹配，确定未存在于所述历史访问记录中的多个目标检测网页。


3.根据权利要求2所述的方法，其特征在于，对各目标检测网页进行网页安全检测，包括：
建立多个进程，并在每个进程中建立多个线程；
为每个线程分配一个目标检测网页，并通过每个线程对所分配的目标检测网页进行网页安全检测。


4.根据权利要求2所述的方法，其特征在于，对各目标检测网页进行网页安全检测，包括：
提取当前处理的目标检测网页中的目标网页检测数据；
将所述目标网页检测数据与各非法网页类型分别对应的网页安全检测模板进行匹配；
如果所述目标网页检测数据仅与目标网页安全检测模板相匹配，则将所述目标网页安全检测模板的非法网页类型，确定为所述目标检测网页的安全检测结果。


5.根据权利要求4所述的方法，其特征在于，在将所述目标网页安全检测模板的非法网页类型，确定为所述目标检测网页的安全检测结果之后，还包括：
根据所述目标网页检测数据，动态更新所述目标网页安全检测模板。


6.根据权利要求4所述的方法...

【专利技术属性】
技术研发人员：王方圆，尚程，金红，陈晓光，蔡琳，杨满智，刘长永，傅强，王杰，梁彧，田野，
申请(专利权)人：恒安嘉新北京科技股份公司，
类型：发明
国别省市：北京;11