一种网站监测的方法及装置制造方法及图纸

本发明专利技术公开了一种网站监测的方法及装置，包括：获取待监测网站的网页，然后根据网络爬虫的爬取深度和/或搜索引擎收录的网页更新时间确定出各网页的关键指数，再根据各网页的关键指数确定出各网页的关键度，并进行排序；再将排序后的各网页放入预设层数的待监测网页金字塔，再根据预设的基准监测周期，确定出待监测网页金字塔中各层的监测周期以及各层的监测周期对应的监测网页数量，并通过滑动监测网页的方式对所述待监测网页金字塔中各层的网页进行监测，实现针对不同关键度的网页进行不同监测周期的监测，自适应的调节监测网页的周期及数量，并降低了监测网页的资源消耗和成本。

【技术实现步骤摘要】
一种网站监测的方法及装置
本专利技术涉及网络安全领域，尤其涉及一种网站监测的方法及装置。
技术介绍
网站监测提供了网站漏洞、网站挂马实时监控、网站篡改实时监控等服务。对于给定的网络站点，通过网络爬虫等方法抓取网络站点的网页，然后根据抓取的网页确定出待监测的目标网页，再按照预设的频率对目标网页进行监测。现有技术中，网页挂马监测和网页信息篡改监测的实时性要求较高，以网页信息篡改监测为例，用户希望监测的网页数量多，频率高，以第一时间发现某网页的异常篡改数据。而监测服务提供商会希望降低监测的网页数量及频率，以此降低资源消耗和成本。目前的方法是通过参数配置的方式确定监测网页的数量及频率，但该方法存在一定的随意性，无法自适应的调节监测网页的数量及频率。
技术实现思路
本专利技术实施例提供一种网站监测的方法及装置，用于实现自适应的调节监测网页的数量及频率，提升监测范围。第一方面，本专利技术实施例提供一种网站监测的方法，包括：获取待监测网站的网页；所述网页是通过网络爬虫爬取和/或搜索引擎收录得到的；根据网络爬虫的爬取深度和/或搜索引擎收录的网页更新时间确定出各网页的关键指数；根据所述各网页的关键指数确定出所述各网页的关键度，并进行排序；将排序后的各网页放入预设层数的待监测网页金字塔；所述待监测网页金字塔中每一层放入网页的数量是由预设指数函数确定的；根据预设的基准监测周期，确定出所述待监测网页金字塔中各层的监测周期以及各层的监测周期对应的监测网页数量；根据所述待监测网页金字塔中各层的监测周期以及各层的监测周期对应的监测网页数量，通过滑动监测网页的方式对所述待监测网页金字塔中各层的网页进行监测。上述技术方案中，根据各网页的关键度对各网页进行排序，并根据排序的结果依次将网页存入到预设层数的待监测网页金字塔中，然后根据预设的基准监测周期确定出每一层的监测周期，实现自适应的调节待监测网页金字塔中各层的监测网页的周期，根据确定出的待监测网页金字塔的每一层的监测网页数量，实现自适应的调节待监测网页金字塔中各层的监测网页的数量，降低了监测网页的资源消耗和成本。且可以在既定的有限的资源消耗情况下，自适应的针对待监测网页金字塔中各层网页进行不同数量的网页监测。可选的，所述根据网络爬虫的爬取深度和/或搜索引擎收录的网页更新时间确定出各网页的关键指数，包括：根据网络爬虫的广度优先方法的爬取深度，确定出所述各网页中的父页面与子页面的关系；并根据所述各网页中父页面与子页面的关系确定出所述各网页的第一关键指数；所述父页面的第一关键指数与第一预设值的和为所述子页面的第一关键指数；和/或根据所述各网页在所述搜索引擎中收录的网页更新时间，得到所述各网页的网页更新时间距离当前时间的时间差，并根据所述时间差确定出所述各网页的第二关键指数；对所述各网页的第一关键指数和所述各网页的第二关键指数进行去重得到所述各网页的关键指数；其中，所述时间差与所述第二关键指数符合公式(1)；所述公式(1)为：其中KI(Δt)为所述各网页的第二关键指数；Δt为所述各网页的网页更新时间距离当前时间的时间差。上述技术方案中，确定网页的关键指数有两种方法，一方面是根据网络爬虫的广度优先，确定出各网页中之间的父子页面关系，并根据各网页中之间的父子页面关系确定出各网页的第一关键指数；另一方面是根据各网页的网页更新时间距离当前时间的时间差确定出各网页的第二关键指数，然后进行去重后得到各网页的关键指数，以提升确定各网页的关键指数的准确性，进而提升网页监测的效果。可选的，所述对所述各网页的第一关键指数和所述各网页的第二关键指数进行去重得到所述各网页的关键指数，包括：若网页存在所述第一关键指数和所述第二关键指数，则判断所述第一关键指数是否大于所述第二关键指数，若是，则将所述第一关键指数确定为所述网页的关键指数，否则将所述第二关键指数确定为所述网页的关键指数；若网页存在所述第一关键指数或所述第二关键指数，则将所述第一关键指数或所述第二关键指数确定为所述网页的关键指数。上述技术方案中，通过判断网页是否存在通过两种方式得到的第一关键指数和第二关键指数，若存在，则通过判断两者的大小进行去重，进而确定出网页最终的关键指数，以提升确定各网页的关键指数的准确性，进而提升网页监测的效果。可选的，所述根据所述各网页的关键指数确定出所述各网页的关键度，并进行排序，包括：将所述各网页的关键指数的倒数确定为所述各网页的关键度；根据所述各网页的关键度的大小，将所述各网页按照所述关键度从大到小的顺序进行排序。上述技术方案中，通过关键指数确定出各网页的关键度，并根据关键度对各网页进行排序，以根据网页的关键度设置对应的监测周期，实现自适应的调节监测网页的周期。可选的，所述由预设指数函数确定所述待监测网页金字塔中每一层放入网页的数量，包括：根据所述待监测网站的网页的总数量以及所述待监测网页金字塔可存放网页的第二预设值数量确定出所述网站的规模系数；根据所述规模系数和预设指数函数确定出所述待监测网页金字塔中每一层放入网页的数量；所述规模系数符合公式(2)；所述公式(2)为：其中，α为所述待监测网站的规模系数；Stotal为所述网站的网页的数量；S为所述待监测网页金字塔可存放网页的第二预设值数量；所述待监测网页金字塔中每一层放入网页的数量符合公式(3)；所述公式(3)为：Sl＝α*2l……………………………………………………………(3)；其中，Sl为所述待监测网页金字塔的第l层可存放的网页的数量；α为所述网站的规模系数；2l为预设指数函数；l为所述待监测网页金字塔的第l层。上述技术方案中，根据待监测网站的规模系数和待监测网页金字塔可存放网页的第二预设值数量确定出待监测网页金字塔中每一层放入网页的数量，以使待监测网站的网页可以全部存放至待监测网页金字塔，以提升待监测网站的网页的监测效果。可选的，所述确定出所述待监测网页金字塔中各层的监测周期以及各层的监测周期对应的监测网页数量，包括：根据所述预设的基准监测周期和所述预设的指数函数确定出所述待监测网页金字塔中各层的监测周期；根据所述待监测网页金字塔的层数和所述预设的指数函数确定出所述各层的监测周期对应的监测网页数量；所述待监测网页金字塔中各层的监测周期符合公式(4)；所述公式(4)为：Tl＝Tbasic*2l………………………………………………………(4)；其中，Tl为所述待监测网页金字塔中第l层的监测周期；Tbasic为所述预设的基准监测周期；2l为预设指数函数；l为所述待监测网页金字塔的第l层；所述各层的监测周期对应的监测网页数量符合公式(5)；所述公式(5)为：Ptl＝2l…………………………………………………………(5)；其中，Ptl为本文档来自技高网...

【技术保护点】
1.一种网站监测的方法，其特征在于，包括：/n获取待监测网站的网页；所述网页是通过网络爬虫爬取和/或搜索引擎收录得到的；/n根据网络爬虫的爬取深度和/或搜索引擎收录的网页更新时间确定出各网页的关键指数；/n根据所述各网页的关键指数确定出所述各网页的关键度，并进行排序；将排序后的各网页放入预设层数的待监测网页金字塔；所述待监测网页金字塔中每一层放入网页的数量是由预设指数函数确定的；/n根据预设的基准监测周期，确定出所述待监测网页金字塔中各层的监测周期以及各层的监测周期对应的监测网页数量；/n根据所述待监测网页金字塔中各层的监测周期以及各层的监测周期对应的监测网页数量，通过滑动监测网页的方式对所述待监测网页金字塔中各层的网页进行监测。/n

【技术特征摘要】
1.一种网站监测的方法，其特征在于，包括：
获取待监测网站的网页；所述网页是通过网络爬虫爬取和/或搜索引擎收录得到的；
根据网络爬虫的爬取深度和/或搜索引擎收录的网页更新时间确定出各网页的关键指数；
根据所述各网页的关键指数确定出所述各网页的关键度，并进行排序；将排序后的各网页放入预设层数的待监测网页金字塔；所述待监测网页金字塔中每一层放入网页的数量是由预设指数函数确定的；
根据预设的基准监测周期，确定出所述待监测网页金字塔中各层的监测周期以及各层的监测周期对应的监测网页数量；
根据所述待监测网页金字塔中各层的监测周期以及各层的监测周期对应的监测网页数量，通过滑动监测网页的方式对所述待监测网页金字塔中各层的网页进行监测。


2.如权利要求1所述的方法，其特征在于，所述根据网络爬虫的爬取深度和/或搜索引擎收录的网页更新时间确定出各网页的关键指数，包括：
根据网络爬虫的广度优先方法的爬取深度，确定出所述各网页中的父页面与子页面的关系；并根据所述各网页中父页面与子页面的关系确定出所述各网页的第一关键指数；所述父页面的第一关键指数与第一预设值的和为所述子页面的第一关键指数；和/或
根据所述各网页在所述搜索引擎中收录的网页更新时间，得到所述各网页的网页更新时间距离当前时间的时间差，并根据所述时间差确定出所述各网页的第二关键指数；
对所述各网页的第一关键指数和所述各网页的第二关键指数进行去重得到所述各网页的关键指数。


3.如权利要求2所述的方法，其特征在于，所述对所述各网页的第一关键指数和所述各网页的第二关键指数进行去重得到所述各网页的关键指数，包括：
若网页存在所述第一关键指数和所述第二关键指数，则判断所述第一关键指数是否大于所述第二关键指数，若是，则将所述第一关键指数确定为所述网页的关键指数，否则将所述第二关键指数确定为所述网页的关键指数；
若网页存在所述第一关键指数或所述第二关键指数，则将所述第一关键指数或所述第二关键指数确定为所述网页的关键指数。


4.如权利要求1所述的方法，其特征在于，所述根据所述各网页的关键指数确定出所述各网页的关键度，并进行排序，包括：
将所述各网页的关键指数的倒数确定为所述各网页的关键度；
根据所述各网页的关键度的大小，将所述各网页按照所述关键度从大到小的顺序进行排序。


5.如权利要求1所述的方法，其特征在于，所述由预...

【专利技术属性】
技术研发人员：张龙，王萌，黑岩，刘鑫，王向前，
申请(专利权)人：绿盟科技集团股份有限公司，北京神州绿盟科技有限公司，
类型：发明
国别省市：北京;11