互联网业务变更检测方法及系统技术方案

本发明专利技术公开了一种互联网业务变更检测方法及系统，该方法包括：对网站业务进行多维度数据采集；针对每个维度进行差异评分；采用综合评估算法对所有维度的差异评分进行综合运算，从而判断是否发生业务变更。由此可以在低成本的前提下准确地对业务变更进行自动化检测。

【技术实现步骤摘要】
互联网业务变更检测方法及系统
本专利技术涉及网络检测
，尤其涉及互联网业务变更检测方法及系统。
技术介绍
监控互联网业务是否有变更，是黑盒安全测试和安全控制体系中非常重要的一环，直接影响安全措施的覆盖率。目前对于业务变更的检测识别，常用以下方法：(1)通过代码管理系统进行检测：优点是可以识别细小变更，并且可以获取源代码进行白盒安全审计。缺点是代码变更并不代表线上业务发生变更，且业务变更通常有一定滞后性；其次，代码管理系统通常由开发部门运营管理，和安全系统对接需要额外成本，尤其是代码没有统一管理的情况下成本更大。(2)通过版本发布系统进行检测：可以同步版本发布系统的数据，优点是版本变更识别准确有效，但中小型公司，不一定有统一的业务版本发布系统。(3)通过人工提测：优点是准确，缺点是容易导致遗漏。因此目前尚缺乏一种准确性好，运营成本低的业务变更的自动化检测方法。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种互联网业务变更检测方法及系统，以解决如何在低成本的前提下准确地对业务变更进行自动化检测的问题。为实现上述目的，本专利技术提供一种互联网业务变更检测方法，该方法包括步骤：对网站业务进行多维度数据采集；针对每个维度进行差异评分；及采用综合评估算法对所有维度的差异评分进行综合运算，从而判断是否发生业务变更。优选地，所述多维度包括页面Dom树结构、页面加载资源、CGI参数、网站拓扑关系、文件对比。优选地，所述综合评估算法包括基于参考维度的方式和基于权重的方式。优选地，当基于参考维度时，所述采用综合评估算法对所有维度的差异评分进行综合运算，从而判断是否发生业务变更的步骤具体包括：设置综合评估业务变更的参考维度和评估规则；获取每个参考维度对应的差异评分；根据所述差异评分判断每个参考维度是否存在变化；根据判断结果和所述评估规则确定所述网站是否发生业务变更。优选地，当基于权重时，所述采用综合评估算法对所有维度的差异评分进行综合运算，从而判断是否发生业务变更的步骤具体包括：获取每个维度对应的差异评分；对每个维度的差异评分数据进行标准化；采用线性回归方式得出每个维度的权重；根据每个维度的差异评分和对应权重进行加权求和，计算总差异度；根据计算出的总差异度判断该网站是否发生业务变更。优选地，该方法还包括步骤：当判断出发生业务变更时，判断所述变更是否匹配白名单；当所述变更未包含在白名单中时，记录所述变更的信息并向用户进行报告。本专利技术提出的互联网业务变更检测方法，可以以一种运营成本较低，准确率较高的方式监控网站业务变更，以提高安全检测覆盖率，减少遗漏，并且可以优化黑盒检测的调度效率和响应速度。为实现上述目的，本专利技术还提出一种互联网业务变更检测系统，该系统包括：采集模块，用于对网站业务进行多维度数据采集；评分模块，用于针对每个维度进行差异评分；计算模块，用于采用综合评估算法对所有维度的差异评分进行综合运算，从而判断是否发生业务变更。优选地，所述多维度包括页面Dom树结构、页面加载资源、CGI参数、网站拓扑关系、文件对比。优选地，所述综合评估算法包括基于参考维度的方式和基于权重的方式。优选地，该系统还包括：匹配模块，用于当判断出发生业务变更时，判断所述变更是否匹配白名单；报告模块，用于当所述变更未包含在白名单中时，记录所述变更的信息并向用户进行报告。本专利技术提出的互联网业务变更检测系统，可以以一种运营成本较低，准确率较高的方式监控网站业务变更，以提高安全检测覆盖率，减少遗漏，并且可以优化黑盒检测的调度效率和响应速度。附图说明图1为本专利技术第一实施例提出的一种互联网业务变更检测方法的流程图；图2为基于参考维度时图1中步骤S104的具体流程图；图3为基于权重时图1中步骤S104的具体流程图；图4为本专利技术第二实施例提出的一种互联网业务变更检测方法的流程图；图5为本专利技术第三实施例提出的一种互联网业务变更检测系统的模块示意图；本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式为了使本专利技术所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图和实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。第一实施例如图1所示，本专利技术第一实施例提出一种互联网业务变更检测方法，该方法包括以下步骤：S100，对网站业务进行多维度数据采集。具体地，会从多个维度采集数据，然后将多维度的对比结果进行组合或者评分，从整体上降低单维度检测可能导致的误报。并且在少量维度缺失的情况下，还能保证一定的可用性。例如有的企业，因为权限敏感等原因，不允许主机agent(代理)采集数据，就会造成少量维度缺失。所述多维度包括页面Dom(DocumentObjectModel，文档对象模型)树结构、页面加载资源、CGI(CommonGatewayInterface，通用网关接口)参数、网站拓扑关系、文件对比等。S102，针对每个维度进行差异评分。具体地，所述差异评分是使用同一个页面、站点或CGI的新采集数据和历史数据进行对比。本实施例中的所有采集和评分数据均可保存在数据库等存储单元中。针对页面Dom树结构的差异评分，旨在判断两个页面结构差异大小。在本实施例中，采用广度遍历策略，标识出每层树结构的区别，从根节点到叶节点，Dom树结构差异的权重逐级下降。例如，1层节点差异度权重设置为10，2级节点则设置为9或者更低(依据运营效果调整)。最后根据每层Dom树节点数量乘以权重得出页面Dom树结构的差异评分。Dom树结构的差异评分分为静态树结构解析和动态树结构解析两种方式。静态方式需要拉取Html页面并用程序解析Dom树结构。动态方式采用phantomjs加载页面，待页面加载完成后特定时间内，输出Dom树结构。针对页面加载资源的差异评分，在本实施例中特指页面在载入时，引入的CSS(CascadingStyleSheets，层叠样式表)、JS(JavaScript)、图片等静态资源。当业务变更时，页面加载的静态资源很有可能同步变更。对比方式为比较静态文件的MD5(MessageDigestAlgorithmMD5，消息摘要算法5)。其中，JS，CSS资源有较高的权重，图片资源权重较低。针对CGI参数的差异评分，采用webcrawler(网络爬虫)技术获取站点中的CGI参数，记录CGI参数列表和参数格式(比如数字、字符串、日期、token等)。CGI的参数列表发生变更或者参数格式发生变更时，认为CGI参数有变化。在本实施例中，不同的CGI参数的评分权重默认相同，也可配置某些特定参数具有高权重的评分，最终输出一个参数列表变化和参数格式变化的评分。针对网站拓扑关系的差异评分，可以有两种获取方式，一种是通过站点的sitemap(网页地图，有的站点可能没有)确定，另一种是通过网络爬虫技术获取站点结构时，页面和CGI之间的refer关系来确定。在本实施例中，为简化比较算法的复杂度，拓扑关系采用树形结构比较，以站点首页作为根节点，进行广度遍历。如果一个页面或者CGI已经出现过，则认为这条分支已经走到叶节点(避免循环)。网站拓扑关系差异的总评分，采用和上述Dom树结构的差异评分同样的权重分配方式，进行加权算分。针本文档来自技高网...

【技术保护点】
一种互联网业务变更检测方法，其特征在于，该方法包括步骤：对网站业务进行多维度数据采集；针对每个维度进行差异评分；及采用综合评估算法对所有维度的差异评分进行综合运算，从而判断是否发生业务变更。

【技术特征摘要】
1.一种互联网业务变更检测方法，其特征在于，该方法包括步骤：对网站业务进行多维度数据采集；针对每个维度进行差异评分；及采用综合评估算法对所有维度的差异评分进行综合运算，从而判断是否发生业务变更。2.根据权利要求1所述的互联网业务变更检测方法，其特征在于，所述多维度包括页面Dom树结构、页面加载资源、CGI参数、网站拓扑关系、文件对比。3.根据权利要求1所述的互联网业务变更检测方法，其特征在于，所述综合评估算法包括基于参考维度的方式和基于权重的方式。4.根据权利要求3所述的互联网业务变更检测方法，其特征在于，当基于参考维度时，所述采用综合评估算法对所有维度的差异评分进行综合运算，从而判断是否发生业务变更的步骤具体包括：设置综合评估业务变更的参考维度和评估规则；获取每个参考维度对应的差异评分；根据所述差异评分判断每个参考维度是否存在变化；根据判断结果和所述评估规则确定所述网站是否发生业务变更。5.根据权利要求3所述的互联网业务变更检测方法，其特征在于，当基于权重时，所述采用综合评估算法对所有维度的差异评分进行综合运算，从而判断是否发生业务变更的步骤具体包括：获取每个维度对应的差异评分；对每个维度的差异评分数据进行标准化；采用线性...

【专利技术属性】
技术研发人员：董昭，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44