网页数据监控方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术提供一种网页数据监控方法、装置、计算机设备及存储介质，其中，方法包括：根据约定，在网页中对需要监控的数据标签进行自定义属性标识的添加，得到目标网页；将目标网页配置到预设的定时程序中；基于定时程序，定时获取目标网页中带有自定义属性标识的数据标签；获取数据标签对应的数据内容，处理得到目标数据，并将目标数据存储至数据库中；基于数据库，获得相邻两次目标数据的差值，并将差值与预设的阈值进行比较，将差值大于阈值的进行异常记录和存储。该方案解决了数据监控业务的不通用性，减少为数据监控对比而投入的大量人工和时间成本，提高了监控效率。

【技术实现步骤摘要】
网页数据监控方法、装置、计算机设备及存储介质
本专利技术涉及计算机通信
，尤其涉及一种网页数据监控方法、装置、计算机设备及存储介质。
技术介绍
在现有的数据监控业务中，一般都是在业务层对需要监控的数据进行对比，比如：数据清洗完成的同时对比清洗前后的数据、第三方数据获取完成的同时对比获取前后的数据，因此需要监控程序的开发人员对需要监控的业务进行详细的了解，并且做出相应的数据指标对比业务逻辑对数据进行监控，这样的情况下需要的人力资源和时间成本就相对比较大；故而监控方法也由于业务的局限性，并不能通用；而且随着时间增长和业务的不断变化，对于数据监控程序的维护也会越来越麻烦。
技术实现思路
基于此，有必要针对上述技术问题，提供一种网页数据监控方法、装置、计算机设备及存储介质。一种网页数据监控方法，所述方法包括：根据约定，在网页中对需要监控的数据标签进行自定义属性标识的添加，得到目标网页；将所述目标网页配置到预设的定时程序中；基于所述定时程序，定时获取所述目标网页中带有自定义属性标识的数据标签；获取所述数据标签对应的数据内容，处理得到目标数据，并将所述目标数据存储至数据库中；基于所述数据库，获得相邻两次目标数据的差值，并将所述差值与预设的阈值进行比较，将所述差值大于阈值的进行异常记录和存储。在其中一个实施例中，所述根据约定，在网页中对需要监控的数据标签进行自定义属性标识的添加，得到目标网页，具体为：根据预设的约定，在网页中对需要监控的数据标签进行自定义属性标识的添加，所述自定义属性标识至少包括数据名称、数据检测以及预警阈值，并将所述添加自定义属性标识的网页作为目标网页。在其中一个实施例中，所述基于所述定时程序，定时获取所述目标网页中带有自定义属性标识的数据标签，具体为：基于所述定时程序，利用页面解析技术对所述目标网页进行结构解析，并获取所述目标网页中拥有所述自定义属性标识的数据标签。在其中一个实施例中，所述获取所述数据标签对应的数据内容，处理得到目标数据，并将所述目标数据存储至数据库中，具体为：获取所述数据标签对应的数据内容；对所述数据内容进行数据结构处理，得到目标数据结构形式的目标数据；将所述目标数据存储至预设的数据库中。在其中一个实施例中，所述基于所述数据库，获得相邻两次目标数据的差值，并将所述差值与预设的阈值进行比较，将所述差值大于阈值的异常记录和存储之后，还包括：将所述带有异常记录的信息进行汇总，并发送通知至相关人员。一种网页数据监控装置，包括标识添加模块、程序配置模块、数据获取模块、数据处理模块和数据监测模块，其中：所述标识添加模块用于，根据约定，在网页中对需要监控的数据标签进行自定义属性标识的添加，得到目标网页；所述程序配置模块用于，将所述目标网页配置到预设的定时程序中；所述数据获取模块用于，基于所述定时程序，定时获取所述目标网页中带有自定义属性标识的数据标签；所述数据处理模块用于，获取所述数据标签对应的数据内容，处理得到目标数据，并将所述目标数据存储至数据库中；所述数据监测模块用于，基于所述数据库，获得相邻两次目标数据的差值，并将所述差值与预设的阈值进行比较，将所述差值大于阈值的进行异常记录和存储。在其中一个实施例中，所述数据处理模块包括获取单元、处理单元和存储单元，其中：所述获取单元用于，获取所述数据标签对应的数据内容；所述处理单元用于，对所述数据内容进行数据结构处理，得到目标数据结构形式的目标数据；所述存储单元用于，将所述目标数据存储至预设的数据库中。在其中一个实施例中，所述装置还包括异常通知模块：所述异常通知模块用于，将所述带有异常记录的信息进行汇总，并发送通知至相关人员。一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述各个实施例中所述的网页数据监控方法的步骤。一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述各个实施例中所述的网页数据监控方法的步骤。上述网页数据监控方法、装置、计算机设备及存储介质，通过直接在网页上对需要监控的数据标签上添加自定义属性标识，再将该网页配置到预设的定时程序中，从而定时获取需要监控的目标数据，再利用相邻两次目标数据的差值与预设的阈值对比，一旦大于阈值则说明异常，完成对目标数据的监控，最后将所有异常的数值进行汇总并发送至相关人员，该方案解决了数据监控业务的不通用性，减少为数据监控对比而投入的大量人工和时间成本，提高了监控效率。附图说明图1为一个实施例中网页数据监控方法的流程示意图；图2为另一个实施例中网页数据监控方法的流程示意图；图3为一个实施例中网页数据监控装置的结构框图；图4为一个实施例中数据处理模块的结构框图；图5是一个实施例中计算机设备的内部结构图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，下面通过具体实施方式结合附图对本专利技术做进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。在一个实施例中，如图1所示，提供了一种网页数据监控方法，包括以下步骤：S110根据约定，在网页中对需要监控的数据标签进行自定义属性标识的添加，得到目标网页。具体地，开发人员根据预先约定好的，在网页中对需要监控的数据标签进行自定义属性标识的添加，完成自定义属性标识添加的网页即为目标网页。这里的数据标签是基于H5页面的，且添加自定义属性标识的数据标签就是其对应的数据内容需要监控的。在一个实施例中，步骤S110具体为：根据预设的约定，在网页中对需要监控的数据标签进行自定义属性标识的添加，自定义属性标识至少包括数据名称、数据检测以及预警阈值，并将添加自定义属性标识的网页作为目标网页。具体地，这里的自定义属性标识包括但不限于数据名称、数据检测以及预警阈值，而且在进行自定义属性标识添加时，需要对应添加该标识的范围值，其中数据名称(dataName)是需要监控的数据名称；而数据检测(dataCheck)对应的是该数据是否需要检测对比；预警阈值(dataCheckWarning)则是用于后续的比较，判断是否异常的；还有数据类型检查(dataCheckType)，用于检查对比的数据是什么类型的等。无论有多少自定义属性标识，但每一需要监控的数据所对应的数据标签，至少需要添加数据名称、数据检测以及预警阈值这三个自定义属性标签。S120将目标网页配置到预设的定时程序中。具体地，将按照约定开发完成的数据统计分析系统的最终页面互联网访问网址配置到一个定时的独立的程序中。S130基于定时程序，定时获取目标网页中带有自定义属性标识的数据标签。具体地，基于该定时程序，定时的获取目标网页中带有自定义属性标识的数据标签，获取数据标签的意义在于为后续获取数据标签对应的数据内容做准备。在一个实施例中，步骤S130具体为：基于定时程序，利用页面解析技术对目标网页进行结构解析，并获取目标本文档来自技高网...

【技术保护点】
1.一种网页数据监控方法，其特征在于，包括：/n根据约定，在网页中对需要监控的数据标签进行自定义属性标识的添加，得到目标网页；/n将所述目标网页配置到预设的定时程序中；/n基于所述定时程序，定时获取所述目标网页中带有自定义属性标识的数据标签；/n获取所述数据标签对应的数据内容，处理得到目标数据，并将所述目标数据存储至数据库中；/n基于所述数据库，获得相邻两次目标数据的差值，并将所述差值与预设的阈值进行比较，将所述差值大于阈值的进行异常记录和存储。/n

【技术特征摘要】
1.一种网页数据监控方法，其特征在于，包括：
根据约定，在网页中对需要监控的数据标签进行自定义属性标识的添加，得到目标网页；
将所述目标网页配置到预设的定时程序中；
基于所述定时程序，定时获取所述目标网页中带有自定义属性标识的数据标签；
获取所述数据标签对应的数据内容，处理得到目标数据，并将所述目标数据存储至数据库中；
基于所述数据库，获得相邻两次目标数据的差值，并将所述差值与预设的阈值进行比较，将所述差值大于阈值的进行异常记录和存储。


2.如权利要求1所述的方法，其特征在于，所述根据约定，在网页中对需要监控的数据标签进行自定义属性标识的添加，得到目标网页，具体为：
根据预设的约定，在网页中对需要监控的数据标签进行自定义属性标识的添加，所述自定义属性标识至少包括数据名称、数据检测以及预警阈值，并将所述添加自定义属性标识的网页作为目标网页。


3.如权利要求1所述的方法，其特征在于，所述基于所述定时程序，定时获取所述目标网页中带有自定义属性标识的数据标签，具体为：
基于所述定时程序，利用页面解析技术对所述目标网页进行结构解析，并获取所述目标网页中拥有所述自定义属性标识的数据标签。


4.如权利要求1所述的方法，其特征在于，所述获取所述数据标签对应的数据内容，处理得到目标数据，并将所述目标数据存储至数据库中，具体为：
获取所述数据标签对应的数据内容；
对所述数据内容进行数据结构处理，得到目标数据结构形式的目标数据；
将所述目标数据存储至预设的数据库中。


5.如权利要求1所述的方法，其特征在于，所述基于所述数据库，获得相邻两次目标数据的差值，并将所述差值与预设的阈值进行比较，将所述差值大于阈值的异常记录和存储之后，还包括：...

【专利技术属性】
技术研发人员：李琦，宋卫东，
申请(专利权)人：重庆锐云科技有限公司，
类型：发明
国别省市：重庆;50