爬虫模板变更的监测方法、系统、电子设备及存储介质技术方案

本发明专利技术公开了一种爬虫模板变更的监测方法、系统、电子设备及存储介质，该方法包括：在爬虫脚本库中查找无数据的爬虫脚本；将查找到的所有无数据的爬虫脚本所对的配置id存储至无数据爬虫脚本数据库中；将无数据爬虫脚本数据库中的配置id加入检测队列进行无数据检测；根据配置id得到配置id所对应的爬虫脚本的代码信息；根据代码信息得到爬虫脚本中的URL集合，遍历下载URL集合中的每一个URL，得到每一个URL下载结果值；根据URL下载结果值是否为空、URL请求响应状态码是否等于第一预设状态码、URL详情链接数量是否大于零、位于三层模板中的回调函数的回调返回值是否有值，确定爬虫模板是否变更。上述方法通过监测多个返回值实现了自动爬虫模板变更监测。

【技术实现步骤摘要】
爬虫模板变更的监测方法、系统、电子设备及存储介质
本专利技术涉及数据监测
，具体涉及到一种爬虫模板变更的监测方法、系统、电子设备及存储介质。
技术介绍
在数据爬取的过程中不可避免的出现异常，导致爬虫数据的不准确，对爬虫数据的质量进行监控能够及时发现问题，保证数据的可靠性。通常对爬虫数据质量的监控包括以下步骤：首先分析spider文件是否正常运行（即有无数据）；有数据情况下，接收数据源进行检测，规则的对比；无数据情况下，进行设定的方法、规则运行框架进行检测，具体监测流程图如图1所示。上述步骤中的设定方法、规则需要人工根据经验去寻找，不够智能。
技术实现思路
有鉴于此，本专利技术实施例提供了一种爬虫模板变更的监测方法、系统、电子设备及存储介质，以解决现有技术中爬虫模板变更监测不够智能化的问题。为此，本专利技术实施例提供了如下技术方案：根据第一方面，本专利技术实施例提供了一种爬虫模板变更的监测方法，包括：在爬虫脚本库中查找无数据的爬虫脚本，爬虫脚本库中包括不能够爬取到数据的无数据爬虫脚本和能够爬取到数据的有数据爬虫脚本，每一个爬虫脚本均唯一对应一个配置id；将查找到的所有无数据的爬虫脚本所对的配置id存储至无数据爬虫脚本数据库中；将无数据爬虫脚本数据库中的配置id加入检测队列进行无数据检测；根据所述配置id得到所述配置id所对应的爬虫脚本的代码信息；根据所述代码信息得到所述爬虫脚本中的URL集合，遍历下载所述URL集合中的每一个URL，得到每一个URL下载结果值；判断所述URL下载结果值是否为空；若所述URL下载结果值不为空，则判断URL请求响应状态码是否等于第一预设状态码；若所述URL请求响应状态码等于所述第一预设状态码，则对URL进行爬虫解析，得到URL详情链接数量；判断所述URL详情链接数量是否大于零；若所述URL详情链接数量小于或者等于零，则表明列表页模板变更；若所述URL详情链接数量大于零，则判断位于三层模板中的回调函数的回调返回值是否有值；若所述回调返回值没有值，则所述URL无二级链接，进行两层模板检测；若所述回调返回值有值，则所述URL有二级链接，进行三层模板检测。可选地，若所述回调返回值没有值，则所述URL无二级链接，进行两层模板检测的步骤中，包括：若所述回调返回值没有值，则下载列表链接，得到列表链接下载返回值；判断所述列表链接下载返回值是否为空；若所述列表链接下载返回值不为空，则判断列表链接请求状态码是否等于第二预设状态码；若所述列表链接请求状态码等于所述第二预设状态码，则进入详情页进行检测。可选地，若所述回调返回值有值，则所述URL有二级链接，进行三层模板检测的步骤中，包括：若所述回调返回值有值，则下载二级列表页链接，得到二级列表页链接下载返回值；判断所述二级列表页链接下载返回值是否为空；若所述二级列表页链接下载返回值不为空，则判断二级列表页请求状态码是否等于第三预设状态码；若所述二级列表页请求状态码等于所述第三预设状态码，则进入二级爬虫解析，得到二级列表页详情链接数量；判断所述二级列表页详情链接数量是否大于零；若所述二级列表页详情链接数量小于或者等于零，则表明二级列表页模板变更；若所述二级列表页详情链接数量大于零，则遍历下载二级列表详情页链接，得到二级列表详情页下载返回值；判断所述二级列表详情页下载返回值是否为空；若所述二级列表详情页下载返回值不为空，则判断二级列表详情页请求状态码是否等于第四预设状态码；若所述二级列表详情页请求状态码等于第四预设状态码，则进入详情页进行检测。可选地，进入详情页进行检测的步骤中，包括：下载第一详情函数，得到第一详情函数下载返回值；判断所述第一详情函数下载返回值是否有值；若所述第一详情函数下载返回值没有值，则表明详情模板变更；若所述第一详情函数下载返回值有值，则检测标题字段和内容字段；当所述标题字段和内容字段能够解析到，则表明详情模板未变更；当所述标题字段和内容字段不能解析到，则表明详情模板变更。可选地，进入详情页进行检测的步骤中，还包括：在第一详情函数下载过程中，若出现解析异常，则爬虫脚本解析失败。可选地，若所述列表链接下载返回值为空，和/或所述列表链接请求状态码不等于所述第二预设状态码，和/或所述二级列表详情页请求状态码不等于第四预设状态码，还包括：下载第二详情函数，得到第二详情函数下载返回值；判断所述第二详情函数下载返回值是否为空；若所述第二详情函数下载返回值为空，则进行链接过滤；若所述第二详情函数下载返回值不为空，则表明详情页链接下载失败。可选地，还包括：在爬虫脚本库中查找有数据的爬虫脚本；将查找到的所有有数据的爬虫脚本所对的配置id存储至有数据爬虫脚本数据库中；根据有数据爬虫脚本数据库中的配置id得到所对应的数据源；根据字段验证信息对所述数据源中的每个字段进行监测，其中，所述字段验证信息包括时间错误监测、字段字符长度监测、标题长度监测、配置分组错误监测、频道错误监测、网站名称错误监测、网站域名错误监测、分组错误监测、字段错误监测、详情页URL监测中的至少一个。根据第二方面，本专利技术实施例提供了一种爬虫模板变更的监测系统，包括：第一处理模块，用于在爬虫脚本库中查找无数据的爬虫脚本，爬虫脚本库中包括不能够爬取到数据的无数据爬虫脚本和能够爬取到数据的有数据爬虫脚本，每一个爬虫脚本均唯一对应一个配置id；第二处理模块，用于将查找到的所有无数据的爬虫脚本所对的配置id存储至无数据爬虫脚本数据库中；第三处理模块，用于将无数据爬虫脚本数据库中的配置id加入检测队列进行无数据检测；第四处理模块，用于根据所述配置id得到所述配置id所对应的爬虫脚本的代码信息；第五处理模块，用于根据所述代码信息得到所述爬虫脚本中的URL集合，遍历下载所述URL集合中的每一个URL，得到每一个URL下载结果值；第一判断模块，用于判断所述URL下载结果值是否为空；第二判断模块，用于若所述URL下载结果值不为空，则判断URL请求响应状态码是否等于第一预设状态码；第六处理模块，用于若所述URL请求响应状态码等于所述第一预设状态码，则对URL进行爬虫解析，得到URL详情链接数量；第三判断模块，用于判断所述URL详情链接数量是否大于零；第七处理模块，用于若所述URL详情链接数量小于或者等于零，则表明列表页模板变更；第四判断模块，用于若所述URL详情链接数量大于零，则判断位于三层模板中的回调函数的回调返回值是否有值；第八处理模块，用于若所述回调返回值没有值，则所述URL无二级链接，进行两层模板检测；第九处理模块，用于若所述回调返回值有值，则所述URL有二级链接，进行三层模板检测。可选地，所述第八处理模块包括：第一处理单元，用于若所述回调返回值没有值，则下载列表链接，得到列表链接下载返回值；第一判断单元，用于判断所述列表链接下载返回值是否为空；第二判断单元，用于若所述列表链接下载返回值不为空，则判断列表链接请求状态码是否等于第二预设状态码；第二处理单元，用于若所述列表链接请求状态码等于所述第二预设状态码，则进入详情页进行检测。可选地，所述第九本文档来自技高网...

【技术保护点】
1.一种爬虫模板变更的监测方法，其特征在于，包括：/n在爬虫脚本库中查找无数据的爬虫脚本，爬虫脚本库中包括不能够爬取到数据的无数据爬虫脚本和能够爬取到数据的有数据爬虫脚本，每一个爬虫脚本均唯一对应一个配置id；/n将查找到的所有无数据的爬虫脚本所对的配置id存储至无数据爬虫脚本数据库中；/n将无数据爬虫脚本数据库中的配置id加入检测队列进行无数据检测；/n根据所述配置id得到所述配置id所对应的爬虫脚本的代码信息；/n根据所述代码信息得到所述爬虫脚本中的URL集合，遍历下载所述URL集合中的每一个URL，得到每一个URL下载结果值；/n判断所述URL下载结果值是否为空；/n若所述URL下载结果值不为空，则判断URL请求响应状态码是否等于第一预设状态码；/n若所述URL请求响应状态码等于所述第一预设状态码，则对URL进行爬虫解析，得到URL详情链接数量；/n判断所述URL详情链接数量是否大于零；/n若所述URL详情链接数量小于或者等于零，则表明列表页模板变更；/n若所述URL详情链接数量大于零，则判断位于三层模板中的回调函数的回调返回值是否有值；/n若所述回调返回值没有值，则所述URL无二级链接，进行两层模板检测；/n若所述回调返回值有值，则所述URL有二级链接，进行三层模板检测。/n...

【技术特征摘要】
1.一种爬虫模板变更的监测方法，其特征在于，包括：
在爬虫脚本库中查找无数据的爬虫脚本，爬虫脚本库中包括不能够爬取到数据的无数据爬虫脚本和能够爬取到数据的有数据爬虫脚本，每一个爬虫脚本均唯一对应一个配置id；
将查找到的所有无数据的爬虫脚本所对的配置id存储至无数据爬虫脚本数据库中；
将无数据爬虫脚本数据库中的配置id加入检测队列进行无数据检测；
根据所述配置id得到所述配置id所对应的爬虫脚本的代码信息；
根据所述代码信息得到所述爬虫脚本中的URL集合，遍历下载所述URL集合中的每一个URL，得到每一个URL下载结果值；
判断所述URL下载结果值是否为空；
若所述URL下载结果值不为空，则判断URL请求响应状态码是否等于第一预设状态码；
若所述URL请求响应状态码等于所述第一预设状态码，则对URL进行爬虫解析，得到URL详情链接数量；
判断所述URL详情链接数量是否大于零；
若所述URL详情链接数量小于或者等于零，则表明列表页模板变更；
若所述URL详情链接数量大于零，则判断位于三层模板中的回调函数的回调返回值是否有值；
若所述回调返回值没有值，则所述URL无二级链接，进行两层模板检测；
若所述回调返回值有值，则所述URL有二级链接，进行三层模板检测。


2.如权利要求1所述的爬虫模板变更的监测方法，其特征在于，若所述回调返回值没有值，则所述URL无二级链接，进行两层模板检测的步骤中，包括：
若所述回调返回值没有值，则下载列表链接，得到列表链接下载返回值；
判断所述列表链接下载返回值是否为空；
若所述列表链接下载返回值不为空，则判断列表链接请求状态码是否等于第二预设状态码；
若所述列表链接请求状态码等于所述第二预设状态码，则进入详情页进行检测。


3.如权利要求1所述的爬虫模板变更的监测方法，其特征在于，若所述回调返回值有值，则所述URL有二级链接，进行三层模板检测的步骤中，包括：
若所述回调返回值有值，则下载二级列表页链接，得到二级列表页链接下载返回值；
判断所述二级列表页链接下载返回值是否为空；
若所述二级列表页链接下载返回值不为空，则判断二级列表页请求状态码是否等于第三预设状态码；
若所述二级列表页请求状态码等于所述第三预设状态码，则进入二级爬虫解析，得到二级列表页详情链接数量；
判断所述二级列表页详情链接数量是否大于零；
若所述二级列表页详情链接数量小于或者等于零，则表明二级列表页模板变更；
若所述二级列表页详情链接数量大于零，则遍历下载二级列表详情页链接，得到二级列表详情页下载返回值；
判断所述二级列表详情页下载返回值是否为空；
若所述二级列表详情页下载返回值不为空，则判断二级列表详情页请求状态码是否等于第四预设状态码；
若所述二级列表详情页请求状态码等于第四预设状态码，则进入详情页进行检测。


4.如权利要求2或者3所述的爬虫模板变更的监测方法，其特征在于，进入详情页进行检测的步骤中，包括：
下载第一详情函数，得到第一详情函数下载返回值；
判断所述第一详情函数下载返回值是否有值；
若所述第一详情函数下载返回值没有值，则表明详情模板变更；
若所述第一详情函数下载返回值有值，则检测标题字段和内容字段；
当所述标题字段和内容字段能够解析到，则表明详情模板未变更；
当所述标题字段和内容字段不能解析到，则表明详情模板变更...

【专利技术属性】
技术研发人员：王琛，李青龙，
申请(专利权)人：北京智慧星光信息技术有限公司，
类型：发明
国别省市：北京;11