爬虫数据回放验证方法、装置及电子设备制造方法及图纸

技术编号:42647410 阅读:27 留言:0更新日期:2024-09-06 01:41
本公开涉及一种爬虫数据回放验证方法、装置及电子设备,包括:从预设的爬虫采集数据模型中确定目标爬虫采集数据模型,不同的爬虫采集数据模型对应的数据回放标识对数据的标识对象不同;通过目标爬虫采集数据模型对添加数据回放标识的待爬虫数据执行爬虫,将爬虫得到的目标数据进行解析存储;对存储的目标数据进行验证得到测试记录列表;在测试记录列表的验证结果中存在表征任意目标数据存在错误的情况下,生成验证请求,验证请求中携带有爬虫所述目标数据的目标爬虫采集数据模型的数据回放标识参数;根据验证请求中携带的目标爬虫采集数据模型的数据回放标识参数,通过修复完成后的爬虫对待爬虫数据再次执行爬虫,完成目标数据的回放验证。

【技术实现步骤摘要】

本公开涉及数据处理,尤其涉及一种爬虫数据回放验证方法、装置及电子设备


技术介绍

1、爬虫上线发布前,会采样一定量的数据进行质量验证,如果质量验证不合格,会对爬虫进行修复,爬虫修复后重新采样数据进行回归分析,得出数据质量,如果数据质量达到正确率范围标准,方可允许爬虫发布上线。然而,回验的采样数据数据存在未覆盖测试中发现问题的场景数据,因此存在无法针对具体问题进行针对性的回归验证,从而增加了佐证已经修复发现的问题。并且,回验的采样数据的采样量存在较大漫延,增加测试回验证的工作周期,因而存在回验效率低、周期长和增加业务交付整体周期的问题。


技术实现思路

1、为克服相关技术中存在无法针对具体问题进行针对性的回归验证,从而增加了佐证已经修复发现的问题。并且回验效率低、周期长和增加业务交付整体周期的问题的技术问题,本公开提供一种爬虫数据回放验证方法、装置及电子设备。

2、在本公开实施例的第一方面,提供爬虫数据回放验证方法,所述方法包括:

3、从预设的爬虫采集数据模型中确定目标爬虫采集数据模型,其本文档来自技高网...

【技术保护点】

1.一种爬虫数据回放验证方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述通过所述目标爬虫采集数据模型对添加所述数据回放标识的待爬虫数据执行爬虫,并将爬虫得到的目标数据进行解析存储,包括:

3.根据权利要求2所述的方法,其特征在于,预设的所述爬虫采集数据模型包括:搜索类爬虫数据模型,其中,所述搜索类爬虫数据模型的数据回放标识对数据的标识对象为数据名称、身份标识中的任意者;

4.根据权利要求2所述的方法,其特征在于,预设的所述爬虫采集数据模型包括遍历类爬虫数据模型,其中,所述遍历类爬虫数据模型的数据回放标识对数据的标识对象为...

【技术特征摘要】

1.一种爬虫数据回放验证方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述通过所述目标爬虫采集数据模型对添加所述数据回放标识的待爬虫数据执行爬虫,并将爬虫得到的目标数据进行解析存储,包括:

3.根据权利要求2所述的方法,其特征在于,预设的所述爬虫采集数据模型包括:搜索类爬虫数据模型,其中,所述搜索类爬虫数据模型的数据回放标识对数据的标识对象为数据名称、身份标识中的任意者;

4.根据权利要求2所述的方法,其特征在于,预设的所述爬虫采集数据模型包括遍历类爬虫数据模型,其中,所述遍历类爬虫数据模型的数据回放标识对数据的标识对象为统一资源定位符、页码索引、索引中的任意者;

5.根据权利要求2所述的方法,其特征在于,所述在所述验证结果中存在表征任意所述目标数据存在错误...

【专利技术属性】
技术研发人员:顾凌云郭志攀王伟赵晖
申请(专利权)人:南京冰鉴信息科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1