基于爬虫日志的测试数据生成方法、装置和计算机设备制造方法及图纸

本申请提供一种基于爬虫日志的测试数据生成方法、装置和计算机设备，所述的方法包括：获取爬虫日志；所述爬虫日志记录有被解析对象的文件ID；根据设置的筛选条件，从所述爬虫日志中筛选出目标被解析对象的文件ID；根据所述目标被解析对象的文件ID，从指定位置获取所述目标被解析对象的文件；根据所述目标被解析对象的文件生成测试数据文件。本申请实施例减少了构造测试数据的时间，提高了测试数据覆盖率。

【技术实现步骤摘要】
基于爬虫日志的测试数据生成方法、装置和计算机设备
本申请涉及计算机
，具体而言，本申请涉及一种基于爬虫日志的测试数据生成方法、装置和计算机设备。
技术介绍
自动化测试是把以人为驱动的测试行为转化为机器执行的一种过程。通常，在设计了测试用例并通过评审之后，由测试人员根据测试用例中描述的规程一步步执行测试，得到实际结果与期望结果的比较。自动化测试节省了人力、时间或硬件资源，提高了测试效率。在自动化测试过程中需要准备大量的测试数据。现有技术中一般采用人工的方式准备测试数据，该种方式需要耗费较长时间，效率较低，而且测试数据覆盖率较低。
技术实现思路
本申请针对现有方式的缺点，提出一种基于爬虫日志的测试数据生成方法、装置和计算机设备，以自动生成测试数据，减少构造测试数据的时间，提高测试数据覆盖率。本申请的实施例根据第一个方面，提供了一种基于爬虫日志的测试数据生成方法，包括：获取爬虫日志；所述爬虫日志记录有被解析对象的文件ID；根据设置的筛选条件，从所述爬虫日志中筛选出目标被解析对象的文件ID；根据所述目标被解析对象的文件ID，从指定位置获取所述目标被解析对象的文件；根据所述目标被解析对象的文件生成测试数据文件。在一个实施例中，所述根据所述目标被解析对象的文件生成测试数据文件，包括：将目标被解析对象的文件存储至对应的测试文件路径下；按照预先定义的测试数据文件的定义信息，从所述测试文件路径下的目标被解析对象的文件中提取出与所述定义信息对应的各个数据；根据提取的各个数据生成测试数据文件。在一个实施例中，所述根据提取的各个数据生成测试数据文件，包括：对提取的与所述定义信息对应的各个数据进行检测；若检测到若干个数据为空，显示用于输入若干个数据的输入框；获取在所述输入框输入的数据；根据所述输入框输入的数据和提取的各个数据生成测试数据文件。在一个实施例中，所述根据提取的数据生成测试数据文件，之后，还包括：对测试文件路径下的目标被解析对象的文件进行解析，获得实际解析数据；将所述实际解析数据与所述测试数据文件进行对比；若一致，判定生成的测试数据文件正确；若不一致，向绑定的终端发送生成的测试数据文件有误的提醒信息。在一个实施例中，所述被解析对象的文件ID由所述被解析对象的文件在指定位置中的存储目录以及设定固定值生成；所述根据所述目标被解析对象的文件ID，从指定位置获取所述目标被解析对象的文件，包括：对所述目标被解析对象的文件ID进行解析，从所述文件ID中剔除所述设定固定值，获取所述目标被解析对象的文件在指定位置中的存储目录；根据所述存储目录，从所述指定位置获取所述目标被解析对象的文件。在一个实施例中，所述被解析对象的文件ID由所述被解析对象的文件存储到指定位置的存储时间以及所述被解析对象的文件的大小生成。在一个实施例中，所述根据所述目标被解析对象的文件ID，从指定位置获取所述目标被解析对象的文件，包括：对所述目标被解析对象的文件ID进行解析，获取所述目标被解析对象的存储时间以及文件的大小；将所述目标被解析对象的文件的大小与所述指定位置存储的被解析对象的文件的大小进行匹配；若匹配，将匹配的被解析对象的文件作为目标被解析对象的文件；若不匹配，将所述目标被解析对象的存储时间与所述指定位置存储的被解析对象的存储时间进行匹配，若匹配，将匹配的被解析对象的文件作为目标被解析对象的文件，否则输出目标被解析对象的文件获取失败的提醒信息。本申请的实施例根据第二个方面，还提供了一种基于爬虫日志的测试数据生成装置，包括：爬虫日志获取模块，用于获取爬虫日志；所述爬虫日志记录有被解析对象的文件ID；文件ID筛选模块，用于根据设置的筛选条件，从所述爬虫日志中筛选出目标被解析对象的文件ID；文件获取模块，用于根据所述目标被解析对象的文件ID，从指定位置获取所述目标被解析对象的文件；测试数据文件生成模块，用于根据所述目标被解析对象的文件生成测试数据文件。本申请的实施例根据第三个方面，该提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任意一项所述的基于爬虫日志的测试数据生成方法。本申请的实施例根据第四个方面，还提供了一种计算机设备，所述计算机设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任意一项所述的基于爬虫日志的测试数据生成方法。上述的基于爬虫日志的测试数据生成方法、装置和计算机设备，从自动化分析爬虫日志、找到目标被解析对象、自动下载被解析对象的文件、到根据被解析对象的文件自动生成测试数据文件，以提供给接口自动化测试，完成了一个线上的测试数据收集方法，该方法可根据线上爬虫解析情况实时扩充测试数据，提高测试数据的覆盖面，减少测试构造测试数据的时间，提高测试数据构造的效率。本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。附图说明本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为本申请一个实施例的基于爬虫日志的测试数据生成方法的流程示意图；图2为本申请一个实施例的基于爬虫日志的测试数据生成装置的结构示意图；图3为本申请一个实施例的计算机设备的结构示意图。具体实施方式下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。本
技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。本
技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。如图1所示，在一个实施例中，一种基于爬虫日志的测试数据生成方法，包括：S110、获取爬虫日志；所述爬虫日志记录有被解析对象的文件ID。爬虫，即网络爬虫，又被称为网页蜘蛛、网络机器人等，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。对于爬虫来说，爬虫的被解析对象是多种多样的。爬虫日志是爬虫后生成的日志。可以规范化开发爬虫日志，统一输出的爬虫日志的格式。可选的，可以通过访问爬虫日志的URL(UniformResourceLocator，统一资源定位符)自动获取爬虫日志。爬虫日志用于记录被解析对象的文件ID(Identity，身份标识号码)。被解析对象的文件ID是被解析对象的文件在用于存储各个被解析对象的文件的指定位置中的ID，指定位置可以为云端或者其它位置等等。被解析对象的文件ID生成的方式有很多种，下面结合几个实施例进行说明。应当本文档来自技高网...

【技术保护点】
1.一种基于爬虫日志的测试数据生成方法，其特征在于，包括：获取爬虫日志；所述爬虫日志记录有被解析对象的文件ID；根据设置的筛选条件，从所述爬虫日志中筛选出目标被解析对象的文件ID；根据所述目标被解析对象的文件ID，从指定位置获取所述目标被解析对象的文件；根据所述目标被解析对象的文件生成测试数据文件。

【技术特征摘要】
1.一种基于爬虫日志的测试数据生成方法，其特征在于，包括：获取爬虫日志；所述爬虫日志记录有被解析对象的文件ID；根据设置的筛选条件，从所述爬虫日志中筛选出目标被解析对象的文件ID；根据所述目标被解析对象的文件ID，从指定位置获取所述目标被解析对象的文件；根据所述目标被解析对象的文件生成测试数据文件。2.根据权利要求1所述的基于爬虫日志的测试数据生成方法，其特征在于，所述根据所述目标被解析对象的文件生成测试数据文件，包括：将目标被解析对象的文件存储至对应的测试文件路径下；按照预先定义的测试数据文件的定义信息，从所述测试文件路径下的目标被解析对象的文件中提取出与所述定义信息对应的各个数据；根据提取的各个数据生成测试数据文件。3.根据权利要求2所述的基于爬虫日志的测试数据生成方法，其特征在于，所述根据提取的各个数据生成测试数据文件，包括：对提取的与所述定义信息对应的各个数据进行检测；若检测到若干个数据为空，显示用于输入若干个数据的输入框；获取在所述输入框输入的数据；根据所述输入框输入的数据和提取的各个数据生成测试数据文件。4.根据权利要求2所述的基于爬虫日志的测试数据生成方法，其特征在于，所述根据提取的数据生成测试数据文件，之后，还包括：对测试文件路径下的目标被解析对象的文件进行解析，获得实际解析数据；将所述实际解析数据与所述测试数据文件进行对比；若一致，判定生成的测试数据文件正确；若不一致，向绑定的终端发送生成的测试数据文件有误的提醒信息。5.根据权利要求1所述的基于爬虫日志的测试数据生成方法，其特征在于，所述被解析对象的文件ID由所述被解析对象的文件在指定位置中的存储目录以及设定固定值生成；所述根据所述目标被解析对象的文件ID，从指定位置获取所述目标被解析对象的文件，包括：对所述目标被解析对象的文件ID进行解析，从所述文件ID中剔除所述设定固定值，获取所述目标被解析对象的文件在指定位置...

【专利技术属性】
技术研发人员：刘芳，徐志成，
申请(专利权)人：深圳壹账通智能科技有限公司，
类型：发明
国别省市：广东,44