基于爬虫日志的错误问题定位方法、装置和计算机设备制造方法及图纸

本申请提供一种基于爬虫日志的错误问题定位方法、装置和计算机设备，所述的方法包括：获取爬虫日志；所述爬虫日志记录有被解析对象的文件ID；从所述爬虫日志中筛选出解析失败的目标被解析对象的文件ID；根据所述目标被解析对象的文件ID，从指定位置获取所述目标被解析对象的文件；通过调用bug管理工具接口生成所述目标被解析对象的文件中的bug信息。本申请实施例大大降低了错误定位的周期，提高了错误定位的效率。

【技术实现步骤摘要】
基于爬虫日志的错误问题定位方法、装置和计算机设备
本申请涉及计算机
，具体而言，本申请涉及一种基于爬虫日志的错误问题定位方法、装置和计算机设备。
技术介绍
在生产环境下，在进行错误问题定位时，一般是测试人员先下载生产的日志，找到错误解析日志或是由监控日报提供错误解析日志，然后根据错误解析日志来定位错误，找到解析失败的文件，提bug(漏洞)给开发人员解决，整个流程都需要人工参与，周期长，效率低下。
技术实现思路
本申请针对现有方式的缺点，提出一种基于爬虫日志的错误问题定位方法、装置和计算机设备，以自动对错误问题进行定位，大大降低了错误定位的周期，提高了错误定位的效率。本申请的实施例根据第一个方面，提供了一种基于爬虫日志的错误问题定位方法，包括：获取爬虫日志；所述爬虫日志记录有被解析对象的文件ID；从所述爬虫日志中筛选出解析失败的目标被解析对象的文件ID；根据所述目标被解析对象的文件ID，从指定位置获取所述目标被解析对象的文件；通过调用bug管理工具接口生成所述目标被解析对象的文件中的bug信息。在一个实施例中，所述通过调用bug管理工具接口生成所述目标被解析对象的文件中的bug信息，包括：将所述目标被解析对象的文件以附件形式上传到bug管理工具，由所述bug管理工具生成所述目标被解析对象的文件中的bug信息。在一个实施例中，所述被解析对象的文件ID由所述被解析对象的文件在指定位置中的存储目录以及设定字符串生成；所述根据所述目标被解析对象的文件ID，从指定位置获取所述目标被解析对象的文件，包括：对所述目标被解析对象的文件ID进行解析，从所述文件ID中剔除所述设定字符串，获取所述目标被解析对象的文件在指定位置中的存储目录；根据所述存储目录，从所述指定位置获取所述目标被解析对象的文件。在一个实施例中，所述被解析对象的文件ID由所述被解析对象的文件存储到指定位置的存储时间以及所述被解析对象的文件的大小生成。在一个实施例中，所述根据所述目标被解析对象的文件ID，从指定位置获取所述目标被解析对象的文件，包括：对所述目标被解析对象的文件ID进行解析，获取所述目标被解析对象的存储时间以及文件的大小；将所述目标被解析对象的文件的大小与所述指定位置存储的被解析对象的文件的大小进行匹配；若匹配，将匹配的被解析对象的文件作为目标被解析对象的文件；若不匹配，将所述目标被解析对象的存储时间与所述指定位置存储的被解析对象的存储时间进行匹配，若匹配，将匹配的被解析对象的文件作为目标被解析对象的文件，否则输出目标被解析对象的文件获取失败的提醒信息。在一个实施例中，所述被解析对象的文件ID由所述被解析对象的文件在指定位置中的存储目录以及所述被解析对象的文件在所述存储目录下的偏移量生成。在一个实施例中，所述根据所述目标被解析对象的文件ID，从指定位置获取所述目标被解析对象的文件，包括：对所述目标被解析对象的文件ID进行解析，获取目标被解析对象的存储目录以及偏移量；根据所述存储目录，从指定位置获取所述存储目录下的多个被解析对象的文件；根据所述偏移量，从多个被解析对象的文件中筛选出目标被解析对象的文件。本申请的实施例根据第二个方面，还提供了一种基于爬虫日志的错误问题定位装置，包括：爬虫日志获取模块，用于获取爬虫日志；所述爬虫日志记录有被解析对象的文件ID；文件ID筛选模块，用于从所述爬虫日志中筛选出解析失败的目标被解析对象的文件ID；文件获取模块，用于根据所述目标被解析对象的文件ID，从指定位置获取所述目标被解析对象的文件；错误问题定位模块，用于通过调用bug管理工具接口生成所述目标被解析对象的文件中的bug信息。本申请的实施例根据第三个方面，该提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任意一项所述的基于爬虫日志的错误问题定位方法。本申请的实施例根据第四个方面，还提供了一种计算机设备，所述计算机设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任意一项所述的基于爬虫日志的错误问题定位方法。上述的基于爬虫日志的错误问题定位方法、装置和计算机设备，从自动化分析爬虫日志、找到解析错误的文件ID、自动下载解析错误的被解析对象的文件、到调用bug管理工具自动开具bug，完成了一个线上的爬虫解析错误的快速定位，可极大的减少测试和开发对于错误问题的查找定位时间，提高了工作效率。本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。附图说明本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为本申请一个实施例的基于爬虫日志的错误问题定位方法的流程示意图；图2为本申请一个实施例的基于爬虫日志的错误问题定位装置的结构示意图；图3为本申请一个实施例的计算机设备的结构示意图。具体实施方式下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。本
技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。本
技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。如图1所示，在一个实施例中，一种基于爬虫日志的错误问题定位方法，包括：S110、获取爬虫日志；所述爬虫日志记录有被解析对象的文件ID。爬虫，即网络爬虫，又被称为网页蜘蛛、网络机器人等，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。对于爬虫来说，爬虫的被解析对象是多种多样的。爬虫日志是爬虫后生成的日志。可以规范化开发爬虫日志，统一输出的爬虫日志的格式。可选的，可以通过访问爬虫日志的URL(UniformResourceLocator，统一资源定位符)自动获取爬虫日志。爬虫日志用于记录被解析对象的文件ID(Identity，身份标识号码)。被解析对象的文件ID是被解析对象的文件在用于存储各个被解析对象的文件的指定位置中的ID，指定位置可以为云端或者其它位置等等。被解析对象的文件ID生成的方式有很多种，下面结合几个实施例进行说明。应当理解的是，本申请并不限制于下述生成被解析对象的文件ID的方式，用户还可以采用其它方式生成被解析对象的文件ID。在一个实施例中，所述被解析对象的文件ID由所述被解析对象的文件在指定位置中的存储目录以及设定字符串生成。文件被存储到指定位置，一般会有对应的存储目录，例如，指定位置为服务器，一个被解本文档来自技高网...

【技术保护点】
1.一种基于爬虫日志的错误问题定位方法，其特征在于，包括：获取爬虫日志；所述爬虫日志记录有被解析对象的文件ID；从所述爬虫日志中筛选出解析失败的目标被解析对象的文件ID；根据所述目标被解析对象的文件ID，从指定位置获取所述目标被解析对象的文件；通过调用bug管理工具接口生成所述目标被解析对象的文件中的bug信息。

【技术特征摘要】
1.一种基于爬虫日志的错误问题定位方法，其特征在于，包括：获取爬虫日志；所述爬虫日志记录有被解析对象的文件ID；从所述爬虫日志中筛选出解析失败的目标被解析对象的文件ID；根据所述目标被解析对象的文件ID，从指定位置获取所述目标被解析对象的文件；通过调用bug管理工具接口生成所述目标被解析对象的文件中的bug信息。2.根据权利要求1所述的基于爬虫日志的错误问题定位方法，其特征在于，所述通过调用bug管理工具接口生成所述目标被解析对象的文件中的bug信息，包括：将所述目标被解析对象的文件以附件形式上传到bug管理工具，由所述bug管理工具生成所述目标被解析对象的文件中的bug信息。3.根据权利要求1所述的基于爬虫日志的错误问题定位方法，其特征在于，所述被解析对象的文件ID由所述被解析对象的文件在指定位置中的存储目录以及设定字符串生成；所述根据所述目标被解析对象的文件ID，从指定位置获取所述目标被解析对象的文件，包括：对所述目标被解析对象的文件ID进行解析，从所述文件ID中剔除所述设定字符串，获取所述目标被解析对象的文件在指定位置中的存储目录；根据所述存储目录，从所述指定位置获取所述目标被解析对象的文件。4.根据权利要求1所述的基于爬虫日志的错误问题定位方法，其特征在于，所述被解析对象的文件ID由所述被解析对象的文件存储到指定位置的存储时间以及所述被解析对象的文件的大小生成。5.根据权利要求4所述的基于爬虫日志的错误问题定位方法，其特征在于，所述根据所述目标被解析对象的文件ID，从指定位置获取所述目标被解析对象的文件，包括：对所述目标被解析对象的文件ID进行解析，获取所述目标被解析对象的存储时间以及文件的大小；将所述目标被解析对象的文件的大小与所述指定位置存储的被解析对象的文件的大小进行匹配；若匹配，将匹配的被解析对象的文件作为目标被解析对...

【专利技术属性】
技术研发人员：刘芳，
申请(专利权)人：深圳壹账通智能科技有限公司，
类型：发明
国别省市：广东,44