竞品数据抓取方法及系统技术方案

本发明专利技术公开了一种竞品数据抓取方法及系统，涉及计算机软件工程技术领域，旨在解决现有的竞品数据获取方法数据获取效率低下、数据获取不精确以及数据获取成本高的问题。其技术方案要点是，包括：步骤S1，录入需要抓取的竞品产品的信息；步骤S2，模拟竞品产品的下单流程；步骤S3，抓取竞品产品订单的相关爬取数据；步骤S4，对竞品产品订单的相关爬取数据进行批量抓取并新建一个订单列表；步骤S5，抓取订单列表中各个订单的订单状态信息；步骤S6，变更订单列表中各订单的相关信息；步骤S7，不断重复步骤S5和步骤S6，进行竞品产品数据的持续抓取。本申请的技术方案达到了数据获取效率高、数据获取精确性高以及数据获取成本低的效果。

【技术实现步骤摘要】
竞品数据抓取方法及系统
本专利技术涉及计算机软件工程
，尤其是涉及一种竞品数据抓取方法及系统。
技术介绍
目前，对于交通出行服务的出票性能层面，竞品测试涉及到的数据抓取及分析，大部分都需要依靠人工去使用竞品产品并记录相关的数据。通过人工的方式获取相关数据时，由于不能连续地对竞品数据进行抓取及记录，故而存在效率低下、数据获取不准确及人工成本高的问题。基于以上数据获取中存在的问题，一些互联网企业也推出了各类的数据抓取方案，例如：D1：百度在线网络技术(北京)有限公司在2015年1月19日申请的申请号为“201510025584”的中国专利，其公开了一种抓取网页数据的方法及系统，方法包括：生成数据模板；根据数据模板以及第一请求数据拼接出第二请求数据；根据第二请求数据执行网页数据的抓取；其中，生成数据模板包括：对待抓取的站点进行网页数据的抓取；截获抓取产生的传输数据；根据传输数据中的各请求数据生成请求数据模板，以及，根据传输数据中的各响应数据生成响应数据模板。D2：北京北纬通信科技股份有限公司在2013年7月30日申请的申请号为“201310325804”的中国专利，其公开了一种业务数据抓取方法和系统，该方法为：配置抓取操作时所需要的规则数据；读取规则数据，根据该规则数据建立网页资源抓取任务，将抓取的网页资源按照配置规则分类进行存储；针对抓取到的网页资源建立数据解析任务，对抓取的网页资源通过解析HTML文档获取需要的资源URI，同时过滤数据不完整的资源；建立资源下载任务，对解析获取到的所述资源URI使用断点续传的方式下载，获得资源数据；根据采集到的资源数据的完整性进行存储或重新抓取，并在抓取操作无法正常结束时发送报告信息。由上述文献可知，目前通过抓取网页资源来获取网页数据已具备较为完善的解决方案，但是，却没有针对交通出行服务的出票性能层面的数据抓取，或者模拟人工去使用竞品产品并记录相关数据的完善的解决方案。为此，本申请提出了一种新的方案。
技术实现思路
本专利技术的目的是提供一种竞品数据抓取方法及系统，其具有数据获取效率高、数据获取精确性高以及数据获取成本低的效果。本专利技术的上述专利技术目的一是通过以下技术方案得以实现的：一种竞品数据抓取方法，包括以下步骤：步骤S1，录入需要抓取的竞品产品的信息；步骤S2，通过自动化测试工具执行预设的抓取脚本，并在生成竞品产品订单后，模拟竞品产品的下单流程；步骤S3，对竞品产品订单的相关爬取数据进行抓取，并将抓取的相关爬取数据存储至数据库中；步骤S4，重复步骤S2和步骤S3，对竞品产品订单的相关爬取数据进行批量的抓取并在数据库中新建一个与该竞品产品相关联的订单列表；步骤S5，抓取订单列表中各个订单的订单状态信息；步骤S6，根据步骤S5中抓取的订单状态信息变更数据库中对应订单的相关信息；步骤S7，不断重复步骤S5和步骤S6，进行竞品产品数据的持续抓取。通过采用上述技术方案，通过自动化测试工具，使用已经开发好的抓取脚本，对指定的竞品产品进行使用，使用过程中，通过抓取脚本竞品产品数据进行抓取。本申请的技术方案解放了人力，降低了竞品数据的抓取成本，提升了数据抓取效率，且有效提高了数据获取的精确性。本专利技术进一步设置为：所述步骤S1包括以下子步骤：步骤S101，录入需要抓取的竞品产品的信息；步骤S102，按照竞品产品的类型对竞品产品进行分类；步骤S103，根据竞品产品的类型跳转至指定的竞品首页。通过采用上述技术方案，能够按照竞品产品的类型对竞品产品进行模拟下单，并对该竞品产品数据进行连续的抓取。本专利技术进一步设置为：所述竞品产品的类型包括网页端竞品和APP端竞品。本专利技术进一步设置为：所述步骤S2包括以下子步骤：步骤S201，通过自动化测试工具解析并执行预设的抓取脚本；步骤S202，按照抓取脚本预设的登录帐号信息及密码信息，登录竞品帐号；步骤S203，生成竞品产品订单并模拟竞品产品的下单流程，通过抓取脚本自动将相关信息填入该订单后，提交该订单；步骤S204，唤起竞品产品可选择的支付方式并选择预设的支付方式支付相关订单。通过采用上述技术方案，可以按照事先写好的抓取脚本模拟竞品产品的下单流程，自动进行竞品产品的下单。对竞品产品进行使用时，抓取脚本还会连续的抓取竞品产品的相关信息并存储至数据库中，解放了人力，在提高了数据抓取效率的同时，也提高了数据抓取的精确性。本专利技术进一步设置为：所述步骤S5包括以下子步骤：步骤S501，监控订单列表中各个订单的订单状态；步骤S502，抓取订单列表中各个订单的订单状态信息；步骤S503，判断订单列表中各个订单的订单状态信息是否有变更，若是则跳转至步骤S6，若否则返回步骤S501。通过采用上述技术方案，能够持续的对订单列表中各个订单的状态进行实时的监控，有效提高了抓取脚本所抓取数据的精确性和抓取效率。本专利技术进一步设置为：所述步骤S6具体包括：根据步骤S5中抓取的订单状态信息变更数据库中对应订单的状态信息、操作时间信息以及处理时间信息。通过采用上述技术方案，订单的状态信息结合订单的用户操作时间信息和订单的系统处理时间信息，可以客观的分析出交通出行服务平台的出票性能。另一方面，订单状态信息还可以包括订单的状态信息、操作时间信息以及处理时间信息的其它方面，通过这些信息，可以精准的找出影响平台出票性能的因素，从而便于工作人员对平台进行改进及性能升级。本专利技术进一步设置为：所述步骤S7包括以下子步骤：步骤701，不断重复步骤S5和步骤S6，进行竞品产品数据的持续抓取；步骤702，达到设定时间后，停止抓取竞品产品数据；步骤703，将数据库中的订单列表信息导出并进行结果展示。通过采用上述技术方案，可将数据库中抓取的数据进行形象的展示，可选的是，数据库中各订单的信息可通过数据列表的方式展示，也可通过树状图或其它示图对订单的信息进行单独或系统的展示，具有方便工作人员对数据进行观察和分析的效果。本专利技术的上述专利技术目的二是通过以下技术方案得以实现的：一种竞品数据抓取系统，包括：系统后台，用于供用户录入需要抓取的竞品产品的信息；测试服务器，用于生成竞品产品订单并模拟竞品产品的下单流程，还用于对所述竞品产品订单的相关爬取数据进行抓取；数据库，用于存储抓取的所述竞品产品订单的相关爬取数据并新建一个与所述竞品产品相关联的订单列表；其中，所述测试服务器还用于抓取订单列表中各个订单的订单状态信息并根据抓取的订单状态信息变更数据库中对应订单的相关信息。通过采用上述技术方案，测试服务器能够对指定的竞品产品进行使用（即生成竞品产品订单并模拟竞品产品的下单流程）。在使用过程中，测试服务器还能够对竞品产品数据进行抓取，并将抓取的数据存储至数据库中，解放了人力，具有数据获取效率高、数据获取精确性高以及数据获取成本低的优点。本专利技术进一步设置为：所述测试服务器包括：测试模块，所述测试模块内预设有自动化测试工具和抓取脚本，所述自动化测试工具用于解析并执行所述抓取脚本；登录模块，用于按照所述抓取脚本预设的登录帐号信息及密码信息登录竞品帐号；配置模块，用于通过所述抓取脚本将相关信息填入竞品产品订单后，提交所述竞品产品订单；支付模块，用于唤起所述竞品产品订单可选择的支付方式并选择预设的支付方式支付相关订单。通过采用上述技术方本文档来自技高网...

【技术保护点】
1.一种竞品数据抓取方法，其特征在于，包括以下步骤：步骤S1，录入需要抓取的竞品产品的信息；步骤S2，通过自动化测试工具执行预设的抓取脚本，并在生成竞品产品订单后，模拟竞品产品的下单流程；步骤S3，对竞品产品订单的相关爬取数据进行抓取，并将抓取的相关爬取数据存储至数据库中；步骤S4，重复步骤S2和步骤S3，对竞品产品订单的相关爬取数据进行批量的抓取并在数据库中新建一个与该竞品产品相关联的订单列表；步骤S5，抓取订单列表中各个订单的订单状态信息；步骤S6，根据步骤S5中抓取的订单状态信息变更数据库中对应订单的相关信息；步骤S7，不断重复步骤S5和步骤S6，进行竞品产品数据的持续抓取。

【技术特征摘要】
1.一种竞品数据抓取方法，其特征在于，包括以下步骤：步骤S1，录入需要抓取的竞品产品的信息；步骤S2，通过自动化测试工具执行预设的抓取脚本，并在生成竞品产品订单后，模拟竞品产品的下单流程；步骤S3，对竞品产品订单的相关爬取数据进行抓取，并将抓取的相关爬取数据存储至数据库中；步骤S4，重复步骤S2和步骤S3，对竞品产品订单的相关爬取数据进行批量的抓取并在数据库中新建一个与该竞品产品相关联的订单列表；步骤S5，抓取订单列表中各个订单的订单状态信息；步骤S6，根据步骤S5中抓取的订单状态信息变更数据库中对应订单的相关信息；步骤S7，不断重复步骤S5和步骤S6，进行竞品产品数据的持续抓取。2.根据权利要求1所述的竞品数据抓取方法，其特征在于，所述步骤S1包括以下子步骤：步骤S101，录入需要抓取的竞品产品的信息；步骤S102，按照竞品产品的类型对竞品产品进行分类；步骤S103，根据竞品产品的类型跳转至指定的竞品首页。3.根据权利要求2所述的竞品数据抓取方法，其特征在于：所述竞品产品的类型包括网页端竞品和APP端竞品。4.根据权利要求1所述的竞品数据抓取方法，其特征在于，所述步骤S2包括以下子步骤：步骤S201，通过自动化测试工具解析并执行预设的抓取脚本；步骤S202，按照抓取脚本预设的登录帐号信息及密码信息，登录竞品帐号；步骤S203，生成竞品产品订单并模拟竞品产品的下单流程，通过抓取脚本自动将相关信息填入该订单后，提交该订单；步骤S204，唤起竞品产品可选择的支付方式并选择预设的支付方式支付相关订单。5.根据权利要求1所述的竞品数据抓取方法，其特征在于，所述步骤S5包括以下子步骤：步骤S501，监控订单列表中各个订单的订单状态；步骤S502，抓取订单列表中各个订单的订单状态信息；步骤S503，判断订单列表中各个订单的订单状态信息是否有变更，若是则跳转至步骤S6，若否则返回步...

【专利技术属性】
技术研发人员：周浪，吴文言，管理，
申请(专利权)人：苏州创旅天下信息技术有限公司，
类型：发明
国别省市：江苏,32