基于分布式爬虫的批量部署python运行环境的方法及装置制造方法及图纸

本发明专利技术为了解决现有技术中存在的问题，创新提出了一种基于分布式爬虫的批量部署python运行环境的方法，包括：在配置文件中加载目标服务器信息，根据服务器列表创建环境部署的线程任务Task；根据环境部署线程任务，在目标服务器上部署python运行环境；运行爬虫程序，获取爬虫数据，通过python实时监控爬虫数据，本发明专利技术还提出了一种基于分布式爬虫的批量部署python运行环境的装置，有效解决了由于在部署多个爬虫运行环境时逐一配置部署步骤繁琐、时间长的问题，有效的提高了部署的效率。

The method and device of mass deploying Python running environment based on distributed crawler

【技术实现步骤摘要】
基于分布式爬虫的批量部署python运行环境的方法及装置
本专利技术涉及python运行环境部署领域，尤其是涉及基于分布式爬虫的批量部署python运行环境的方法及装置。
技术介绍
python是一种跨平台的计算机程序设计语言，是一种面向对象的动态类型语言，最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越来越多被用于独立的、大型项目的开发。网络爬虫是一种按照一定的规则，自动地抓取网络信息的程序或者脚本，通过程序去获取web页面上需要的数据。在大规模爬虫项目中，需要部署多个爬虫运行环境。目前多个爬虫运行环境的部署主要是通过人工逐一实现的。但是python的运行环境比较繁琐，第三方包及依赖关系复杂，逐一配置服务器主机环境是十分耗费浪费人力及时间的，不利于提高部署效率。
技术实现思路
本专利技术为了解决现有技术中存在的问题，创新提出了一种基于分布式爬虫的批量部署python运行环境的方法及装置，有效解决了由于在部署多个爬虫运行环境时逐一配置部署步骤繁琐、时间长的问题，有效的提高了本文档来自技高网...

【技术保护点】
1.基于分布式爬虫的批量部署python运行环境的方法，其特征是，包括：/n在配置文件中加载目标服务器信息，根据服务器列表创建环境部署的线程任务Task；/n根据环境部署线程任务，在目标服务器上部署python运行环境；/n运行爬虫程序，获取爬虫数据，通过python实时监控爬虫数据。/n

【技术特征摘要】
1.基于分布式爬虫的批量部署python运行环境的方法，其特征是，包括：
在配置文件中加载目标服务器信息，根据服务器列表创建环境部署的线程任务Task；
根据环境部署线程任务，在目标服务器上部署python运行环境；
运行爬虫程序，获取爬虫数据，通过python实时监控爬虫数据。


2.根据权利要求1所述的基于分布式爬虫的批量部署python运行环境的方法，其特征是，在配置文件中加载目标服务器信息之前还包括：引入多个插件，所述插件包括com.jcraft.jsch.Session，com.jcraft.jsch.SftpException。


3.根据权利要求1所述的基于分布式爬虫的批量部署python运行环境的方法，其特征是，所述目标服务器信息包括IP、用户名、密码。


4.根据权利要求1所述的基于分布式爬虫的批量部署python运行环境的方法，其特征是，每个线程任务Task对应一台目标服务器。


5.根据权利要求1所述的基于分布式爬虫的批量部署python运行环境的方法，其特征是，在目标服务器上部署python运行环境具体包括：
将python安装包以及第三方包上传至目标服务器目录中；
依次安装Gcc安装包以及python安装包、第三方包；
复制python独立的虚拟环境，在python安装包中，安装python第三方库；
安装完成后，激活python独立的虚拟环境。


6.基...

【专利技术属性】
技术研发人员：刘小雪，李欣，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32