一种用于电子商务平台的数据采集系统技术方案

本发明专利技术提供一种用于电子商务平台的数据采集系统，包括爬取模块、入库模块、定时任务模块和数据下载模块，所述爬取模块根据定时任务模块定义的时间定时爬取网站数据，并将爬取数据传输到入库模块，所述入库模块向数据库存入爬取数据；所述数据下载模块用于将数据放到网站供用户下载，可以采集同类型商品在其他购物平台中的价格、质量等信息，从而实现电子商务平台中的商品与其他平台的商品做横向对比，进而更好的提升用户购物体验，满足用户购物需求。

A data acquisition system for electronic commerce platform

The invention provides a data acquisition system for e-commerce platform, including crawling module, storage module, timing module and data download module, the crawling module according to the timing module defined time crawling and crawling the web data, transmit data to the storage module, the storage module to the database to climb from the data; the data download module is used to convert the data into a website for users to download, price, quality and other information can be collected with the type of goods in other shopping platform, so as to realize e-commerce platform of goods and other goods platform do horizontal comparison, to enhance the user's shopping and better meet the user experience, shopping demand.

【技术实现步骤摘要】
一种用于电子商务平台的数据采集系统
本专利技术涉及数据采集领域，具体涉及一种用于电子商务平台的数据采集系统。
技术介绍
随着信息技术应用和经济发展需求的推动，电子商务成为对社会发展具有重要引领作用的新型产业。电子商务平台在其中扮演了重要的角色，其通过在网上为用户和卖家建立一个沟通平台，不受地理空间及时间限制，可以随时进行各种商业和贸易活动，但是目前电子商务平台侧重点在于根据用户请求对产品进行搜索排序，例如公开号为CN106296347的专利技术专利申请，公开了一种电子商务交易平台，其通过接受用户端的搜索请求，检索与之匹配的产品，并进行排序等等，其缺点在于仅能对电子商务平台内数据进行排序并结果显示，鉴于目前电子商务的迅猛发展，各种电子商务平台迅速出现，各个平台之间的数据缺少比对，用户使用时难以对整个网络横向的数据进行整体把握，例如同类型商品的价格比较难以实现，用户购物体验欠佳。
技术实现思路
针对现有技术的缺点，本专利技术提供一种用于电子商务平台的数据采集系统，针对目前网上购物平台中，客户较多关注的是同类型商品的性价比的特点，本专利技术可以采集同类型商品在其他购物平台中的价格、质量等信息，本文档来自技高网...

【技术保护点】
一种用于电子商务平台的数据采集系统，其特征在于：包括爬取模块、入库模块、定时任务模块和数据下载模块，所述爬取模块根据定时任务模块定义的时间定时爬取网站数据，并将爬取数据传输到入库模块，所述入库模块向数据库存入爬取数据；所述数据下载模块用于将数据放到网站供用户下载。

【技术特征摘要】
1.一种用于电子商务平台的数据采集系统，其特征在于：包括爬取模块、入库模块、定时任务模块和数据下载模块，所述爬取模块根据定时任务模块定义的时间定时爬取网站数据，并将爬取数据传输到入库模块，所述入库模块向数据库存入爬取数据；所述数据下载模块用于将数据放到网站供用户下载。2.根据权利要求1所述的用于电子商务平台的数据采集系统，其特征在于：所述的爬取模块包括数据采集规则获取模块，用于获取用户的数据采集规则；数据采集规则配置模块，用于将数据采集规则配置到数据采集系统当中；数据采集任务创建模块，用于根据配置的数据采集规则创建数据采集任务；数据采集任务展示模块，用于展示出用户创建的任务，并展示出任务状态；数据查看和导出模块，以任务列表为入口查看采集到的数据，用户可以将采集到的数据导出为excel、xml、html、txt、zip或rar格式；数据加密模块，用于对采集到的数据进行加密。3.根据权利要求2所述的用于电子商务平台的数据采集系统，其特征在于：所述数据采集规则分为两种模式，一是向导模式，适用于以下场景：1)单网页采集；2)列表采集；3)翻页采集，其查询结果分布展示，每页采集规则相同；二是自定义模式，用于多种网页数据采集，支持用户导出、导入多个数据采集规则。4.根据权利要求2所述的用于电子商务平台的数据采集系统，其特征在于：所述数据采集任务状态分为：未执行、运行中、已暂停、已完成；对于未执行状态的任务，用户可以启动任务，进行数据采集；对于运行中的任务，用户可进行定暂停/取消操作；对于已暂停的任务...

【专利技术属性】
技术研发人员：刘鑫，
申请(专利权)人：玖壹富瑞北京科技有限公司，
类型：发明
国别省市：北京,11