一种抓取商城网站多级菜单并保存的方法技术

本发明专利技术涉及SpringBoot平台技术领域，特别涉及一种抓取商城网站多级菜单并保存的方法。本发明专利技术方法如下：一、创建存储菜单的数据表；二、在项目中创建菜单对应的实体类；三、搭建Druid定时器环境及任务；四、引入爬虫jar包，创建菜单爬虫Job；五、分析要抓取的网站；六、扫描第一级目录，完毕后扫描二级、三级目录，并通过对应的标签抓取数据；七、解析添加到数据库中。本发明专利技术解决了抓取菜单数据无规律，得到的数据混乱的问题。

A method of grabbing and saving multi-level menu of shopping mall website

【技术实现步骤摘要】
一种抓取商城网站多级菜单并保存的方法
本专利技术涉及SpringBoot
，特别涉及一种抓取商城网站多级菜单并保存的方法。
技术介绍
在开发类似购物商城网站的时候，经常会参考模仿甚至抄袭一些有价值网站内容或界面，从中获取一些有用的数据以及数据结构做为已用，像购物网站的菜单分类数据。这些数据在网站平时显示的时候都是折叠隐藏的，要想获得这些数据，如果使用手工记录，就必须逐层去点击，挨个查看记录，这种做法非常麻烦，费时费力，且不能拷贝其对应的层次关系。本专利技术在基于SpringBoot平台技术的基础上，使用爬虫技术实现逐层爬取，并按层次关系进行数据保存，解决了上述的问题。
技术实现思路
本专利技术解决的技术问题在于提供一种抓取商城网站多级菜单并保存的方法；本专利技术解决了抓取菜单数据无规律，得到的数据混乱的问题。本专利技术解决上述技术问题的技术方案是：一、创建存储菜单的数据表；二、在项目中创建菜单对应的实体类；三、搭建Druid定时器环境及任务；四、引入爬虫jar包，创建菜单爬虫Job；五、分析要抓取的网站本文档来自技高网...

【技术保护点】
1.一种抓取商城网站多级菜单并保存的方法，其特征在于：一、创建存储菜单的数据表；二、在项目中创建菜单对应的实体类；三、搭建Druid定时器环境及任务；四、引入爬虫jar包，创建菜单爬虫Job；五、分析要抓取的网站；六、扫描第一级目录，完毕后扫描二级、三级目录，并通过对应的标签抓取数据；七、解析添加到数据库中；从而本专利技术解决了抓取菜单数据无规律，得到的数据混乱的问题。/n

【技术特征摘要】
1.一种抓取商城网站多级菜单并保存的方法，其特征在于：一、创建存储菜单的数据表；二、在项目中创建菜单对应的实体类；三、搭建Druid定时器环境及任务；四、引入爬虫jar包，创建菜单爬虫Job；五、分析要抓取的网站；六、扫描第一级目录，完毕后扫描二级、三级目录，并通过对应的标签抓取数据；七、解析添加到数据库中；从而本发明解决了抓取菜单数据无规律，得到的数据混乱的问题。


2.根据权利要求1所述的基于SpringBoot平台的一种抓取商城网站多级菜单并保存的方法，其特征在于：抓取时按层级的关系对菜单内容进行抓取，存储时按原样的层级关系进行保存；所述的方法具体包括如下步骤：

【专利技术属性】
技术研发人员：陈林，张来卿，庞严冬，
申请(专利权)人：珠海横琴盛达兆业科技投资有限公司，
类型：发明
国别省市：广东;44