就业技能需求分析系统技术方案

本发明专利技术公开了一种就业技能需求分析系统，包括数据采集与存储模块、数据预处理模块、数据分析模块和数据可视化模块。所述数据可视化模块，对MySQL数据库进行可视化展示。本发明专利技术用网络爬虫、数据挖掘和数据可视化等大数据技术对招聘网站的海量招聘职位信息进行采集与分析，帮助就业者提前了解自己所学专业的岗位技能要求，对企业岗位和薪资待遇等进行评估，有针对性地学习相应的专业技能，更好地为就业做准备。准备。准备。

【技术实现步骤摘要】
就业技能需求分析系统


[0001]本专利技术属于数据分析领域，特别是一种基于大数据技术的大学生就业技能需求分析系统。

技术介绍

[0002]近年来，随着毕业生数量的逐年增多，大学生毕业生的就业形势愈发严峻，应届毕业生的就业工作，已经成为当今社会普遍关注的热点问题。同时随着互联网技术的发展，越来越多的招聘企业和求职者利用网络发布信息。网络招聘因其覆盖面广、时效性强、成本低等特点，逐渐成为大学毕业生求职的主要方式。但是如今，互联网求职信息平台泛滥，每个平台都登载着海量的招聘信息，招聘企业在招聘过程中对职位描述不清晰，缺乏对岗位职责和技能要求的重点描述，求职者难以有针对性地求职应聘。招聘平台无法根据大学生求职者自身条件做合理推荐，大学生只能犹如海底捞针般在海量信息中筛选。利用大数据技术获取招聘数据的能力显著增强，如何对海量数据进行有效分析，帮助大学生有针对性学习就业所需技能，如何应用信息技术更好地为学生就业服务，成为用人单位和高校亟待解决的问题。

技术实现思路

[0003]本专利技术提供一种就业技能需求分析系统，包括数据采集与存储模块、数据预处理模块、数据分析模块和数据可视化模块；
[0004]所述数据采集与存储模块，为获取大量具有时效性的招聘信息数据，对招聘求职网站的招聘信息进行采集，分析网页结构，编写分布式爬虫程序，将获取的职位数据，存储到Hadoop分布式存储系统中；
[0005]所述数据预处理模块，确定数据分析字段，编写数据预处理程序，将采集到的繁杂多样、不完整、重复和错误的数据进行清洗、转换，得到结构化的数据再存储到Hadoop分布式存储系统中；
[0006]所述数据分析模块，建立Hive数据仓库并装载预处理后的结构化数据，利用Hive对数据进行分析，提炼对就业求职有价值的信息，将分析结果导入到MySQL数据库；
[0007]所述数据可视化模块，对MySQL数据库进行可视化展示。
[0008]进一步的，所述数据采集与存储模块，采用Scrapy分布式爬虫框架实现招聘网站数据的爬取；具体步骤包括：
[0009]S1、确定爬取对象；
[0010]S2、分析网页结构；
[0011]S3、编写Scrapy爬虫程序。
[0012]进一步的，S1中，爬取内容主要包括招聘职位、薪资、工作经验、学历要求、公司名称、所在行业、工作职责、任职要求和工作地址，爬取的海量职位数据存储到Hadoop分布式存储系统中，以便进行数据处理和分析。
[0013]进一步的，S2中，需要对网页进行分析，并找出信息元素的相似性；使用浏览器自带的开发者工具可以非常方便的分析网页结构，查看HTML代码，对需要的网页元素进行审查，为编写爬虫程序做准备。
[0014]进一步的，S3中，爬虫的基本流程主要分为发起请求、解析内容、获取响应内容和保存数据；首先通过HTTP向目标站点发起request请求，等待服务器响应；如果服务器能正常响应，会得到一个包含所要获取页面内容的response，类型有HTML、JSON字符串、二进制数据中的一种或多种类型。
[0015]进一步的，所述数据采集与存储模块，采用Hadoop分布式存储系统，包括三个节点：一台主节点为Master，两台从节点为Slave1和Slave2；每个节点上都安装、配置JDK和Hadoop，并在主从节点之间建立SSH无密钥登录；Master节点上主要运行NameNode和DataNode进程，Slave1和Slave2节点上主要运行DataNode进程。
[0016]进一步的，所述数据预处理模块确定数据分析字段的维度包括行业、城市、技能、薪资和福利中的一个或多个。
[0017]进一步的，所述数据可视化模块，将地区热门岗位统计情况、求职岗位地区分布情况、地区岗位薪资福利数据对比情况，以及不同岗位所需技能分析情况的分析结果，进行Web可视化展示。
[0018]进一步的，所述数据可视化模块，采用的可视化展示方法包括Flex、JQuery和Echarts中的一种或几种。
[0019]一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上所述的就业技能需求分析系统。
[0020]本专利技术的有益效果是：
[0021]用网络爬虫、数据挖掘和数据可视化等大数据技术对招聘网站的海量招聘职位信息进行采集与分析，帮助大学生提前了解自己所学专业的岗位技能要求，对企业岗位和薪资待遇等进行评估，有针对性地学习相应的专业技能，更好地为就业做准备。
附图说明
[0022]图1为大学生就业技能需求分析系统架构图；
[0023]图2为集群结构及IP分布图；
[0024]图3为MapReduce数据预处理过程；
[0025]图4为数据仓库模型；
[0026]图5为可视化模块架构图；
[0027]图6为实施例中招聘职位所在行业需求分布图；
[0028]图7为实施例中招聘职位所在城市分布；
[0029]图8为实施例中Java技能标签词云图；
[0030]图9为实施例中Android技能标签词云图；
[0031]图10为岗位薪资占比图；
[0032]图11为福利标签词云图。
具体实施方式
[0033]本系统利用爬虫技术从企业招聘网站获取海量招聘数据，存入Hadoop集群，经过数据预处理后，再利用数据挖掘技术对企业招聘职位的相关维度进行数据分析，最后利用可视化工具将分析结果进行可视化展示。
[0034]如图1所示，系统开发主要包括招聘信息的数据采集、数据存储、数据处理、数据分析和数据可视化等环节，具体可分为四个模块，分别是
①
数据采集与存储模块。为获取大量具有时效性的招聘信息数据，采用Scrapy爬虫框架对某热门招聘求职网站的招聘信息进行采集，分析网页结构，编写分布式爬虫程序，将获取的职位数据，存储到Hadoop分布式存储系统(HDFS)中。
②
数据预处理模块。从行业、城市、技能、薪资和福利五个维度确定数据分析字段，编写数据预处理程序，将采集到的繁杂多样、不完整、重复和错误的数据进行清洗、转换等处理，得到结构化的数据再存储到HDFS中。
③
数据分析模块。建立Hive数据仓库并装载预处理后的结构化数据，利用Hive对五个维度的数据进行分析，提炼对大学生就业求职有价值的信息，将分析结果导入到MySQL数据库。
④
数据可视化模块。将地区热门岗位统计情况、求职岗位地区分布情况、地区岗位薪资福利数据对比情况，以及不同岗位所需技能分析情况的分析结果，利用Flex、JQuery和Echarts等技术对MySQL数据库中的数据进行Web可视化展示，为大学生就业分析提供更有效的决策。
[0035]招聘网站职位信息的数据采集借助Scrapy爬虫框本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种就业技能需求分析系统，其特征在于，包括数据采集与存储模块、数据预处理模块、数据分析模块和数据可视化模块；所述数据采集与存储模块，为获取大量具有时效性的招聘信息数据，对招聘求职网站的招聘信息进行采集，分析网页结构，编写分布式爬虫程序，将获取的职位数据，存储到Hadoop分布式存储系统中；所述数据预处理模块，确定数据分析字段，编写数据预处理程序，将采集到的繁杂多样、不完整、重复和错误的数据进行清洗、转换，得到结构化的数据再存储到Hadoop分布式存储系统中；所述数据分析模块，建立Hive数据仓库并装载预处理后的结构化数据，利用Hive对数据进行分析，提炼对就业求职有价值的信息，将分析结果导入到MySQL数据库；所述数据可视化模块，对MySQL数据库进行可视化展示。2.根据权利要求1所述的就业技能需求分析系统，其特征在于，所述数据采集与存储模块，采用Scrapy分布式爬虫框架实现招聘网站数据的爬取；具体步骤包括：S1、确定爬取对象；S2、分析网页结构；S3、编写Scrapy爬虫程序。3.根据权利要求2所述的就业技能需求分析系统，其特征在于，S1中，爬取内容主要包括招聘职位、薪资、工作经验、学历要求、公司名称、所在行业、工作职责、任职要求和工作地址，爬取的海量职位数据存储到Hadoop分布式存储系统中，以便进行数据处理和分析。4.根据权利要求2所述的就业技能需求分析系统，其特征在于，S2中，需要对网页进行分析，并找出信息元素的相似性；使用浏览器自带的开发者工具可以非常方便的分析网页结构，查看HTML代码，对需要的网页元素进行审查，为编写爬虫程序做准备。5.根据权利要求2所述的就业技能需求分析系统，其特征在于，S3中，爬虫的基本流程主要...

【专利技术属性】
技术研发人员：李海波，
申请(专利权)人：江苏开放大学江苏城市职业学院，
类型：发明
国别省市：