【技术实现步骤摘要】
本专利技术涉及大数据分析，尤其是涉及一种基于大数据的就业情况分析系统。
技术介绍
1、就业是民生之本，也是社会经济发展的基础与前提。实现社会的充分就业，提高人力资源的运营效率，是实现就业与社会经济良性互动的必然选择。从经济学的角度来看，就业的本质是指生产资料与人结合后的生产劳动。就目的而言，就业，从个人的角度来看，是每一个劳动者生存的经济基础和基本保障，也是其融入社会、共享发展成果的基本条件；从用人单位角度来看，则是找到合适的人才，以推动本单位的生存发展；从政府的角度来看，是实现双方需求的共同满足，进而促进社会经济的健康发展，通过促进经济和社会发展，创造就业条件，扩大就业机会。
2、当前，现有技术之中从业人员常用的实现就业的形式为，从业人员通过不同的招聘网站对满足自己要求和自己能够达到的工作岗位进行查询并投递简历等操作。但是在实际的操作过程中，一方面，因为每个招聘网站的内部会有大量的数据，这些数据中存在很多的重复数据和虚假数据，而就业人员在使用这些数据时缺乏辨认能力，一方面选择不便，另一方面易受到虚假就业数据的影响，不利于从而人员的就业。
3、在另一方面，仅通过招聘网站的就业操作局限性大，对于一些如政府、科研机构或高校发布的就业信息无法实现及时的采集，从而导致就业信息局限性大且与符合人员的匹配度低，不利于精准就业。
技术实现思路
1、本专利技术目的在于提供一种基于大数据的就业情况分析系统，具有就业数据来源广和实现精准就业等特点，能够克服现有技术的就业数据来源
2、为了达到上述目的，本专利技术提供的一种基于大数据的就业情况分析系统，具体实施方案如下：
3、一种基于大数据的就业情况分析系统，包括大数据网络抓取技术模块、数据存储模块、数据处理分析模块、算法模块以及平台模块；
4、所述大数据网络抓取技术模块用于获取网络大数据中关于就业情况的各项数据信息；
5、所述数据存储模块用于对所述大数据网络抓取技术模块获取到的各项数据信息进行存储操作；
6、所述数据处理分析模块用于调取数据存储模块内存储的关于就业情况的数据，对数据进行错误处理、缺失值处理、离群值处理和去停用词处理，并对数据处理结果进行分析，得出分析结果；
7、所述算法模块内存储有分析系统运行所需的各种算法，用于根据数据处理分析模块的不同处理步骤调取相应操作所需的算法；
8、所述平台模块用于可视化系统、模型部署操作、数据的展示以及人机交互的操作。
9、本专利技术的一种基于大数据的就业情况分析系统，相对于现有技术，通过大数据网络抓取技术模块利用大数据网络抓取技术爬取各个网站上各个企业所发布与大数据相关的岗位信息并保存到数据存储模块中，使得就业数据来源广，同时使用数据处理及分析模块对数据进行分析，最后得到了一组相对客观的大数据岗位职业技能需求信息并利用平台模块展出出来，从而便于就业人员利用人机交互的方式清晰且准确地找到就业岗位，实现精准就业，具有就业数据来源广和实现精准就业等特点，能够克服现有技术的就业数据来源单一且就业匹配度低的缺陷。
10、在其中一些实施例中，所述大数据网络抓取技术模块的实现包括以下步骤：
11、s11：明确抓取技术的抓取目标，根据抓取目标以及抓取需求选择指定的抓取网站，对指定抓取网站的数据进行爬取操作；
12、s12：分析待解析的页面信息，得到指定抓取网站的大数据岗位搜索结果页面及岗位详情页面的信息；
13、s13：编写抓取技术，编写出指定的抓取技术程序对页面内的信息内容进行提取，以此获得网络大数据中关于就业情况的各项数据信息。
14、在其中一些实施例中，所述数据处理及分析模块的实现包括以下步骤：
15、s21：筛选数据，将不符合要求的数据进行过滤；
16、s22：数据处理和分析，对数据进行错误处理、缺失值处理、离群值处理和去停用词处理，并对数据处理结果进行分析；
17、s23：数据结果的统计，将分析后的数据结果以指定的形式归类统计。
18、在其中一些实施例中，所述网络大数据中关于就业情况的各项数据信息包括行业企业发展白皮书信息、高校发布信息、企业发布信息、政府补贴信息、人才培养信息、人才论坛信息以及大数据人才画像信息。
19、在其中一些实施例中，所述行业企业发展白皮书信息包括各行各业中的发展现状和未来发展趋势信息；
20、所述高校发布信息包括最新技术研究成果及科研团队、公开向企业招标相关合作项目及科研成果转化方式以及权责分明；
21、所述企业发布信息包括企业人才招聘公告和技术及人才需求方向信息；
22、所述政府补贴信息包括国家重点发展产业方向及相关项目补贴、政府主导重点建设项目公开向企业以及高校招标信息；
23、所述人才培养信息包括以产业学院为试点的大一通识教育与职业技能、大二专业基础课以及大三参与企业工作小组信息；
24、所述人才论坛信息为举办政企校协多方论坛会议的信息；
25、所述大数据人才画像信息包括行业人才需求量信息、行业岗位需求统计分析信息、行业岗位需求人才画像信息、人才专业能力信息以及人才综合素质信息。
26、在其中一些实施例中，所述数据存储模块由大数据中心和边云协同部署组成。
27、在其中一些实施例中，所述算法模块内包括神经网络算法模型、领域知识图谱模型和容器集群调度机制模型。
28、在其中一些实施例中，所述平台模块包括城市分布模块、就业去向模块、就业岗位分布模块、薪资水平模块、平均工作时长模块以及工作年限模块。
29、在其中一些实施例中，所述城市分布模块通过大数据网络抓取技术模块利用大数据抓取技术获取字段graduate_year_bachelor(本科毕业年份)，为-1或是空的，然后查edu_exp(教育经历),college符合当前查询的学校,degree为本科；根据period年份+4推算出毕业年份，如果period年份为空，则记为空，其中，同一年为空，代表填入的起始年份和结束为同一年，此时说明未毕业，需对年份+4，-1代表为毕业年份，学历的正常年长，完成对城市分布内就业人员的毕业年份，教育经历，学校，学历程度以及毕业年份的查询，从而确定毕业就业人员在指定城市内部的分布情况；
30、所述就业去向模块通过大数据网络抓取技术模块利用大数据抓取技术获取字段cur_ilndustry(最近工作行业)，剔除无效数据后展示计算得出多年或一年的前十行业占总行业的占比；
31、所述就业岗位分布模块包括目前岗位模块和期望岗位模块组成；
32、目前岗位模块通过大数据网络抓取技术模块利用大数据抓取技术获取字段curr_job(最近工作岗位)，或者从字段work_exp(工作经验)中选post(职位)作为岗位，剔除无效数据后展示计算得出的多年或一年本文档来自技高网...
【技术保护点】
1.一种基于大数据的就业情况分析系统，其特征在于，包括大数据网络抓取技术模块、数据存储模块、数据处理分析模块、算法模块以及平台模块；
2.如权利要求1所述的基于大数据的就业情况分析系统，其特征在于，所述大数据网络抓取技术模块的实现包括以下步骤：
3.如权利要求1或2所述的基于大数据的就业情况分析系统，其特征在于，所述数据处理及分析模块的实现包括以下步骤：
4.如权利要求1所述的基于大数据的就业情况分析系统，其特征在于，所述网络大数据中关于就业情况的各项数据信息包括行业企业发展白皮书信息、高校发布信息、企业发布信息、政府补贴信息、人才培养信息、人才论坛信息以及大数据人才画像信息。
5.如权利要求4所述的基于大数据的就业情况分析系统，其特征在于，所述行业企业发展白皮书信息包括各行各业中的发展现状和未来发展趋势信息；
6.如权利要求1所述的基于大数据的就业情况分析系统，其特征在于，所述数据存储模块由大数据中心和边云协同部署组成。
7.如权利要求1所述的基于大数据的就业情况分析系统，其特征在于，所述算法模块内包括神经
8.如权利要求1所述的基于大数据的就业情况分析系统，其特征在于，所述平台模块包括城市分布模块、就业去向模块、就业岗位分布模块、薪资水平模块、平均工作时长模块以及工作年限模块。
9.如权利要求8所述的基于大数据的就业情况分析系统，其特征在于，所述城市分布模块通过大数据网络抓取技术模块利用大数据抓取技术获取字段graduate_year_bachelor(本科毕业年份)，为-1或是空的，然后查edu_exp(教育经历),college符合当前查询的学校,degree为本科；根据period年份+4推算出毕业年份，如果period年份为空，则记为空，其中，同一年为空，代表填入的起始年份和结束为同一年，此时说明未毕业，需对年份+4，-1代表为毕业年份，学历的正常年长，完成对城市分布内就业人员的毕业年份，教育经历，学校，学历程度以及毕业年份的查询，从而确定毕业就业人员在指定城市内部的分布情况；
10.如权利要求9所述的基于大数据的就业情况分析系统，其特征在于，所述薪资水平模块通过大数据网络抓取技术模块利用大数据抓取技术获取字段curr_income_by_month(目前月薪)以及字段expect_salary_month(期望月薪)，剔除无效数据后展示按照预设的薪资分类排列的一个年份或多个年份的目前月薪和期望月薪数据，以及计算得出每段薪资人数在总人数中的比例的数据；
...【技术特征摘要】
1.一种基于大数据的就业情况分析系统，其特征在于，包括大数据网络抓取技术模块、数据存储模块、数据处理分析模块、算法模块以及平台模块；
2.如权利要求1所述的基于大数据的就业情况分析系统，其特征在于，所述大数据网络抓取技术模块的实现包括以下步骤：
3.如权利要求1或2所述的基于大数据的就业情况分析系统，其特征在于，所述数据处理及分析模块的实现包括以下步骤：
4.如权利要求1所述的基于大数据的就业情况分析系统，其特征在于，所述网络大数据中关于就业情况的各项数据信息包括行业企业发展白皮书信息、高校发布信息、企业发布信息、政府补贴信息、人才培养信息、人才论坛信息以及大数据人才画像信息。
5.如权利要求4所述的基于大数据的就业情况分析系统，其特征在于，所述行业企业发展白皮书信息包括各行各业中的发展现状和未来发展趋势信息；
6.如权利要求1所述的基于大数据的就业情况分析系统，其特征在于，所述数据存储模块由大数据中心和边云协同部署组成。
7.如权利要求1所述的基于大数据的就业情况分析系统，其特征在于，所述算法模块内包括神经网络算法模型、领域知识图谱模型和容器集群调度机制模型。
8.如权利要求1所述的基于大数据的就业情况分析系统，其特征在于，所述平...
【专利技术属性】
技术研发人员：徐诗琦，孙颖荪，
申请(专利权)人：广州番禺职业技术学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。