大数据分析的就业推荐系统(附件)
目录
摘要1
关键词1
Abstract1
Key words1
1.选题背景 2
1.1 问题的提出 2
1.2 国内外研究状况 2
1.3 研究的目的和内容 2
2 开发平台及应用技术 2
2.1 Storm大数据平台简介 2
2.2 MYSQL数据库概述 2
2.3 SSM框架概述 2
2.4 JAVA网络爬虫简介 3
3 数据来源、数量及采集方法 3
3.1 就业信息网站 3
3.2 数据量 3
3.3 采集方法 3
4 系统流程概述 4
4.1 系统流程图 4
4.1.1 大数据实时处理以及爬虫 4
4.1.2 添加简历 5
4.1.3 查询相关数据 5
4.1.4 匹配合适职位 6
4.2 设计流程图 7
4.3 ER系统图 8
5 系统关键模块及重难点 9
5.1 爬取所有职位网页URL 9
5.1.1 简要步骤 9
5.1.2 算法流程图 10
5.2 分析所有招聘职位信息 11
5.2.1 简要步骤 11
5.2.2 算法流程图 12
5.3 爬虫及正则表达式 13
5.3.1 爬虫获取职位信息 13
5.3.2 爬虫获取职位公司名称、薪水以及工作地点 14
5.3.3 爬虫及正则表达式的效率以及准确度 14
5.4 大数据实时分析平台Storm 15
5.4.1 选择Storm的原因 15
5.4.2 Spout和Bolt的拓扑结构 15
5.5 简历文字的处理 16
5.5.1 文字处理算法选择 16
5.5.2 hanlp分析关键短语以及总结关键句子 16
5.6 数据库匹配查询语句 18
5.7 前后端传值 *好棒文|www.hbsrm.com +Q: #351916072#
19
5.7.1 算法流程图 19
6 系统功能测试及实现 20
6.1 搜工作和查看网址 20
6.1.1 搜索工作岗位 20
6.1.2 查看岗位具体网址 20
6.2 添加、分析、保存简历 21
6.2.1 添加简历 21
6.2.2 分析简历 21
6.2.3 保存简历 22
6.3 搜简历和匹配工作 22
6.3.1 搜简历 22
6.3.2 匹配合适的岗位 23
7 总结和展望 24
基于大数据分析的就业推荐系统
引言
引言
1.选题背景
1.1 问题的提出
1.2 国内外研究状况
随着国内外大数据分析的技术日益成熟,使得计算机自动抓取各大网站上的招聘消息并筛选、排名出最符合该求职者的招聘要求,成为了可能。[6]主要使用了大数据,就业者可以只需输入个人的信息,甚至只需导入个人的完整简历,就能够由计算机系统为其自动查找到合适的职位并投递简历,这样可以大大节约求职者在网络上盲目搜索职位所浪费的时间。达到精确查找、精准就业。
1.3 研究的目的和内容
由于本人对计算机行业就业就业要求深有了解,因此本次就业推荐系统从计算机行业的就业信息入手,分别对:就业的公司名、公司该职位薪水、该职业要求的必须能力、优选的能力、以及工作经验等等进行分析处理。
预期结果:将从各大网站上爬取的招聘信息分类、汇总,可以搜寻出所有计算机岗位中所需求能力的关键词,然后根据用户输入的自己的学习情况和IT技能情况,分析出最符合用户需求的多条数据,供用户选择。如果用户对于岗位的工作时间,薪资,工作地点有相应的要求,系统也可以给予满足。
最终可以实现从大数据网络上面精确地查找就业信息并将这些数据分类和分析,提供给需要就业的人进行个性化选择,也可以通过分析用户的个人简历,来分析出用户的特长,并在就业大数据信息中进行搜寻,找到合适的工作,实现就业者对公司的高效率查找和选择。
2 开发平台及应用技术
2.1 Storm大数据平台简介
Storm是大数据实时计算系统,它是开源的、主要用于分布式计算的系统。它采用了简单的编程模型,降低了并行的复杂度,最主要的功能还是高效实时,以及Storm自带的本地模式,它可以利用本地模式得以在单一主机上进行开发和使用。其中主要的实现方案就是Spout作为消息源,Bolt作为消息处理者,对消息源传来的数据做实时分析。[2]
2.2 MYSQL数据库概述
MYSQL是一个管理关系数据库的系统,由于是开源的系统,因此个人和小型的企业使用起来都会很方便并且成本低,在个人开发使用上面,可以搭配Navicat for MySQL一起使用,可以给我们比较人性化的数据库管理体验和直观的操作数据库。[1][4]
2.3 SSM框架概述
SSM框架全称是Spring、Spring MVC、Mybatis框架,是一个开源的轻量级框架,适用于数据来源比较简单的Web项目。[10]
版权保护: 本文由 hbsrm.com编辑,转载请保留链接: www.hbsrm.com/jsj/wljs/410.html