互联网大数据岗位分析与智能推荐平台设计与实现(源码)【字数：11568】
摘 要随着互联网的蓬勃发展，整个社会正在朝着信息化、智能化的方向前进，且随着时代的不断进步，人类社会对于人才的需求会越来越大，传统的招聘方式已经满足不了社会的需求，传统的招聘方式不仅受空间和时间的限制，而且给很多人带去不便，让很多人才失去了找到合适工作的机会。本文针对实际互联网的招聘需求，基于大数据技术构建了一个招聘数据智能分析平台。本平台主要由招聘分析数据可视化和个性化推荐系统两部分组成。招聘分析数据可视化模块是将采集到的大量互联网招聘数据，利用CDH分布式集群进行数据处理与分析操作，并且将数据分析好的各项结果通过精美的Web可视化技术进行展示。个性化推荐系统主要使用基于Item的协同过滤算法进行推荐，并且还使用机器学习的聚类算法对招聘数据集进行特征构建与模型构建，利用模型对职位进行分类。这样求职者们能对职位的划分与热门程度有更深的了解，也能让企业招到合适的人才。该平台页面精美、性能良好，且具有交互便捷、易于使用等优点，不仅较好地满足了求职者和招聘企业的实际需求，推动了社会人才的分配，也满足了企业对人才的需求。
[keywords] Big data; Machine learning; Data analysis；visualization；Personalized recommendation 目 录
一、引言 1
（一）背景意义 1
（二）研究内容 2
（三）组织结构 2
二、所用技术和大数据平台搭建 4
（一）开发技术 4
1．数据可视化 4
2．后端技术 5
（二）CDH分布式平台搭建步骤 5
1．安装Linux环境 6
2．安装Hadoop环境 6
3．配置相关大数据服务 6
三、平台需求分析 8
（一）招聘数据智能分析平台需求 8
（二）个性化推荐系统需求 8
四、平台架构设计 10
（一）平台总体架构 10
（二）平台数据处理 10
1．企业招聘数据信息类型 10
2．企业招聘数据存储与处理 11
五、平台实现 11
（一）数据 *好棒文|www.hbsrm.com +Q: ￥351916072$
收集模块 12
（二）数据分析模块 12
1．Hive的UDF开发介绍 13
2．平均薪资TOP5 13
3．公司融资情况统计 13
4．全国热门职位分布情况 14
5．热门职位发布数统计 15
6．Hive与HBase实现数据交互 16
（三）个性化推荐模块 17
1．基于KMeans算法的招聘数据价值分析 17
2．基于Item的协同过滤算法推荐 25
（四）基于ECharts的招聘数据可视化 25
1．整体实现 26
2．平均薪资TOP5 27
3．公司融资情况统计 32
4．全国热门职位分布情况 32
5．热门职位发布数统计 33
六、系统集成与测试 36
（一）性能分析 36
（二）性能测试 36
七、总结和展望 36
（一）总结 36
（二）展望 37
致 谢 38
参考文献 39
在校期间所获成果 40
一、引言
（一）背景意义
随着Internet技术的发展，整个社会正在朝着信息化、智能化的方向前进。且随着时代的不断进步，整个人类社会对于人才的需求也越来越大，目前，人才的稀缺已经成为了当今社会的严重问题，并且社会正在不断的扩招人才，传统的招聘已经不能满足人们需求，传统的招聘，不仅给人们带来很多的不便，而且时间和空间的限制，让许多人失去了找工作的好机会。招聘者们想找到一份专业对口，薪资不错，感兴趣的好工作，企业们也想找到对口的人才，这时招聘数据智能分析平台应运而生。
新背景下，随着互联网大数据的发展，招聘行业的数据分析任务也亟待大数据技术来实现。数量繁多的岗位究竟哪些才是受企业欢迎的、哪些城市职位薪资水平要更高。就是这些繁多的问题造成了择业者们很难找到合适自己的工作,而企业也无法找到合适的人才。这时，光靠人工收集并采用普通的方式进行分析十分浪费人力物力，并且效率和体验都不好。为了解决这些问题就需要开发一套互联网大数据岗位分析和智能推荐平台，以帮助求职者们成功找到适合自己的工作。
设计和实现招互联网大数据岗位分析平台主要为了分析和展示数量繁多的招聘数据，将热门岗位，薪资高的岗位，受欢迎的就业地区等等信息分析和展示出来，并且平台还具有个性化推荐系统，可以给用户们智能推荐适合的职位。
（二）研究内容
本平台是一个基于互联网大数据、机器学习等信息处理技术的岗位分析平台，按业务需求以及功能需求将该系统划分为数据收集模块、数据分析模块、数据可视化模块、个性化推荐模块。数据收集模块又细分为数据导入，数据准备，数据清洗三个模块，为下一步的数据分析做准备。数据分析模块就是对清洗后的数据提取出我们需要的岗位信息，数据可视化模块就是将分析后的数据精美的展示在Web页面上，让用户们可以清晰直接的查看到自己心仪的职位。个性化推荐模块主要根据机器学习聚类算法，基于Item的协同过滤算法进行职位推荐。
数据可视化平台模块通过Python的Requests，Re等相关库拿到互联网上大量的招聘数据集，然后利用Python对数据集进行数据预处理工作，接着将处理好的数据储存在分布式数据库Hive和HBase中，这样既拥有HBase数据库的高可靠性、高性能，又能利用Hive的MapReduce来处理数据。WEB端使用 SpringBoot + MyBatis + Vue.js 框架技术进行开发，模块和分层的开发模式提高了系统扩展性和可维护性。并且使用了Elasticsearch全文搜索和分析引擎，通过Elasticsearch存放整个数据目录，即使系统中再大的数据量，用户也会感觉闪电一般快和方便。推荐系统模块则利用机器学习算法对数据集进行特征构建和模型构建,通过训练好的模型对职位数据进行分类，得出多类特征分明的岗位数据群体，再利用协同过滤算法给用户推荐最适合的岗位。
（三）组织结构
论文首先介绍相关背景，给出了招聘数据智能分析平台开发必要的知识储备，并对开发技术和运行环境进行阐述。接下来，结合实际需要给出了平台总体功能需求分析，并分别从招聘数据可视化和个性化推荐系统两个方面对平台进行详细阐述。平台开发完成后进行系统集成，以评估组件系统的整体效果。最后，总结本文主要工作，指明下一步平台需要完善的方向。论文组织结构如图11所示。
[keywords] Big data; Machine learning; Data analysis；visualization；Personalized recommendation 目 录
一、引言 1
（一）背景意义 1
（二）研究内容 2
（三）组织结构 2
二、所用技术和大数据平台搭建 4
（一）开发技术 4
1．数据可视化 4
2．后端技术 5
（二）CDH分布式平台搭建步骤 5
1．安装Linux环境 6
2．安装Hadoop环境 6
3．配置相关大数据服务 6
三、平台需求分析 8
（一）招聘数据智能分析平台需求 8
（二）个性化推荐系统需求 8
四、平台架构设计 10
（一）平台总体架构 10
（二）平台数据处理 10
1．企业招聘数据信息类型 10
2．企业招聘数据存储与处理 11
五、平台实现 11
（一）数据 *好棒文|www.hbsrm.com +Q: ￥351916072$
收集模块 12
（二）数据分析模块 12
1．Hive的UDF开发介绍 13
2．平均薪资TOP5 13
3．公司融资情况统计 13
4．全国热门职位分布情况 14
5．热门职位发布数统计 15
6．Hive与HBase实现数据交互 16
（三）个性化推荐模块 17
1．基于KMeans算法的招聘数据价值分析 17
2．基于Item的协同过滤算法推荐 25
（四）基于ECharts的招聘数据可视化 25
1．整体实现 26
2．平均薪资TOP5 27
3．公司融资情况统计 32
4．全国热门职位分布情况 32
5．热门职位发布数统计 33
六、系统集成与测试 36
（一）性能分析 36
（二）性能测试 36
七、总结和展望 36
（一）总结 36
（二）展望 37
致 谢 38
参考文献 39
在校期间所获成果 40
一、引言
（一）背景意义
随着Internet技术的发展，整个社会正在朝着信息化、智能化的方向前进。且随着时代的不断进步，整个人类社会对于人才的需求也越来越大，目前，人才的稀缺已经成为了当今社会的严重问题，并且社会正在不断的扩招人才，传统的招聘已经不能满足人们需求，传统的招聘，不仅给人们带来很多的不便，而且时间和空间的限制，让许多人失去了找工作的好机会。招聘者们想找到一份专业对口，薪资不错，感兴趣的好工作，企业们也想找到对口的人才，这时招聘数据智能分析平台应运而生。
新背景下，随着互联网大数据的发展，招聘行业的数据分析任务也亟待大数据技术来实现。数量繁多的岗位究竟哪些才是受企业欢迎的、哪些城市职位薪资水平要更高。就是这些繁多的问题造成了择业者们很难找到合适自己的工作,而企业也无法找到合适的人才。这时，光靠人工收集并采用普通的方式进行分析十分浪费人力物力，并且效率和体验都不好。为了解决这些问题就需要开发一套互联网大数据岗位分析和智能推荐平台，以帮助求职者们成功找到适合自己的工作。
设计和实现招互联网大数据岗位分析平台主要为了分析和展示数量繁多的招聘数据，将热门岗位，薪资高的岗位，受欢迎的就业地区等等信息分析和展示出来，并且平台还具有个性化推荐系统，可以给用户们智能推荐适合的职位。
（二）研究内容
本平台是一个基于互联网大数据、机器学习等信息处理技术的岗位分析平台，按业务需求以及功能需求将该系统划分为数据收集模块、数据分析模块、数据可视化模块、个性化推荐模块。数据收集模块又细分为数据导入，数据准备，数据清洗三个模块，为下一步的数据分析做准备。数据分析模块就是对清洗后的数据提取出我们需要的岗位信息，数据可视化模块就是将分析后的数据精美的展示在Web页面上，让用户们可以清晰直接的查看到自己心仪的职位。个性化推荐模块主要根据机器学习聚类算法，基于Item的协同过滤算法进行职位推荐。
数据可视化平台模块通过Python的Requests，Re等相关库拿到互联网上大量的招聘数据集，然后利用Python对数据集进行数据预处理工作，接着将处理好的数据储存在分布式数据库Hive和HBase中，这样既拥有HBase数据库的高可靠性、高性能，又能利用Hive的MapReduce来处理数据。WEB端使用 SpringBoot + MyBatis + Vue.js 框架技术进行开发，模块和分层的开发模式提高了系统扩展性和可维护性。并且使用了Elasticsearch全文搜索和分析引擎，通过Elasticsearch存放整个数据目录，即使系统中再大的数据量，用户也会感觉闪电一般快和方便。推荐系统模块则利用机器学习算法对数据集进行特征构建和模型构建,通过训练好的模型对职位数据进行分类，得出多类特征分明的岗位数据群体，再利用协同过滤算法给用户推荐最适合的岗位。
（三）组织结构
论文首先介绍相关背景，给出了招聘数据智能分析平台开发必要的知识储备，并对开发技术和运行环境进行阐述。接下来，结合实际需要给出了平台总体功能需求分析，并分别从招聘数据可视化和个性化推荐系统两个方面对平台进行详细阐述。平台开发完成后进行系统集成，以评估组件系统的整体效果。最后，总结本文主要工作，指明下一步平台需要完善的方向。论文组织结构如图11所示。
版权保护: 本文由 hbsrm.com编辑，转载请保留链接: www.hbsrm.com/jsj/rjgc/676.html
