互联网大数据的招聘数据智能分析平台(附件)【字数：11775】
文章主要介绍职位招聘的分析,通过 Vue、SpringBoot框架、Mysql数据库等技术的结合,提出了分析平台的总体功能结构及相关的数据库设计,并详细分析项目实现技术栈、实现思路与实现流程。整个项目的思路是基于互联网大数据，是一个标准的大数据分析案例。用户可以通过该项目直观的了解到职位信息，通过职位查询功能也可以筛选查找适合自己的职位。
目录
一、引言 2
（一）网站背景和意义 2
（二）网站介绍 2
二、关键技术介绍 3
（一） Vue 3
（二） Mysql 3
（三）Springboot 3
三、网站需求分析 4
（一）可行性分析 4
（二）网站的目标 4
四、网站总体设计 4
（一）网站功能模块设计 4
（二）网站的数据模块设计 6
五、网站详细设计 8
（一）大数据 8
1. 数据格式整理 8
2. 数据预处理一—python局部处理 15
3. 数据预处理二—hive集群处理 19
4. 数据分析 21
（二）数据可视化 32
1. 整体框架 32
2. 后端接口 35
3. Echarts图表 38
六、总结 66
致谢 67
参考文献 72
一、引言
二十一世纪以来，大数据一词出现的越来越广泛，人们用它来定义和描述信息爆炸化时代产生的海量数据。这些庞大的数据无论在商业，经济甚至政治领域，配合数据分析作出决策，起着无法估量的作用。在如今的社会，大数据的应用越来越凸显其优势，它所涉及的领域也越来越大。大数据的出现可以说改变了之前大部分商业的运营模式，有了大数据这个概念以后，对于消费者行为产品销量的预测，可以精确的为商家提出合理的调整。配合海量的职位数据来，分析平台为面临就业的应届生对以后的求职进行全方位的分析与介绍。
（一）网站背景和意义
求职是每个人都要面临的，或早或晚，除非你是富家一方的纨绔公子哥，只等着继承家里的金山银山， *好棒文|www.hbsrm.com +Q: *351916072*
这也毕竟是小数。那么求职道阻且路长，大部分应届生对职业的好坏，不同职业该有什么样的薪资，各个职业在全国的分布和不同职业所需要的技能点等等等，都没有一个很大的了解。在这人心不古的社会中，有不少应届生甚至还会被不良人员坑蒙拐骗，所以能够有一个网站可以带你直观的了解现在的就业情况，能为你省下不少时间和精力，是再好不过的了。
和传统的求职网站也有所不同，分析更倾向于数据的展示。在对数据进行一系列的预处理之后，把海量数据进行统计与筛选，用echarts技术把数据以图表的形式展现在用户面前，让用户可以直观的就可以了解到想了解到的信息，而不是去浏览那些枯燥的数据，既节省了时间又提高了效率。展示了热门职位的薪资统计图表，为用户展示了当前哪些职位的薪资是最高的，从而根据自身薪资的要求去选择中意的职位。展示了热门城市的职位统计，为用户展现了一线城市的现在最火热的职位有哪些。展示了全国不同职业的分布情况，为用户展现了具体职业的分布情况，从而去不同的结合自身所在的城市去寻找合适的职位或者为了喜欢的职位去到其他城市。展示了大部分公司的融资情况，让用户直观的了解整个市场的水平。展示了目前数量最多的五个职位，让用户知道现在职位密度情况，从而能更好的考虑。展示了五个最热门的职位所需要的关键技能点，以词云的方式展示，从而让用户了解不同的职位因该要具有那些技能素质。
还提供了相对应的职位检索功能，填写或选择自身的情况，将会从海量的数据中向你推荐最适合你的职位和公司情况。从而省去漫无目的的寻找，节省了宝贵的时间和精力。
（二）网站介绍
招聘数据智能分析平台是一个基于互联网大数据的一个平台，整个项目的流程符合现在企业中一般大数据项目的流程。首先要搭建三台linux服务器，将三台机器组成hadoopCDH全分布式集群，添加hive，hbase，zookeer，yarn等服务，分别对获取的六份职位数据进行预处理，将处理干净的数据导入hive中进行数据分析，有个别特殊数据还需用到python数据分析，最后将分析好的数据导入hbase数据库中，然后利用编写springboot项目和hbase数据库进行连接。在这里为了项目脱离笨重的服务器展示，将数据全部转移到本机的mysql数据库中。最后编写好API后端接口给前端页面显示，最后前端调用后端接口利用echarts进行数据可视化展示。项目大体可以分成为echarts图表展示端和职位查询端。在echarts图表端，有热门职位薪资统计图表、全国职业分布图表、热门城市职位统计图表、融资情况统计图表、职位数量top5图表、职位关键技术top5、热门公司top4图表、公司top4图表等9张图表。职位查询端向用户提供了选择和填写自身的一些基本情况和需求，从而推送一些合适的职位与公司情况，默认还有一些特殊的热门职位自动推送，将来如果有机会正式上线也算得上是不可多得的广告业务。
二、关键技术介绍
因为开发的是一个动态网站，运用到vue与springboot前后端分离的动态技术来开发，所以需要阐述下网站开发以及使用到的一些关键技术。
Vue
Vue (读音 /vju?/，类似于?view) 是一套用于构建用户界面的渐进式框架。与其它大型框架不同的是，Vue 被设计为可以自底向上逐层应用。Vue 的核心库只关注视图层，不仅易于上手，还便于与第三方库或既有项目整合。另一方面，当与现代化的工具链以及各种支持类库结合使用时，Vue 也完全能够为复杂的单页应用提供驱动。
Mysql
数据库（Database）是按照数据结构来组织、存储和管理数据的仓库。每个数据库都有一个或多个不同的 API 用于创建，访问，管理，搜索和复制所保存的数据。也可以将数据存储在文件中，但是在文件中读写数据速度相对较慢。所以，现在使用关系型数据库管理系统（RDBMS）来存储和管理大数据量。所谓的关系型数据库，是建立在关系模型基础上的数据库，借助于集合代数等数学概念和方法来处理数据库中的数据。
目录
一、引言 2
（一）网站背景和意义 2
（二）网站介绍 2
二、关键技术介绍 3
（一） Vue 3
（二） Mysql 3
（三）Springboot 3
三、网站需求分析 4
（一）可行性分析 4
（二）网站的目标 4
四、网站总体设计 4
（一）网站功能模块设计 4
（二）网站的数据模块设计 6
五、网站详细设计 8
（一）大数据 8
1. 数据格式整理 8
2. 数据预处理一—python局部处理 15
3. 数据预处理二—hive集群处理 19
4. 数据分析 21
（二）数据可视化 32
1. 整体框架 32
2. 后端接口 35
3. Echarts图表 38
六、总结 66
致谢 67
参考文献 72
一、引言
二十一世纪以来，大数据一词出现的越来越广泛，人们用它来定义和描述信息爆炸化时代产生的海量数据。这些庞大的数据无论在商业，经济甚至政治领域，配合数据分析作出决策，起着无法估量的作用。在如今的社会，大数据的应用越来越凸显其优势，它所涉及的领域也越来越大。大数据的出现可以说改变了之前大部分商业的运营模式，有了大数据这个概念以后，对于消费者行为产品销量的预测，可以精确的为商家提出合理的调整。配合海量的职位数据来，分析平台为面临就业的应届生对以后的求职进行全方位的分析与介绍。
（一）网站背景和意义
求职是每个人都要面临的，或早或晚，除非你是富家一方的纨绔公子哥，只等着继承家里的金山银山， *好棒文|www.hbsrm.com +Q: *351916072*
这也毕竟是小数。那么求职道阻且路长，大部分应届生对职业的好坏，不同职业该有什么样的薪资，各个职业在全国的分布和不同职业所需要的技能点等等等，都没有一个很大的了解。在这人心不古的社会中，有不少应届生甚至还会被不良人员坑蒙拐骗，所以能够有一个网站可以带你直观的了解现在的就业情况，能为你省下不少时间和精力，是再好不过的了。
和传统的求职网站也有所不同，分析更倾向于数据的展示。在对数据进行一系列的预处理之后，把海量数据进行统计与筛选，用echarts技术把数据以图表的形式展现在用户面前，让用户可以直观的就可以了解到想了解到的信息，而不是去浏览那些枯燥的数据，既节省了时间又提高了效率。展示了热门职位的薪资统计图表，为用户展示了当前哪些职位的薪资是最高的，从而根据自身薪资的要求去选择中意的职位。展示了热门城市的职位统计，为用户展现了一线城市的现在最火热的职位有哪些。展示了全国不同职业的分布情况，为用户展现了具体职业的分布情况，从而去不同的结合自身所在的城市去寻找合适的职位或者为了喜欢的职位去到其他城市。展示了大部分公司的融资情况，让用户直观的了解整个市场的水平。展示了目前数量最多的五个职位，让用户知道现在职位密度情况，从而能更好的考虑。展示了五个最热门的职位所需要的关键技能点，以词云的方式展示，从而让用户了解不同的职位因该要具有那些技能素质。
还提供了相对应的职位检索功能，填写或选择自身的情况，将会从海量的数据中向你推荐最适合你的职位和公司情况。从而省去漫无目的的寻找，节省了宝贵的时间和精力。
（二）网站介绍
招聘数据智能分析平台是一个基于互联网大数据的一个平台，整个项目的流程符合现在企业中一般大数据项目的流程。首先要搭建三台linux服务器，将三台机器组成hadoopCDH全分布式集群，添加hive，hbase，zookeer，yarn等服务，分别对获取的六份职位数据进行预处理，将处理干净的数据导入hive中进行数据分析，有个别特殊数据还需用到python数据分析，最后将分析好的数据导入hbase数据库中，然后利用编写springboot项目和hbase数据库进行连接。在这里为了项目脱离笨重的服务器展示，将数据全部转移到本机的mysql数据库中。最后编写好API后端接口给前端页面显示，最后前端调用后端接口利用echarts进行数据可视化展示。项目大体可以分成为echarts图表展示端和职位查询端。在echarts图表端，有热门职位薪资统计图表、全国职业分布图表、热门城市职位统计图表、融资情况统计图表、职位数量top5图表、职位关键技术top5、热门公司top4图表、公司top4图表等9张图表。职位查询端向用户提供了选择和填写自身的一些基本情况和需求，从而推送一些合适的职位与公司情况，默认还有一些特殊的热门职位自动推送，将来如果有机会正式上线也算得上是不可多得的广告业务。
二、关键技术介绍
因为开发的是一个动态网站，运用到vue与springboot前后端分离的动态技术来开发，所以需要阐述下网站开发以及使用到的一些关键技术。
Vue
Vue (读音 /vju?/，类似于?view) 是一套用于构建用户界面的渐进式框架。与其它大型框架不同的是，Vue 被设计为可以自底向上逐层应用。Vue 的核心库只关注视图层，不仅易于上手，还便于与第三方库或既有项目整合。另一方面，当与现代化的工具链以及各种支持类库结合使用时，Vue 也完全能够为复杂的单页应用提供驱动。
Mysql
数据库（Database）是按照数据结构来组织、存储和管理数据的仓库。每个数据库都有一个或多个不同的 API 用于创建，访问，管理，搜索和复制所保存的数据。也可以将数据存储在文件中，但是在文件中读写数据速度相对较慢。所以，现在使用关系型数据库管理系统（RDBMS）来存储和管理大数据量。所谓的关系型数据库，是建立在关系模型基础上的数据库，借助于集合代数等数学概念和方法来处理数据库中的数据。
版权保护: 本文由 hbsrm.com编辑，转载请保留链接: www.hbsrm.com/jsj/xxaq/68.html
