python语言的招聘信息数据挖掘系统设计与实现(源码)
网络招聘伴随着互联网的发展而兴起，以淮安本地的网络招聘为例，仅招聘平台就有淮安人才网、淮安就业网、淮安才好网等。这些网站提供的功能类似，凭借各类业务推广的手段也都吸引到了各自的用户，但是这样的竞争格局导致招聘信息分布不均匀。求职人员往往需要访问大量不同的招聘网站以获得目标招聘信息，这极大的降低了用户的体验。淮安的网络招聘行业迫切需要创新点来打破这种恶性竞争的局面。本系统使用Python作为开发语言，Scrapy作为开发框架完成数据挖掘模块的设计。通过使用数据挖掘技术，本系统能够获取到更多的淮安当地招聘信息，并将这些信息展示到以ASP.NET框架开发的Web页面中。本系统旨在为淮安的网络招聘行业提供一个新的视角，为招聘网站的创新提供一个具有参考价值的案例。关键词 网络招聘， Python，数据挖掘，Scrapy 框架
目 录
1 引言 1
1.1 课题研究背景 1
1.2 数据挖掘发展现状 1
1.3 实现目标 2
1.3.1 功能目标 2
1.3.2 非功性能目标 3
2 可行性分析 3
2.1 技术可行性 3
2.2 社会可行性 3
3 需求分析 4
3.1 功能需求 4
3.1.1 企业注册 4
3.1.2 企业审核 5
3.1.3 企业版功能 5
3.1.4 招聘信息数据挖掘 6
3.1.5 企业账号管理 6
3.2 系统整体用例图 7
3.3 开发技术及使用插件 7
3.3.1 Scrapy框架 7
3.3.2 ArtDialog插件 8
3.3.3 KindEditor文本编辑插件 9
3.4 设计原则 9
4.概要设计 9
4.1 平台架构 9
4.1.1 Model层 10
4.1.2 数据访问层 10
4.1.3 业务逻辑层 10
4.1.4 表示层 10
4.1.5 模块接口层 10
4.1.6 通用类 11
*好棒文|www.hbsrm.com +Q: ^351916072#
/> 4.2 数据库设计 11
4.2.1 概念设计 11
4.2.2 逻辑设计 12
4.2.3 物理设计 13
4.3 界面设计 15
4.3.1 网站首页 15
4.3.2 招聘信息展示 16
4.3.3 职场资讯页面 17
4.3.4 企业版首页 17
4.3.5 管理员登录界面 18
4.3.6 系统后台管理界面 19
4.4 非法信息过滤设计 19
4.4.1 前端过滤 19
4.4.2 后端过滤 20
4.4.3 系统整体非法信息过滤表 21
5 详细设计 22
5.1 数据挖掘模块 22
5.1.1 Scrapy 框架 22
5.1.2 数据采集 23
5.1.3 数据筛选 26
5.1.4 数据保存 26
5.2 企业信息注册模块 27
5.3 企业招聘信息发布 30
5.4账号与招聘信息管理 32
5.4.1 验证码设计 32
5.4.2 招聘信息管理 33
5.4.3 账号管理 34
5.5 职场资讯 35
6 系统测试 36
6.1 单元测试 36
6.2 集成测试 38
结 论 39
致 谢 40
参 考 文 献 41
1 引言
课题研究背景
随着全球的信息技术不断的整合，人类正逐步迈向信息化时代。互联网的诞生与发展引起的信息爆炸使得当前这个时代信息传播的速度得到了巨大的提升，而互联网本身的演进使得“互联网+”成为经济发展的新形态。互联网上的信息是巨大的、多样的、方便的，它改变了几千年来人类传递信息的方式，也改变了各个行业赖以生存的运作方式，使得人们生活、娱乐、竞争在一个新的平台上。其中，网络招聘就是基于互联网平台下的人才招聘，它伴随着互联网的崛起，已经逐步取代传统招聘，成为企业招聘的首选[1]。
当前互联网上存在着海量的诸如人才与企业等信息，这些信息与数据之间存在着诸多的联系，它们来源于各个大小不均的网站与数据库。21世纪是信息化的时代，掌握着大量信息的人意味着其了解的更多，机会也就更多，但是当下我们还处于对信息加以利用的初级阶段。以目前的网络招聘为例，其日常业务主要为操作各类数据并返回给用户想要的结果。这些功能远远不能满足用人单位与求职者日益增长的需求，因为用户常常需要从有限的信息中提取出更多有价值的信息，而招聘网站成千上万，提供的信息量也千差万别，这使得招聘网站出现了服务质量低下的现象。与此同时，各种招聘网站的同质化竞争使得招聘信息数据的分布极其的不均匀，使得求职者常常要去不同的网站上搜集海量的信息，对招聘行业的发展与消费者的使用都带来了不便利。这些问题的产生正在逐步影响者互联网与网络招聘的发展，成为一个亟待解决的事情。Web数据挖掘技术诞生于这样的背景中，它能够从海量的数据中寻找有价值的信息，整理归纳为一定的数据联系，为用户的使用带来了更多的参考信息，使得用户的决策有了数据与理论的支撑[24]。
1.2 数据挖掘发展现状
数据挖掘的思想源自于知识发现，其中前者是后者的一个步骤[5]。知识发现首次被提出的时间是在1989年，其作用在于分析与提取各个数据之间的关系，并将这些关系模式应用到相应的系统与现实世界中[68]。国外对于数据挖掘的实际应用包括但不限于金融、电信、科研、医疗等领域，其数据挖掘使用的经验已经相当的成熟。近年来，国外对于数据挖掘的研究进展主要是对Boosting方法的探索与改进。国外很多知名的公司如IBM、Oracle都加入到数据挖掘的探索部队中，并产出了如Knowledge Studio这样的数据挖掘软件[9]。
相比与国外的数据挖掘，国内虽然引进的时间较晚，但是对于数据挖掘技术的研究已经取得了显著的进展[1011]。目前国内常用的数据挖掘模型包括决策树模型、模糊集模型、遗传算法模型等[12]。国内研究与开发的人员集中在高校以及部分研究所，其资金大多来源于政府。未来国内数据挖掘发展的方向主要包括Web数据挖掘技术、文本数据挖掘技术、时态数据挖掘技术等[1314]。
1.3 实现目标
目 录
1 引言 1
1.1 课题研究背景 1
1.2 数据挖掘发展现状 1
1.3 实现目标 2
1.3.1 功能目标 2
1.3.2 非功性能目标 3
2 可行性分析 3
2.1 技术可行性 3
2.2 社会可行性 3
3 需求分析 4
3.1 功能需求 4
3.1.1 企业注册 4
3.1.2 企业审核 5
3.1.3 企业版功能 5
3.1.4 招聘信息数据挖掘 6
3.1.5 企业账号管理 6
3.2 系统整体用例图 7
3.3 开发技术及使用插件 7
3.3.1 Scrapy框架 7
3.3.2 ArtDialog插件 8
3.3.3 KindEditor文本编辑插件 9
3.4 设计原则 9
4.概要设计 9
4.1 平台架构 9
4.1.1 Model层 10
4.1.2 数据访问层 10
4.1.3 业务逻辑层 10
4.1.4 表示层 10
4.1.5 模块接口层 10
4.1.6 通用类 11
*好棒文|www.hbsrm.com +Q: ^351916072#
/> 4.2 数据库设计 11
4.2.1 概念设计 11
4.2.2 逻辑设计 12
4.2.3 物理设计 13
4.3 界面设计 15
4.3.1 网站首页 15
4.3.2 招聘信息展示 16
4.3.3 职场资讯页面 17
4.3.4 企业版首页 17
4.3.5 管理员登录界面 18
4.3.6 系统后台管理界面 19
4.4 非法信息过滤设计 19
4.4.1 前端过滤 19
4.4.2 后端过滤 20
4.4.3 系统整体非法信息过滤表 21
5 详细设计 22
5.1 数据挖掘模块 22
5.1.1 Scrapy 框架 22
5.1.2 数据采集 23
5.1.3 数据筛选 26
5.1.4 数据保存 26
5.2 企业信息注册模块 27
5.3 企业招聘信息发布 30
5.4账号与招聘信息管理 32
5.4.1 验证码设计 32
5.4.2 招聘信息管理 33
5.4.3 账号管理 34
5.5 职场资讯 35
6 系统测试 36
6.1 单元测试 36
6.2 集成测试 38
结 论 39
致 谢 40
参 考 文 献 41
1 引言
课题研究背景
随着全球的信息技术不断的整合，人类正逐步迈向信息化时代。互联网的诞生与发展引起的信息爆炸使得当前这个时代信息传播的速度得到了巨大的提升，而互联网本身的演进使得“互联网+”成为经济发展的新形态。互联网上的信息是巨大的、多样的、方便的，它改变了几千年来人类传递信息的方式，也改变了各个行业赖以生存的运作方式，使得人们生活、娱乐、竞争在一个新的平台上。其中，网络招聘就是基于互联网平台下的人才招聘，它伴随着互联网的崛起，已经逐步取代传统招聘，成为企业招聘的首选[1]。
当前互联网上存在着海量的诸如人才与企业等信息，这些信息与数据之间存在着诸多的联系，它们来源于各个大小不均的网站与数据库。21世纪是信息化的时代，掌握着大量信息的人意味着其了解的更多，机会也就更多，但是当下我们还处于对信息加以利用的初级阶段。以目前的网络招聘为例，其日常业务主要为操作各类数据并返回给用户想要的结果。这些功能远远不能满足用人单位与求职者日益增长的需求，因为用户常常需要从有限的信息中提取出更多有价值的信息，而招聘网站成千上万，提供的信息量也千差万别，这使得招聘网站出现了服务质量低下的现象。与此同时，各种招聘网站的同质化竞争使得招聘信息数据的分布极其的不均匀，使得求职者常常要去不同的网站上搜集海量的信息，对招聘行业的发展与消费者的使用都带来了不便利。这些问题的产生正在逐步影响者互联网与网络招聘的发展，成为一个亟待解决的事情。Web数据挖掘技术诞生于这样的背景中，它能够从海量的数据中寻找有价值的信息，整理归纳为一定的数据联系，为用户的使用带来了更多的参考信息，使得用户的决策有了数据与理论的支撑[24]。
1.2 数据挖掘发展现状
数据挖掘的思想源自于知识发现，其中前者是后者的一个步骤[5]。知识发现首次被提出的时间是在1989年，其作用在于分析与提取各个数据之间的关系，并将这些关系模式应用到相应的系统与现实世界中[68]。国外对于数据挖掘的实际应用包括但不限于金融、电信、科研、医疗等领域，其数据挖掘使用的经验已经相当的成熟。近年来，国外对于数据挖掘的研究进展主要是对Boosting方法的探索与改进。国外很多知名的公司如IBM、Oracle都加入到数据挖掘的探索部队中，并产出了如Knowledge Studio这样的数据挖掘软件[9]。
相比与国外的数据挖掘，国内虽然引进的时间较晚，但是对于数据挖掘技术的研究已经取得了显著的进展[1011]。目前国内常用的数据挖掘模型包括决策树模型、模糊集模型、遗传算法模型等[12]。国内研究与开发的人员集中在高校以及部分研究所，其资金大多来源于政府。未来国内数据挖掘发展的方向主要包括Web数据挖掘技术、文本数据挖掘技术、时态数据挖掘技术等[1314]。
1.3 实现目标
版权保护: 本文由 hbsrm.com编辑，转载请保留链接: www.hbsrm.com/jsj/jsjkxyjs/908.html
