爬虫的求职招聘网站(附件)
目录
摘要 １
关键词 １
ABSTRACT １
KEY WORDS １
引言
1．绪论 １
2.系统需求分析 ２
2.1 用户对象分析 ２
2.2 用户用例分析 ２
2.2.1 管理员用户用例分析 ２
2.2.2 普通用户用例分析 ３
2.2.3 综合用例分析 ４
2.3 功能需求分析 ４
3.系统设计 ４
3.1 数据库结构设计 ４
3.2 系统功能设计 ６
3.2.1 数据获取模块 ７
3.2.2数据可视化模块 １０
4.系统实现 １０
4.1开发环境 １０
4.1.1Eclipse １０
4.1.2java １０
4.1.3MYSQL １０
4.4功能实现 １０
4.5系统测试 １２
5总结 １７
致谢 １８
参考文献 １８
基于爬虫的求职招聘网站
Job Hunting Website based on Crawler
Student majoring in computer science and technology LUZirui
Tutor GUO Xiaoqing
Abstract:For computer majors, a website for recruitment and analysis of recruitment information has been designed and developed. The JAVA language is used to implement the multithread crawler program based on breadth first algorithm. The paper mainly discusses: user analysis and system function design *好棒文|www.hbsrm.com +Q: &351916072&
; setting up connection network reading time, preventing unrestricted waiting; crawling control design; page analysis; URL deweighting, analysis; database structure design; data classification and storage process in system implementation; data visualization; data analysis and Forum Design Page content parsing. Finally, the system is tested and the testing process is described in detail. After testing, the design goal has been basically achieved.
Key words: web crawler; JAVA; breadth first; information analysis
引言
1．绪论
主流的的爬虫技术从搜索对象上可以分为两类:
第一种为基于链接的搜索。社会上人与人之间存在着各种各样的关系，上个世纪,国外的开发者模拟这种关系,研发出了超链接，超链接使得相关网页联系在一起形成了关系网络。因为有着这种关系，只需简单的对照分析就可以将页面按照关系网络进行分类。这种最原始的搜索系统最早在2002年由欧洲和美国的研究者研发出来[1]。
时至今日,爬虫技术获得了很大的进步与发展,这类系统主要有IBM Focused Crawler、CORA 等。CORA是在1999年被设计出来的一个面向主题的搜索引擎。CORA 运用机械认知方式,它主要面向计算机这一主题的相关内容，对用户所需的内容进行分类[3]。CORA 获得了巨大成就在尤其是在自动搜集资源等方面，但它也有不足，主要体现在分析地址与主题的能力较弱,同时也不能对网页进行分析等。
国内在基于内容的搜索上也有很大的发展。张福炎教授为填补在中文这一方面的空白研发出了能够对网上的中文内容进行检索的IDGS系统。IDGS利用了权重评价技术进行统计，能够在万维网上进行自动查询，还通过向量空间模型技术进行搜索[4]。在该系统中采用漫游模型进行后期的持续搜索，利用模式匹配模块演算相关度。该系统通过牺牲了覆盖度获得了高准确度，因此搜索的深度十分有限[5]。
2.系统需求分析
为了更加高效的进行信息筛选，对招聘做出及时准确的反应，辅助管理人员对平台信息进行处理，提高平台效率和种质资源利用率，招聘网站的设计原则为：
未来的就业前景是在不停变化的，所以需要不时地添加各类招聘信息，并进行分析，以此来保证数据的及时和有效性，而随着数据的不断增长，数据的管理将会变得越来越复杂，若是操作不当将会导致系统的崩溃，所以要充分考虑到数据的安全，比如可以对数据进行备份，设计比较完善的管理方法等。只有这样才能保证系统长久有效运行。
2.1 用户对象分析
2.2 用户用例分析
2.2.1 管理员用户用例分析
管理员用户用例图如图1所示：
图1管理员用户用例图
管理员主要功能如下:
1)控制数据源的增添与删除。
版权保护: 本文由 hbsrm.com编辑，转载请保留链接: www.hbsrm.com/jsj/wljs/401.html
