网络爬虫的网上农产品信息获取的研究与开发(源码)

目录
摘要1
关键词1
Abstract1
Keywords1
1 绪论2
1．1 选题背景和研究意义2
1.1.1 选题背景2
1.1.2 研究意义2
1．2 可行性论证3
1.2.1 方法技术路线3
1.2.2 关键技术线4
1.2.5 可行性分析4
1．3 国内外研究现状4
1．4 搜索引擎概述 5
1.4.1 搜索引擎的分类5
1.4.2 搜索引擎的工作原理 6
1．5 文章结构 6
2 网络爬虫概述6
2．1 网络爬虫概述6
2．2 网络爬虫程序的结构6
2．3 网络爬虫分类8
2．4 网络爬虫的爬行策略9
2．5 几类开源爬虫简介11
3 网页文件抓取技术研究12
3．1 URI，URL的深入理解 12
3．2 HTTP协议 12
3．3 URL去重 13
3．4 URL过滤 14
3．5 HttpClient简介 14
3. 6 网页内容的分析方法14
3. 6. 1 正则表达式分析法14
3. 6. 2 HTMLParser 分析法14
4 农产品信息获取的实现15
4．1 农产品信息网络爬虫体系结构15
4．2 农产品信息存储16
4．2. 1 农产品数据库结构16
4．2．2 创建信息数据库17
4．2．3 农产品信息处理方法17
4. 3 定制种子连接18
4. 4 网页连接抓取19
4. 4. 1 一级目标网址抓取19

版权保护: 本文由 hbsrm.com编辑，转载请保留链接: www.hbsrm.com/jsj/jsjkxyjs/2258.html