网络爬虫设计与实现designandimplementationofwebcrawler(附件)【字数：13960】

摘 要摘 要随着互联网的飞速发展，人们对于网络信息的需求越来越多，同时互联网中信心量变得十分巨大也颇为复杂。自一九九零年搜索引擎的建立以来，人们对于网络信息的获取变得方便起来。现在比较有名的例如Google，百度等。而网络爬虫技术就是搜索引擎中不可或缺的一环，能够让搜索引擎变得更快，更准确以及更加方便。本课题的主要研究内容是网络爬虫的设计与实现。本文研究了网络爬虫主要采用的策略，工作流程及建立方法。通过Python实现一个基于深度优先策略的单线程网络爬虫程序。通过导入Python中的urillb2模板中的urlopen函数实现一个可以爬取给定网页源代码的网络爬虫程序。通过建立这个网络爬虫来学习Python语言，了解互联网相关协议的工作方式以及了解网络爬虫的建立方法和工作方式。本文首先概述了网络爬虫的背景，接着介绍了网络爬虫的工作原理及所用技术，最后实现了一个简易网络爬虫软件，实验验证该软件可获取给定网页的源代码。关键词网络爬虫；Python；网络协议；源程序；爬虫随着互联网的飞速发展，网络中的信息程爆炸式的速度增长，使得人们在网络中获取信息变得越发的困难，在这种环境下，搜索引擎被开发出来了，它可以搜索互联网中所有的网页和各种有关信息，并以关键字建立索引。网络爬虫就是搜索引擎中不可或缺的一环，它的程序是一种可以主动并且不需要人工介入获取互联网中信息。网络爬虫实行的爬取策略和效率能够改变到整个搜索引擎的性能。
目录
第一章 绪论 1
1.1 网络爬虫的背景 1
1.2 研究方法，步骤和措施等 1
第二章 相关技术介绍 2
2.1 Python介绍 2
2.2 Python软件的安装 2
2.3 Python常用模块介绍 3
2.3.1 urillb2模板详解 5
2.4 Python 常用库介绍 7
2.5 在Python运行中经常遇到的17个错误 9
2.6 网络爬虫原理 11
2.7 网络爬虫策略 11
2.7.1 基于爬虫的策略 11
2.7.2 基于网页的策略 12
2.7.3 互联网拓扑的相关介绍 13 style="display:inline-block;width:630px;height:85px" data-ad-client="ca-pub-6529562764548102" data-ad-slot="6284556726"> (adsbygoogle = window.adsbygoogle || []).push({ });