python的音乐信息爬取与分析(源码)
摘 要
【key words】Network crawling; Python; Data analysis 目 录
一、 引言 1
(一) 课题来源 1
(二) 课题现状 1
(三) 课题意义 1
二、 系统分析 2
(一) 系统架构 2
1. 功能架构 2
(二) 模块需求描述 3
1. URL管理模块 3
2. 数据解析模块 3
3. 数据存储及展示 3
(三) 系统可行性分析 3
1. 技术可行性 3
2. 经济可行性 4
3. 操作可行性 4
三、 系统开发环境和技术简介 4
(一) Python语言和request库简介 4
(二) Pycharm 集成开发环境 4
(三) 爬虫技术介绍 5
(四) Mysql数据库简介 5
四、 系统设计与实现 7
(一) 爬虫的设计 7
(二) 数据库设计 7
(三) 系统功能实现 8
1. URL管理实现 8
2. 数据解析实现 10
3. 数据爬取实现 11
(四) 数据存储及可视化实现 12
1. 数据存储实现 12
2. 数据可视化实现 13
五、 系统测试 16
(一) 测试的目的及意义 16
(二) 测试方法 16
(三) 测试内容和结果 16
(四) 测试结论 16
总 结 17
参考文献 18
致 谢 19
引言
课题来源
伴随着近些年互联网在全国范围内的迅速普及，随着移动互联网的发展，人们可以随时随地上网进行在线视频观看和直播，听音乐等活动，也极大丰富了人们的日常生活。
庞大的上网群体造就了庞大的网络流量和用户数据，在互联网技术以及大数据技术迅速发展的新时代，对海量数据的挖掘和分析是一项值得研究的课题， *好棒文|www.hbsrm.com +Q: ^351916072^
同时也是适应未来社会数据化信息化发展的趋势。通过对用户数据的爬取与分析，我们可以对用户的喜好进行一个精准的描绘，对用户进行智能推荐。此外还可以进行后期分析，实现广告精准投放等功能。本课题以大数据时代下的用户数据分析为背景，以在线音乐网站歌曲评论作为研究对象，通过网络爬虫技术对音乐的评论数据进行抓取，然后对评论数据进行清洗和分析，提取其中有价值的用户信息，分析趋势，并对爬取到的信息进行可视化展示，构建一个综合性的数据分析系统，该系统本着把握直观化和个性化的特点；以生动形象的图表呈现出目前的音乐流行趋势，以及评论热点。
课题现状
网络爬虫源自Spider的意译，又称网页蜘蛛，是指按照某种规则在网络上爬取所需内容的脚本程序。众所周知，每个网页通常包含其他网页的入口，网络爬虫则通过一个网址依次进入其他网址获取所需内容。对于不希望被爬虫爬取信息的网站，存在着向爬网代理人宣传这一点的机制，这个时候就需要加上一些代理来满足索引。
爬虫程序从要访问的URL列表开始, 称为资源信息的种子。当爬虫程序访问这些种子的时候, 它会标识网站页面里的所有超链接, 并将其添加到访问的URL列表中。根据相关对应策略, 按照特定的顺序访问来自边界的URL。如果爬虫程序正在对网站进行存档, 它将复制并按原样保存信息。现在如今搜索引擎采用何种抓取策略，提升信息检索效率，优化先后顺序结果等，已经成为近些来专业爬虫热门问题的主要之一。
课题意义
近年来，随着我国互联网经济的高速腾飞和提速降费措施的大力实施，人们在享受着互联网带来的便捷的同时，也开始进入数据爆炸时代，大量繁杂冗余的信息充斥在网络上，使得人们难以从中精确找出自己所需的信息，人们迫切需要通过某种技术手段对信息进行综合提取和筛选。为了使获取信息的过程更加便捷和高效，就需要用现代化的技术手段来代替低效、繁琐的手工搜索和提取信息的方式，这时网络爬虫技术就能很好地解决这一问题。
在实际应用中，很多的搜索引擎以及一些数据和信息聚合类网站都大量采用了爬虫技术，通过抓取互联网上的海量内容在数据库中进行存储，并通过对爬取的信息进行二次分类和整理，实现高效简洁的信息展示，从而从中获取对应的商业利益和价值。由此可见，爬虫技术在未来的大数据时代，将会越发突显其重要的技术地位和价值，值得我们去进一步的研究。
本文通过设计一个爬虫系统，实现音乐评论数据的爬取与分析，不仅能让我们清楚爬虫的工作原理与具体实现，也能通过对评论信息的分析掌握。
系统分析
系统架构
功能架构
根据前期的系统需求调研结果确定本系统主要包括以下功能模块，爬虫模块和数据分析模块，如图21所示。
图21 系统体系结构
模块需求描述
URL管理模块
URL管理模块主要是实现URL的去重以及出现异常时候的处理，保证系统的可靠稳定运行，同时避免了数据重复抓取的问题。
数据解析模块
该部分主要是针对网站页面，使用lxml解析库实现关键信息的提取，比如歌曲的评论数、歌手、播放量等关键信息。
数据存储及展示
大规模的抓取动辄上十万的数据量，数据存储成为最重要的问题之一，虽然可以简单的用数据文件进行存储，但是为了安全和快速，因此这里我们使用数据库进行数据的存储。
【key words】Network crawling; Python; Data analysis 目 录
一、 引言 1
(一) 课题来源 1
(二) 课题现状 1
(三) 课题意义 1
二、 系统分析 2
(一) 系统架构 2
1. 功能架构 2
(二) 模块需求描述 3
1. URL管理模块 3
2. 数据解析模块 3
3. 数据存储及展示 3
(三) 系统可行性分析 3
1. 技术可行性 3
2. 经济可行性 4
3. 操作可行性 4
三、 系统开发环境和技术简介 4
(一) Python语言和request库简介 4
(二) Pycharm 集成开发环境 4
(三) 爬虫技术介绍 5
(四) Mysql数据库简介 5
四、 系统设计与实现 7
(一) 爬虫的设计 7
(二) 数据库设计 7
(三) 系统功能实现 8
1. URL管理实现 8
2. 数据解析实现 10
3. 数据爬取实现 11
(四) 数据存储及可视化实现 12
1. 数据存储实现 12
2. 数据可视化实现 13
五、 系统测试 16
(一) 测试的目的及意义 16
(二) 测试方法 16
(三) 测试内容和结果 16
(四) 测试结论 16
总 结 17
参考文献 18
致 谢 19
引言
课题来源
伴随着近些年互联网在全国范围内的迅速普及，随着移动互联网的发展，人们可以随时随地上网进行在线视频观看和直播，听音乐等活动，也极大丰富了人们的日常生活。
庞大的上网群体造就了庞大的网络流量和用户数据，在互联网技术以及大数据技术迅速发展的新时代，对海量数据的挖掘和分析是一项值得研究的课题， *好棒文|www.hbsrm.com +Q: ^351916072^
同时也是适应未来社会数据化信息化发展的趋势。通过对用户数据的爬取与分析，我们可以对用户的喜好进行一个精准的描绘，对用户进行智能推荐。此外还可以进行后期分析，实现广告精准投放等功能。本课题以大数据时代下的用户数据分析为背景，以在线音乐网站歌曲评论作为研究对象，通过网络爬虫技术对音乐的评论数据进行抓取，然后对评论数据进行清洗和分析，提取其中有价值的用户信息，分析趋势，并对爬取到的信息进行可视化展示，构建一个综合性的数据分析系统，该系统本着把握直观化和个性化的特点；以生动形象的图表呈现出目前的音乐流行趋势，以及评论热点。
课题现状
网络爬虫源自Spider的意译，又称网页蜘蛛，是指按照某种规则在网络上爬取所需内容的脚本程序。众所周知，每个网页通常包含其他网页的入口，网络爬虫则通过一个网址依次进入其他网址获取所需内容。对于不希望被爬虫爬取信息的网站，存在着向爬网代理人宣传这一点的机制，这个时候就需要加上一些代理来满足索引。
爬虫程序从要访问的URL列表开始, 称为资源信息的种子。当爬虫程序访问这些种子的时候, 它会标识网站页面里的所有超链接, 并将其添加到访问的URL列表中。根据相关对应策略, 按照特定的顺序访问来自边界的URL。如果爬虫程序正在对网站进行存档, 它将复制并按原样保存信息。现在如今搜索引擎采用何种抓取策略，提升信息检索效率，优化先后顺序结果等，已经成为近些来专业爬虫热门问题的主要之一。
课题意义
近年来，随着我国互联网经济的高速腾飞和提速降费措施的大力实施，人们在享受着互联网带来的便捷的同时，也开始进入数据爆炸时代，大量繁杂冗余的信息充斥在网络上，使得人们难以从中精确找出自己所需的信息，人们迫切需要通过某种技术手段对信息进行综合提取和筛选。为了使获取信息的过程更加便捷和高效，就需要用现代化的技术手段来代替低效、繁琐的手工搜索和提取信息的方式，这时网络爬虫技术就能很好地解决这一问题。
在实际应用中，很多的搜索引擎以及一些数据和信息聚合类网站都大量采用了爬虫技术，通过抓取互联网上的海量内容在数据库中进行存储，并通过对爬取的信息进行二次分类和整理，实现高效简洁的信息展示，从而从中获取对应的商业利益和价值。由此可见，爬虫技术在未来的大数据时代，将会越发突显其重要的技术地位和价值，值得我们去进一步的研究。
本文通过设计一个爬虫系统，实现音乐评论数据的爬取与分析，不仅能让我们清楚爬虫的工作原理与具体实现，也能通过对评论信息的分析掌握。
系统分析
系统架构
功能架构
根据前期的系统需求调研结果确定本系统主要包括以下功能模块，爬虫模块和数据分析模块，如图21所示。
图21 系统体系结构
模块需求描述
URL管理模块
URL管理模块主要是实现URL的去重以及出现异常时候的处理，保证系统的可靠稳定运行，同时避免了数据重复抓取的问题。
数据解析模块
该部分主要是针对网站页面，使用lxml解析库实现关键信息的提取，比如歌曲的评论数、歌手、播放量等关键信息。
数据存储及展示
大规模的抓取动辄上十万的数据量，数据存储成为最重要的问题之一，虽然可以简单的用数据文件进行存储，但是为了安全和快速，因此这里我们使用数据库进行数据的存储。
版权保护: 本文由 hbsrm.com编辑，转载请保留链接: www.hbsrm.com/jsj/rjgc/1005.html
