python网络爬虫的手机价格分析(附件)
本文针对消费者网购商品常态化，网购平台的数量众多、日益复杂化，平台的商品种类繁多、日渐多样化，因为每个平台每个厂家有着各自不同的营销策略，所以针对同一件商品，例如手机，不同的平台肯会给出不同的价格，通过爬取淘宝网手机数据，了解商品数据特征的同时，结合Python语言，对天猫、京东、苏宁易购等平台的小米、华为、魅族等手机价格进行爬取数据，通过逻辑斯蒂分类和K-means聚类的分析，将爬取的数据进行聚类和分类，由厂商分类的结果可以大致从一件商品的价格判断出商品的厂商，聚类的结果通过横坐标价格变动次数和纵坐标最低价格的表格显示对平台的聚类效果。
目录
摘要 1
关键词 1
ABSTRACT. 1
KEY WORDS 1
1．选题背景 1
1.1 问题的提出 1
1.2 国内外市场状况 2
1.2.1 国外市场状况 2
1.2.2 国内市场状况 2
1.3 研究的目的和内容 3
2 开发平台及应用技术 3
2.1 Anaconda简介 3
2.2 pycharm简介 3
2.3 网络爬虫技术介绍 3
3 数据分析方法介绍 4
3.1 逻辑斯蒂回归分类算法 4
3.1.1 算法简介 4
3.1.2 算法详解 4
3.1.1 逻辑回归优缺点 5
3.2 Kmeans聚类算法 6
3.2.1 算法简介 6
3.2.1 算法流程 6
3.2.1 算法优缺点 6
4 项目设计思路 7
4.1 项目目的 7
4.2 扩展功能流程 8
5 关键技术介绍 9
5.1 token字段的解密 9
5.2 pandas数据处理库 9
5.3 Matplotlib绘图库 10
5.4 相关接口简要说明 *好棒文|www.hbsrm.com +Q: ￥351916072$
10
6 项目实现过程 11
6.1 项目步骤 11
6.2 爬取数据 11
6.3 数据清洗、处理 12
6.4 数据挖掘与分析 13
6.4.1 对标题进行文本分析 13
6.4.2 对不同类型的商品进行销量分析 13
6.4.3 商品价格分布情况分析 15
6.4.4 商品销量分布情况分析 15
6.4.5 不同价格区间的商品平均销量分布分析 16
6.4.6 商品价格对销量的影响分析 17
6.4.7 商品价格对销售额的影响分析 17
6.4.8 不同省份的商品分布分析 18
7 拓展功能 20
7.1 实时爬取部分数据及对比图 20
7.2 算法分析部分 20
7.2.1 逻辑斯蒂分类分析 20
7.2.2 Kmeans聚类结果分析 21
8 总结 22
致谢 23
参考文献： 23
基于Python网络爬虫的手机价格分析
引言
引言：据相关报告得知，截至2017年12月， 由于网购的便捷性，使用网络购物的用户已经达到6.14亿，对比于2016年底将近增长10.2%。由此可见，我国网购市场潜在的发展力和庞大的用户规模，商家们逐利在一个个互联网平台上，导致数据资源愈加宝贵，数据竞争表现出白热化，数据的安全使用和资源共享成为企业和现代社会的发展挑战。菜鸟、顺丰、中通、顺丰等物流数据资源的竞争、线上与线下合作共赢模式都反映出数据资产已成为互联网时代下的利器，商业竞争中最重要的隐形资产。而企业如何获取数据以及相关分析，如何判断其他企业的营销现状，如何在市场剧烈的竞争环境获取利益扩大销售，毫无疑问，一个数据分析系统是制定发展战略的最佳的助力。
1．选题背景
1.1 问题的提出
通过调查网络购物发展现状[1]得知，2017年，由于物流网络的普及和互联网技术的高速发展，我国的网络购物市场消费需求进一步显现。首先是消费的品质，消费者更愿意为高品质的商品支付更高的价格，如购买有机的新鲜产品、品质优异的商品等；然后是消费的智能，智能手机、平衡车等火热商品消费规模相比去年增长是巨大的；最后由于现代人的惰性，消费新概念商品的规模逐渐扩大，智能炒菜机，洗碗机、扫地机器人、新概念汽车等消费迅猛增长。除年轻消费群体、国民收入提升、网络的便捷化成为促进网络消费主力等因素外，电子商务规模的扩大和海外市场的扩张也是重要因素。
因此，在全民网购的时代背景下，商家如何在数以万计的竞争对手脱颖而出，如何在较小的营销代价下获取最大的利益，商家们必须了解竞争对手的情况，了解商品市场的需求对象，了解自身的竞争吸引力。而在眼花缭乱的商品价格大数据中快速的读取出数据的规律将有助于商家尽快的确认自身的市场定位，制定符合市场符合消费者需求的商品价格。
1.2 国内外市场状况
1.2.1 国外市场状况
以欧洲和美国为例，可以说电子商务业务正在全面展开。在欧洲国家，电子商务产生的消费占总业务量的1/4。在美国，现代化脚步迈出得更早，电子商务已经占据庞大的市场。电子商务在欧洲和美国的发展至少十多年。其中美国在线AOL，雅虎，eBay等其他知名电子商务公司早在九十年代就开始盈利，亚马逊书店，戴尔电脑和沃尔玛等公司也通过各自的基础设施、各自领域取得了丰硕的成果和巨大的利润。同时也因为欧洲和美国的物流配送体系相当完整和普及和近年来大型第三方物流公司的出现，使欧洲和美国不同地区的许多互联网用户经常可以在他们完成订单进行购物的第二天收到他们购买的商品。这种便捷的物流受益于过去百年来美国和欧洲仓储和运输系统发展的历史。以美国为例，在第二大世界大战后，不少企业公司已经有效地将军事后勤保障体系的运作方式运用于物质流通领域，一步步在全国建立了完善的物流配送网络。
最后，比起商圈和PC端消费，消费者越来越倾向通过手机网络购物。在英国，电子支付的便捷性让更多消费者放弃其他支付方式。在美国，网购者对手机比以往更依赖，除了购物，还用于查看不同的价格对比。在邻国印度，拥有庞大的足以比拟我国的消费群体，消费者的消费需求旺盛，更加注重商品的性价比和支付的便捷性。
目录
摘要 1
关键词 1
ABSTRACT. 1
KEY WORDS 1
1．选题背景 1
1.1 问题的提出 1
1.2 国内外市场状况 2
1.2.1 国外市场状况 2
1.2.2 国内市场状况 2
1.3 研究的目的和内容 3
2 开发平台及应用技术 3
2.1 Anaconda简介 3
2.2 pycharm简介 3
2.3 网络爬虫技术介绍 3
3 数据分析方法介绍 4
3.1 逻辑斯蒂回归分类算法 4
3.1.1 算法简介 4
3.1.2 算法详解 4
3.1.1 逻辑回归优缺点 5
3.2 Kmeans聚类算法 6
3.2.1 算法简介 6
3.2.1 算法流程 6
3.2.1 算法优缺点 6
4 项目设计思路 7
4.1 项目目的 7
4.2 扩展功能流程 8
5 关键技术介绍 9
5.1 token字段的解密 9
5.2 pandas数据处理库 9
5.3 Matplotlib绘图库 10
5.4 相关接口简要说明 *好棒文|www.hbsrm.com +Q: ￥351916072$
10
6 项目实现过程 11
6.1 项目步骤 11
6.2 爬取数据 11
6.3 数据清洗、处理 12
6.4 数据挖掘与分析 13
6.4.1 对标题进行文本分析 13
6.4.2 对不同类型的商品进行销量分析 13
6.4.3 商品价格分布情况分析 15
6.4.4 商品销量分布情况分析 15
6.4.5 不同价格区间的商品平均销量分布分析 16
6.4.6 商品价格对销量的影响分析 17
6.4.7 商品价格对销售额的影响分析 17
6.4.8 不同省份的商品分布分析 18
7 拓展功能 20
7.1 实时爬取部分数据及对比图 20
7.2 算法分析部分 20
7.2.1 逻辑斯蒂分类分析 20
7.2.2 Kmeans聚类结果分析 21
8 总结 22
致谢 23
参考文献： 23
基于Python网络爬虫的手机价格分析
引言
引言：据相关报告得知，截至2017年12月， 由于网购的便捷性，使用网络购物的用户已经达到6.14亿，对比于2016年底将近增长10.2%。由此可见，我国网购市场潜在的发展力和庞大的用户规模，商家们逐利在一个个互联网平台上，导致数据资源愈加宝贵，数据竞争表现出白热化，数据的安全使用和资源共享成为企业和现代社会的发展挑战。菜鸟、顺丰、中通、顺丰等物流数据资源的竞争、线上与线下合作共赢模式都反映出数据资产已成为互联网时代下的利器，商业竞争中最重要的隐形资产。而企业如何获取数据以及相关分析，如何判断其他企业的营销现状，如何在市场剧烈的竞争环境获取利益扩大销售，毫无疑问，一个数据分析系统是制定发展战略的最佳的助力。
1．选题背景
1.1 问题的提出
通过调查网络购物发展现状[1]得知，2017年，由于物流网络的普及和互联网技术的高速发展，我国的网络购物市场消费需求进一步显现。首先是消费的品质，消费者更愿意为高品质的商品支付更高的价格，如购买有机的新鲜产品、品质优异的商品等；然后是消费的智能，智能手机、平衡车等火热商品消费规模相比去年增长是巨大的；最后由于现代人的惰性，消费新概念商品的规模逐渐扩大，智能炒菜机，洗碗机、扫地机器人、新概念汽车等消费迅猛增长。除年轻消费群体、国民收入提升、网络的便捷化成为促进网络消费主力等因素外，电子商务规模的扩大和海外市场的扩张也是重要因素。
因此，在全民网购的时代背景下，商家如何在数以万计的竞争对手脱颖而出，如何在较小的营销代价下获取最大的利益，商家们必须了解竞争对手的情况，了解商品市场的需求对象，了解自身的竞争吸引力。而在眼花缭乱的商品价格大数据中快速的读取出数据的规律将有助于商家尽快的确认自身的市场定位，制定符合市场符合消费者需求的商品价格。
1.2 国内外市场状况
1.2.1 国外市场状况
以欧洲和美国为例，可以说电子商务业务正在全面展开。在欧洲国家，电子商务产生的消费占总业务量的1/4。在美国，现代化脚步迈出得更早，电子商务已经占据庞大的市场。电子商务在欧洲和美国的发展至少十多年。其中美国在线AOL，雅虎，eBay等其他知名电子商务公司早在九十年代就开始盈利，亚马逊书店，戴尔电脑和沃尔玛等公司也通过各自的基础设施、各自领域取得了丰硕的成果和巨大的利润。同时也因为欧洲和美国的物流配送体系相当完整和普及和近年来大型第三方物流公司的出现，使欧洲和美国不同地区的许多互联网用户经常可以在他们完成订单进行购物的第二天收到他们购买的商品。这种便捷的物流受益于过去百年来美国和欧洲仓储和运输系统发展的历史。以美国为例，在第二大世界大战后，不少企业公司已经有效地将军事后勤保障体系的运作方式运用于物质流通领域，一步步在全国建立了完善的物流配送网络。
最后，比起商圈和PC端消费，消费者越来越倾向通过手机网络购物。在英国，电子支付的便捷性让更多消费者放弃其他支付方式。在美国，网购者对手机比以往更依赖，除了购物，还用于查看不同的价格对比。在邻国印度，拥有庞大的足以比拟我国的消费群体，消费者的消费需求旺盛，更加注重商品的性价比和支付的便捷性。
版权保护: 本文由 hbsrm.com编辑，转载请保留链接: www.hbsrm.com/jsj/wljs/428.html
