python语言的二手汽车买卖信息数据挖掘系统设计与实现(源码)
本系统采用数据挖掘技术设计实现对网上二手车信息的挖掘，系统采用B/S模式，利用现在应用比较广泛的ASP.NET+SQL Server数据库的多层次架构实现网站，采用关系数据库。采用的数据挖掘技术是基于Python语言的Scrapy框架，此框架有四个模块，分别是items模块、spiders模块、pipelines模块、settings模块。其中spiders模块中是负责数据抓取的代码，items模块是数据通道，负责将数据存储到数据库中。其中数据挖掘部分与网站部分是分割开来，在Pycharm中运行爬虫，爬取二手车信息，然后存入数据库当中，在网站中展示给用户看，用户可以在网站中挑选自己看中的二手车。关键词 二手车，数据挖掘，Python，Scrapy框架
目 录
1 引言 1
1.1 选题背景和意义 1
1.1.1 选题背景 1
1.1.2 选题意义 1
1.2 研究现状 2
1.3 研究目标 2
1.3.1 功能目标 2
1.3.2 性能目标 3
2 可行性分析 4
2.1 技术可行性分析 4
2.2 经济可行性分析 4
2.3 社会可行性分析 4
3 系统分析 5
3.1 需求分析 5
3.1.1 功能分析 5
3.2 业务流程分析 9
3.3 数据流程分析 10
3.4 数据字典 11
4 系统设计 12
4.1 功能模块设计 12
4.1.1 系统功能总体设计 12
4.1.2 系统功能详细设计 13
4.2 数据库设计 19
4.2.1 概念结构设计 19
4.2.2 逻辑结构设计 20
4.3 界面设计 21
4.3.1 前台界面 21
4.3.2 后台管理界面 26
4.3.3 挖掘数据时的界面 28
5 系统实现 29
5.1 开发技术 29
5.2 运行环境 30
5.2.1 服务 *好棒文|www.hbsrm.com +Q: ￥351916072$
器端软硬件要求 30
5.2.2 客户端软硬件要求 30
5.3 核心代码展示 30
5.3.1 数据库连接代码 30
5.3.2 数据挖掘部分代码 31
结 论 33
致 谢 34
参考文献 35
1 引言
1.1 选题背景和意义
1.1.1 选题背景
由于我国社会主义建设的不断发展，经济的不断提升和国家市场的不断完善，汽车的普及率在增加。二手车市场也接着进入到了快速发展的阶段。汽车流通的方式以及渠道不再是过去的单向分配，开始转换成了如今的多元化买卖方式，例如网上交易，二手车通过网上交易方便迅捷，二手车信息齐全，不赚中间商差价，无理由退车，所以网上交易逐渐在二手车交易市场中达到主流。
与此同时，随着技术和时代的发展，大数据时代已经到来；面对庞大的数据，人类需要有一种能处理数据资源并将其转化为有用的信息的技术，因此诞生了数据挖掘处理技术[1]，它可以大量的获取并分析数据，在此基础上我们可以做出更加科学准确有效率的决策[2]。数据挖掘是一项非常热门的技术，应用广泛，在许多方面都能应用到数据挖掘技术，比如物流运输行业、电子商务行业、食品等[3]。二手车行业也不例外。
1.1.2 选题意义
网络上的二手车信息种类繁多，运用数据挖掘技术将网上的信息整合起来，可以方便有需求的人能够更好更快的选择到自己心仪的二手车同时促进信息的流通。
二手车行业的发展在最近几年来一直受到广大电商们的热烈追捧，不少投资者和创业人士都迫切的希望加入到这个潜力无穷大的环境中去。据汽车流通协会发布的数据显示，自从有了二手车网上买卖的方式，整个市场上的二手车销量爆炸式增加。由此说明二手车网上交易可以带动二手车市场的发展。
二手车网站的发展模式打破了传统意义上的购买方式，让人们的选择更加丰富。二手车行业之所以可以找到这种如此快捷、高效和公平的交易方式，都要归功于电子商务的兴起，它不仅结合了传统二手车市场繁琐巨大的产业链，而且产生了多种适合二手车商城的交易模式。如今虽然二手车行业的电商市场渗透率不够高，而且集中度太低，但是在电商网站的成交数量和发拍数量都有了十分明显的增长，由此看来，二手车市场的成长空间还是十分广阔的。基于二手车电商的这种发展趋势再结合我国现在的网络技术来看，二手车信息数据挖掘系统的开发可以更好地服务于广大于人们，帮助他们选择一款适合自己，性价比高的二手车。
1.2 研究现状
目前国内基于python语言有个pyspider的架构[10]。它是由国人编写的开源的强大的网络爬虫系统并带有强大的WebUI分布式架构，支持多种数据库后端，强大的WebUI支持脚本编辑器[10]，任务监视器，项目管理器以及结果查看器，使用起来容易上手。但是它对于在Windows支持性方面不是很好，在Windows下容易出现一些奇怪的bug，比如容易出现“Python已停止运行”这样的错误[10]。
国外基于python语言的数据挖掘有scrapy架构，它也是开源的，他的稳定性和功能强大性都比pyspider要高[8]，对于在Windows支持性方面也是做得很好，因此，本项目使用了这个架构来对。
scrapy的主要优点有，采取可读性更强的xpath代替正则、强大的统计和log系统、同时在不同的url上爬行、支持shell方式，方便独立调试、写middleware，方便写一些统一的过滤器、通过管道的方式存入数据库[8]。
目前，国外数据挖掘的发展趋势其研究方面主要有：对知识发现方法的研究，如近年来注重对Bayes（贝叶斯）方法以及Boosting方法的研究和提高；研究传统的统计学回归法在KDD中的应用；研究KDD与数据库的紧密结合。
1.3 研究目标
1.3.1 功能目标
本设计将开发一个基于Python的二手车信息数据挖掘系统，挖掘来的二手车信息展示在网页上。主要开发内容为：数据挖掘模块，用户登录模块（包括用户信息注册和找回密码等）、我要买车查模块、我要卖车模块、用户中心、留言板。
目 录
1 引言 1
1.1 选题背景和意义 1
1.1.1 选题背景 1
1.1.2 选题意义 1
1.2 研究现状 2
1.3 研究目标 2
1.3.1 功能目标 2
1.3.2 性能目标 3
2 可行性分析 4
2.1 技术可行性分析 4
2.2 经济可行性分析 4
2.3 社会可行性分析 4
3 系统分析 5
3.1 需求分析 5
3.1.1 功能分析 5
3.2 业务流程分析 9
3.3 数据流程分析 10
3.4 数据字典 11
4 系统设计 12
4.1 功能模块设计 12
4.1.1 系统功能总体设计 12
4.1.2 系统功能详细设计 13
4.2 数据库设计 19
4.2.1 概念结构设计 19
4.2.2 逻辑结构设计 20
4.3 界面设计 21
4.3.1 前台界面 21
4.3.2 后台管理界面 26
4.3.3 挖掘数据时的界面 28
5 系统实现 29
5.1 开发技术 29
5.2 运行环境 30
5.2.1 服务 *好棒文|www.hbsrm.com +Q: ￥351916072$
器端软硬件要求 30
5.2.2 客户端软硬件要求 30
5.3 核心代码展示 30
5.3.1 数据库连接代码 30
5.3.2 数据挖掘部分代码 31
结 论 33
致 谢 34
参考文献 35
1 引言
1.1 选题背景和意义
1.1.1 选题背景
由于我国社会主义建设的不断发展，经济的不断提升和国家市场的不断完善，汽车的普及率在增加。二手车市场也接着进入到了快速发展的阶段。汽车流通的方式以及渠道不再是过去的单向分配，开始转换成了如今的多元化买卖方式，例如网上交易，二手车通过网上交易方便迅捷，二手车信息齐全，不赚中间商差价，无理由退车，所以网上交易逐渐在二手车交易市场中达到主流。
与此同时，随着技术和时代的发展，大数据时代已经到来；面对庞大的数据，人类需要有一种能处理数据资源并将其转化为有用的信息的技术，因此诞生了数据挖掘处理技术[1]，它可以大量的获取并分析数据，在此基础上我们可以做出更加科学准确有效率的决策[2]。数据挖掘是一项非常热门的技术，应用广泛，在许多方面都能应用到数据挖掘技术，比如物流运输行业、电子商务行业、食品等[3]。二手车行业也不例外。
1.1.2 选题意义
网络上的二手车信息种类繁多，运用数据挖掘技术将网上的信息整合起来，可以方便有需求的人能够更好更快的选择到自己心仪的二手车同时促进信息的流通。
二手车行业的发展在最近几年来一直受到广大电商们的热烈追捧，不少投资者和创业人士都迫切的希望加入到这个潜力无穷大的环境中去。据汽车流通协会发布的数据显示，自从有了二手车网上买卖的方式，整个市场上的二手车销量爆炸式增加。由此说明二手车网上交易可以带动二手车市场的发展。
二手车网站的发展模式打破了传统意义上的购买方式，让人们的选择更加丰富。二手车行业之所以可以找到这种如此快捷、高效和公平的交易方式，都要归功于电子商务的兴起，它不仅结合了传统二手车市场繁琐巨大的产业链，而且产生了多种适合二手车商城的交易模式。如今虽然二手车行业的电商市场渗透率不够高，而且集中度太低，但是在电商网站的成交数量和发拍数量都有了十分明显的增长，由此看来，二手车市场的成长空间还是十分广阔的。基于二手车电商的这种发展趋势再结合我国现在的网络技术来看，二手车信息数据挖掘系统的开发可以更好地服务于广大于人们，帮助他们选择一款适合自己，性价比高的二手车。
1.2 研究现状
目前国内基于python语言有个pyspider的架构[10]。它是由国人编写的开源的强大的网络爬虫系统并带有强大的WebUI分布式架构，支持多种数据库后端，强大的WebUI支持脚本编辑器[10]，任务监视器，项目管理器以及结果查看器，使用起来容易上手。但是它对于在Windows支持性方面不是很好，在Windows下容易出现一些奇怪的bug，比如容易出现“Python已停止运行”这样的错误[10]。
国外基于python语言的数据挖掘有scrapy架构，它也是开源的，他的稳定性和功能强大性都比pyspider要高[8]，对于在Windows支持性方面也是做得很好，因此，本项目使用了这个架构来对。
scrapy的主要优点有，采取可读性更强的xpath代替正则、强大的统计和log系统、同时在不同的url上爬行、支持shell方式，方便独立调试、写middleware，方便写一些统一的过滤器、通过管道的方式存入数据库[8]。
目前，国外数据挖掘的发展趋势其研究方面主要有：对知识发现方法的研究，如近年来注重对Bayes（贝叶斯）方法以及Boosting方法的研究和提高；研究传统的统计学回归法在KDD中的应用；研究KDD与数据库的紧密结合。
1.3 研究目标
1.3.1 功能目标
本设计将开发一个基于Python的二手车信息数据挖掘系统，挖掘来的二手车信息展示在网页上。主要开发内容为：数据挖掘模块，用户登录模块（包括用户信息注册和找回密码等）、我要买车查模块、我要卖车模块、用户中心、留言板。
版权保护: 本文由 hbsrm.com编辑，转载请保留链接: www.hbsrm.com/jsj/jsjkxyjs/909.html
