python语言的苗圃信息数据挖掘系统设计与实现(源码)
目前市场上有很多苗圃交易信息网站，但是它们之间的数据相互隔绝，没有联系。所以需要通过数据挖掘技术将他们的销售和求购信息爬取出来，然后将数据进行集中处理，然后将这些信息展示在Web页面上。苗圃信息数据挖掘系统以“全球花木网”作为目标网站进行数据挖掘。本系统主要注重于数据挖掘部分，使用Python语言编写，利用Python中的Scrapy框架完成网络爬虫的编写。系统通过Scrapy中的Spider模块进行定义，来实现爬虫读取目标网站上的众多信息，使用XPath技术精准定位我们所需要的数据，并进行解析和整合，筛选出所需要的信息，然后将这些重要的数据信息保存进MySQL数据库。在数据展示部分，系统使用JQuery技术，实现页面与数据库的连接，最后将爬取的信息展现在Web页面上，提供给用户查看。关键词 苗圃信息，数据挖掘，Python语言，Scrapy框架 目前国内主要的苗圃交易信息网站是全球花木网（www.huamu.cn）、中国花木网（www.huamu.com）、花木大世界网（www.huamu0101.com）等。全球花木网主要为使用用户提供的信息有首页、苗圃品种分类、出售信息、求购信息、苗圃价格、商铺目录、会展信息、行业资讯、花木百科等。供应模块可以进行筛选，筛选条件有苗圃类别和地区，内容部分展示的最新的供应信息，还提供苗圃信息查询目录按钮，点击后可以在搜索栏搜索或按照产品类别、地区、以及产品第一个字的拼音首字母选择。采购模块也可以进行筛选，筛选条件有热门（种类）和地区，还提供关键字搜索以及省份城市选择。详细内容是采购者发布的按时间排序的求购帖。这些信息包括苗圃的种类、高度、粗细、数量、位置，还有买家和卖家的姓名、联系方式、地址等。有了这些信息，买家和卖家能够快速找到自己理想的交易对象。
目 录
1 引言...1
1．1 课题研究背景 1
1．2 国外与国内现状与发展趋势 1
2 可行性分析...3
2．1 技术可行性 3
2．2 社会可行性 4
3 需求分析...5
3．1 系统需求 5
3．2 功能需求 5
3．3 系统用例图 6
3．4 主要技术 7
4 *好棒文|www.hbsrm.com +Q: ^351916072#
系统设计...9
4．1 数据挖掘模块设计 10
4．2 数据展示模块设计 12
4．3 数据库设计 13
4．4 界面展示设计 14
5 详细设计.16
5．1 系统实现环境 16
5．2 数据挖掘模块设计 17
5．3 运行爬虫 21
5．4 数据展示模块设计 23
6 系统测试.25
6．1 模块测试 25
6．2 集成测试 25
结论.......27
致谢.......................................................28
参考文献.......29 1 引言
1．1 课题研究背景
计算机、网络、通信等技术从上世纪90年代以来得到了迅速的发展，在世界各地互联网技术都取得了迅速的发展和普及[1]。在全球范围内，互联网技术的应用范围正在迅速扩大，二十一世纪正在朝着信息化时代发展，新时代的到来使得信息数字化、网络化的作用也越来越大。各种各样的信息化管理工作正在迅速地从繁琐的人工化向数字化和网络化发展，从而大幅度提高工作效率[2]。互联网的发展也使得现代商业的商业模式发生了天翻地覆的变化，由以前的传统线下商业发展成为现在的互联网线上商业，这种变化要求供应商的增加他们的供货能力，使商家的全球竞争不断增加，传统的企业必须顺应时代改变自己的企业内部结构和运行方式来适应这种全球性变化。这种基于互联网的新型商业模式—电子商务开始迅速发展，这种商业模式能把销售者和购买者更紧密地练习在一起，将他们的信息放在同一个平台上，让所有人都能直观地了解[3]。
我国国土辽阔，无论是经度还是纬度，跨越都较大，地形、土壤成分和气候种类多种多样，所以花草树木等苗圃的种类非常多样化，分布情况更是十分复杂[4]，各个地区的苗圃种类区别很大，很难统一。然而全国的苗圃购买者更是需求不一，想要购买的品种，苗圃的大小，以及消费者所处的位置各不相同，传统的方法很难做到让买家和卖家都能满意地进行交易，所以买家和卖家信息就需要展示在一个所有人都能看到的平台上。在如今这个迅猛发展的互联网时代，没有什么平台能比网络更加适合展示信息。在网络上，买家和卖家可以及时地发布自己的求购和出售信息，双方可以根据这些信息来判断交易是否可以进行，这样既可以是自己不局限于本地的苗圃市场，还能大幅度提高买卖效率，节约双方的时间和精力[5]。
1．2 国外与国内现状与发展趋势
近些年来，网络技术取得了飞速发展，互联网已经成为了一个实用的信息平台，融入了人们生活中的方方面面，为人们的工作和生活带来了各种便利，并提高了工作和生活的效率。因此人们越来越重视互联网时代下的信息化建设，这也成为了企业和个人快速发展的重要机会和途径。只有紧跟时代发展的潮流，我们才能不断地发展和提高[67]。
随着社会经济的不断发展，人们的收入水平越来越高，生活质量得到了极大的改善，不用向以前一样再担心温饱问题。于是越来越多的人开始注重绿化和环境问题，尤其是居住在城市中的人们。这也使得城市对于可以用于绿化的各种花草树木的需求越来越多，这也促进了整个苗圃行业的快速发展，但是传统的苗圃行业越来越无法满足人们大幅增长的需求。
1.2.1 国外现状
发达国家的苗圃行业早已开始标准化、机械化和规模化，从耕地、播种、施肥、除虫、除草、检测一直到运输，整个过程都实行机械化作业。而在销售环节，由于国外苗圃行业大多是以集体化和规模化的公司经营，并且他们的国土经纬跨度相对较小，所以他们的销售就相对于国内方便很多。他们只需要做好市场调研，分析并预测市场需求，然后加强宣传工作，打响自己的品牌知名度，然后进行统一的销售，就可以很好解决销售问题。
1.2.2 国内现状以及发展趋势
目前为止，我国的苗圃行业与发达国家相比，在生产的专业化和规模化方面还存在着巨大的差距，很多苗圃经营者都是以个人散户的形式运营。这种传统的经营模式很大限度的限制了苗圃行业的发展，使经营者只能局限于本地的苗圃需求，无法将自己的业务扩展到更大的范围。如果经营者稍不注意本地市场的需求，更甚者可能产销脱节，造成巨大的损失[89]。为了解决苗圃行业的销售问题，很多苗圃经营者开始将目光转向开拓线上模式。处于市场的需求，越来越多提供苗圃交易信息的网站开始出现在人们的视线之内，这些网站为用户提供了各种花草树木的出售和求购信息，以及其他用户可能需要的苗圃信息。
目前国内主要的苗圃交易信息网站是全球花木网（www.huamu.cn）、中国花木网（www.huamu.com）、花木大世界网（www.huamu0101.com）等。全球花木网主要为使用用户提供的信息有首页、苗圃品种分类、出售信息、求购信息、苗圃价格、商铺目录、会展信息、行业资讯、花木百科等。供应模块可以进行筛选，筛选条件有苗圃类别和地区，内容部分展示的最新的供应信息，还提供苗圃信息查询目录按钮，点击后可以在搜索栏搜索或按照产品类别、地区、以及产品第一个字的拼音首字母选择。采购模块也可以进行筛选，筛选条件有热门（种类）和地区，还提供关键字搜索以及省份城市选择。详细内容是采购者发布的按时间排序的求购帖。这些信息包括苗圃的种类、高度、粗细、数量、位置，还有买家和卖家的姓名、联系方式、地址等。有了这些信息，买家和卖家能够快速找到自己理想的交易对象。
目 录
1 引言...1
1．1 课题研究背景 1
1．2 国外与国内现状与发展趋势 1
2 可行性分析...3
2．1 技术可行性 3
2．2 社会可行性 4
3 需求分析...5
3．1 系统需求 5
3．2 功能需求 5
3．3 系统用例图 6
3．4 主要技术 7
4 *好棒文|www.hbsrm.com +Q: ^351916072#
系统设计...9
4．1 数据挖掘模块设计 10
4．2 数据展示模块设计 12
4．3 数据库设计 13
4．4 界面展示设计 14
5 详细设计.16
5．1 系统实现环境 16
5．2 数据挖掘模块设计 17
5．3 运行爬虫 21
5．4 数据展示模块设计 23
6 系统测试.25
6．1 模块测试 25
6．2 集成测试 25
结论.......27
致谢.......................................................28
参考文献.......29 1 引言
1．1 课题研究背景
计算机、网络、通信等技术从上世纪90年代以来得到了迅速的发展，在世界各地互联网技术都取得了迅速的发展和普及[1]。在全球范围内，互联网技术的应用范围正在迅速扩大，二十一世纪正在朝着信息化时代发展，新时代的到来使得信息数字化、网络化的作用也越来越大。各种各样的信息化管理工作正在迅速地从繁琐的人工化向数字化和网络化发展，从而大幅度提高工作效率[2]。互联网的发展也使得现代商业的商业模式发生了天翻地覆的变化，由以前的传统线下商业发展成为现在的互联网线上商业，这种变化要求供应商的增加他们的供货能力，使商家的全球竞争不断增加，传统的企业必须顺应时代改变自己的企业内部结构和运行方式来适应这种全球性变化。这种基于互联网的新型商业模式—电子商务开始迅速发展，这种商业模式能把销售者和购买者更紧密地练习在一起，将他们的信息放在同一个平台上，让所有人都能直观地了解[3]。
我国国土辽阔，无论是经度还是纬度，跨越都较大，地形、土壤成分和气候种类多种多样，所以花草树木等苗圃的种类非常多样化，分布情况更是十分复杂[4]，各个地区的苗圃种类区别很大，很难统一。然而全国的苗圃购买者更是需求不一，想要购买的品种，苗圃的大小，以及消费者所处的位置各不相同，传统的方法很难做到让买家和卖家都能满意地进行交易，所以买家和卖家信息就需要展示在一个所有人都能看到的平台上。在如今这个迅猛发展的互联网时代，没有什么平台能比网络更加适合展示信息。在网络上，买家和卖家可以及时地发布自己的求购和出售信息，双方可以根据这些信息来判断交易是否可以进行，这样既可以是自己不局限于本地的苗圃市场，还能大幅度提高买卖效率，节约双方的时间和精力[5]。
1．2 国外与国内现状与发展趋势
近些年来，网络技术取得了飞速发展，互联网已经成为了一个实用的信息平台，融入了人们生活中的方方面面，为人们的工作和生活带来了各种便利，并提高了工作和生活的效率。因此人们越来越重视互联网时代下的信息化建设，这也成为了企业和个人快速发展的重要机会和途径。只有紧跟时代发展的潮流，我们才能不断地发展和提高[67]。
随着社会经济的不断发展，人们的收入水平越来越高，生活质量得到了极大的改善，不用向以前一样再担心温饱问题。于是越来越多的人开始注重绿化和环境问题，尤其是居住在城市中的人们。这也使得城市对于可以用于绿化的各种花草树木的需求越来越多，这也促进了整个苗圃行业的快速发展，但是传统的苗圃行业越来越无法满足人们大幅增长的需求。
1.2.1 国外现状
发达国家的苗圃行业早已开始标准化、机械化和规模化，从耕地、播种、施肥、除虫、除草、检测一直到运输，整个过程都实行机械化作业。而在销售环节，由于国外苗圃行业大多是以集体化和规模化的公司经营，并且他们的国土经纬跨度相对较小，所以他们的销售就相对于国内方便很多。他们只需要做好市场调研，分析并预测市场需求，然后加强宣传工作，打响自己的品牌知名度，然后进行统一的销售，就可以很好解决销售问题。
1.2.2 国内现状以及发展趋势
目前为止，我国的苗圃行业与发达国家相比，在生产的专业化和规模化方面还存在着巨大的差距，很多苗圃经营者都是以个人散户的形式运营。这种传统的经营模式很大限度的限制了苗圃行业的发展，使经营者只能局限于本地的苗圃需求，无法将自己的业务扩展到更大的范围。如果经营者稍不注意本地市场的需求，更甚者可能产销脱节，造成巨大的损失[89]。为了解决苗圃行业的销售问题，很多苗圃经营者开始将目光转向开拓线上模式。处于市场的需求，越来越多提供苗圃交易信息的网站开始出现在人们的视线之内，这些网站为用户提供了各种花草树木的出售和求购信息，以及其他用户可能需要的苗圃信息。
目前国内主要的苗圃交易信息网站是全球花木网（www.huamu.cn）、中国花木网（www.huamu.com）、花木大世界网（www.huamu0101.com）等。全球花木网主要为使用用户提供的信息有首页、苗圃品种分类、出售信息、求购信息、苗圃价格、商铺目录、会展信息、行业资讯、花木百科等。供应模块可以进行筛选，筛选条件有苗圃类别和地区，内容部分展示的最新的供应信息，还提供苗圃信息查询目录按钮，点击后可以在搜索栏搜索或按照产品类别、地区、以及产品第一个字的拼音首字母选择。采购模块也可以进行筛选，筛选条件有热门（种类）和地区，还提供关键字搜索以及省份城市选择。详细内容是采购者发布的按时间排序的求购帖。这些信息包括苗圃的种类、高度、粗细、数量、位置，还有买家和卖家的姓名、联系方式、地址等。有了这些信息，买家和卖家能够快速找到自己理想的交易对象。
版权保护: 本文由 hbsrm.com编辑，转载请保留链接: www.hbsrm.com/jsj/rjgc/1142.html
