数据挖掘的审图信息系统设计与实现(源码)
根据施工审图网站对数据的需求，本项目采用Python语言对淮安施工审图网、日照施工审图网和新疆施工审图网站进行数据的分析和挖掘，利用了高效简便的Scrapy框架对信息进行采集，以Pycharm为开发平台，MySql为数据库来搭建项目的展示模块，用来方便用户对纷杂的施工审图信息的获取，并且保证了这些的信息具有海量、可靠的特点。本文详细介绍了Python的数据挖掘模块，使得在这个大数据时代，面对繁杂数据时，能够采取行之有效的获取办法。以淮安建设工程施工图审查信息网为例，对其页面进行请求、解析，对所需的数据采取定位，对采集后的信息进行存储，逐步讲解如何使系统运行的。关键字数据挖掘,施工审图，Python语言，Scrapy框架
目 录
1 引言 1
1.1 研究背景 1
1.2 课题研究的目的和意义 1
1.3 国内外发展趋势 1
1.4 实现目标 2
2 需求分析 3
2.1 系统开发工具及结构技术 3
2.2 功能需求 5
2.3 开发和运行的环境选择 3
2.4 系统性能分析 7
2.5 系统约束 7
3 可行性分析 8
3.1 系统体系结构 8
3.2 可行性研究 8
4 系统设计 9
4.1 系统设计原则 9
4.2 功能结构设计 10
4.3系统结构设计 11
4.4 数据库设计 12
4.5网页设计 14
4 系统的应用 16
5.1 爬取的具体页面 16
5.2爬虫过程 18
5.3爬虫代码 19
结 论 22
致 谢 23
参 考 文 献 24
引言
1.1 研究背景
施工图的审查已经进行了10年，在数据挖掘方面，经过国内外工作人员的共同努力下，其技术也应用也取得看很大的成就，成为越来越重要的技术，这些技术在施工审图过程中具有重要的价值和意义。所以，通过数据挖掘建立的施工审图系统，帮助审图机构提高审计的效率和质量等 *好棒文|www.hbsrm.com +Q: @351916072@
等的相关问题。
随着施工图审查工作迅猛发展，施工图审查的项目也日益增多，省建设厅又积极开展调研，并针对各地施工审查工作中存在水平参差不齐、要求不统一的问题，2008年下发了《关于进一步加强施工图审查管理工作的通知》，对审查机构作出了明确的规定。在2013年4月27日中华人民共和国住房和城乡建设部令发布《房屋建筑和市政基础设施工程施工图设计文件审查管理办法》，其中明确规定了施工图未经审查合格的，不得使用。由此可看出，国家也越来越重视施工审图。本课题是以施工审图为对象，实现将重要信息数据数据爬出来。
1.2 课题研究的目的和意义
在经过一学期对这个课题的研究，我们应完善审查机制从而提高系统的综合性和适用性，从而提高系统的有效性和可行性。该项目将利用数据挖掘技术从建筑图纸评估机构收集有用的数据，在以后，审计机构将会拥有更加良好的环境和基础去完成他们的工作。
在中国审图的应用方面, 施工方法的审查和管理正在逐步完善和完善, 国家建设也在不断完善。主管当局、施工部门和审查机构的作用越来越清晰, 审查制度它的重要地位也渐渐显露出来。但是, 在市场上，施工图纸审查的监督管理方法的好坏并不能很好地体现了综合能力来作为审查的依据, 对施工单位的选型不全面, 也不利于全面提高施工图设计的整体质量。这个课题是基于一个审查系统的深入研究在一个真实的市场, 以收集数据。它有助于自我完善和发展的审查制度, 同时也有助于施工图设计文件审查系统的最佳效果, 从根本上解决了安全问题和质量问题。
1.3 国内外发展趋势
在我国，对数据挖掘进行研究还是相对于其他国家较晚的，暂时还没有整体的力量。国内数据挖掘软件产业还处于发展阶段。国内数据挖掘研究人员在大学里也有一些研究机构或公司。所涉及的研究领域很多, 主要集中在学习算法的研究、数据挖掘的实际应用以及数据挖掘理论的研究上。目前政府资助的大部分研究项目。在我国施工图审查工作也具有了较为明显的市场性特征，但是由于国家法律法规和规章制度方面的不成熟，也使得施工图审查机构有全面市场化的趋势。所以，在国内的一些数据挖掘研究人员也在针对这一问题进行了深入的研究[6][7]。
国外数据挖掘的最新发展主要是对知识检测方法的进一步研究, 如贝叶斯的研究和Boosting方法, 以及近年来的改进方法[1]；分析与数据库的紧密结合以及传统统计回归方法在分析中的应用。本文的应用主要体现在对业务软件分析中存在的问题进行了孤立解决, 为整个系统的解决创造了问题。主要用户是保险公司、大银行和行业。许多计算机公司和研究机构为数据挖掘的发展和应用提供了巨大的价值。IBM 和微软一直在建立各自的研究中心。美国是世界上最繁荣的数据挖掘领域, 占据着核心研究的地位[5]。
数据挖掘技术已广泛应用于各个领域, 一些常见的应用, 如加利福尼亚理工学院联合开发, 喷气推进实验室, 天文科学家 Skicat 系统可以帮助天文学家探测遥远的类星体, 天文学和空间科学中的人工智能技术, 第一个成功的应用，数据挖掘技术用于识别客户的购买行为和分析客户。预测银行或保险公司经常发生的欺诈行为;在学术研究中, 国际科学期刊还在数据库、人工智能、信息处理和知识工程等领域开设了数据挖掘项目或专业期刊[2][4]。
1.4 实现目标
本课题所开发的系统拟在Windows系统下开发完成，使用Python和PHP作为开发语言，MYSQL作为数据库。并将相关新闻、政策等信息存入MYSQL中。
1.4.1 存在的问题
施工审查采用的是传统的手工制作方式，既缓慢又无效；
施工审查中心有大量工作、数据和各种复杂的统计数据；
施工审查是一个混乱的审查过程，对于统一管理是比较不方便的；
施工单位的级别各不相同，程序不明确，与评价中心的沟通不及时，很容易对评价中心的形象产生负面影响。
目 录
1 引言 1
1.1 研究背景 1
1.2 课题研究的目的和意义 1
1.3 国内外发展趋势 1
1.4 实现目标 2
2 需求分析 3
2.1 系统开发工具及结构技术 3
2.2 功能需求 5
2.3 开发和运行的环境选择 3
2.4 系统性能分析 7
2.5 系统约束 7
3 可行性分析 8
3.1 系统体系结构 8
3.2 可行性研究 8
4 系统设计 9
4.1 系统设计原则 9
4.2 功能结构设计 10
4.3系统结构设计 11
4.4 数据库设计 12
4.5网页设计 14
4 系统的应用 16
5.1 爬取的具体页面 16
5.2爬虫过程 18
5.3爬虫代码 19
结 论 22
致 谢 23
参 考 文 献 24
引言
1.1 研究背景
施工图的审查已经进行了10年，在数据挖掘方面，经过国内外工作人员的共同努力下，其技术也应用也取得看很大的成就，成为越来越重要的技术，这些技术在施工审图过程中具有重要的价值和意义。所以，通过数据挖掘建立的施工审图系统，帮助审图机构提高审计的效率和质量等 *好棒文|www.hbsrm.com +Q: @351916072@
等的相关问题。
随着施工图审查工作迅猛发展，施工图审查的项目也日益增多，省建设厅又积极开展调研，并针对各地施工审查工作中存在水平参差不齐、要求不统一的问题，2008年下发了《关于进一步加强施工图审查管理工作的通知》，对审查机构作出了明确的规定。在2013年4月27日中华人民共和国住房和城乡建设部令发布《房屋建筑和市政基础设施工程施工图设计文件审查管理办法》，其中明确规定了施工图未经审查合格的，不得使用。由此可看出，国家也越来越重视施工审图。本课题是以施工审图为对象，实现将重要信息数据数据爬出来。
1.2 课题研究的目的和意义
在经过一学期对这个课题的研究，我们应完善审查机制从而提高系统的综合性和适用性，从而提高系统的有效性和可行性。该项目将利用数据挖掘技术从建筑图纸评估机构收集有用的数据，在以后，审计机构将会拥有更加良好的环境和基础去完成他们的工作。
在中国审图的应用方面, 施工方法的审查和管理正在逐步完善和完善, 国家建设也在不断完善。主管当局、施工部门和审查机构的作用越来越清晰, 审查制度它的重要地位也渐渐显露出来。但是, 在市场上，施工图纸审查的监督管理方法的好坏并不能很好地体现了综合能力来作为审查的依据, 对施工单位的选型不全面, 也不利于全面提高施工图设计的整体质量。这个课题是基于一个审查系统的深入研究在一个真实的市场, 以收集数据。它有助于自我完善和发展的审查制度, 同时也有助于施工图设计文件审查系统的最佳效果, 从根本上解决了安全问题和质量问题。
1.3 国内外发展趋势
在我国，对数据挖掘进行研究还是相对于其他国家较晚的，暂时还没有整体的力量。国内数据挖掘软件产业还处于发展阶段。国内数据挖掘研究人员在大学里也有一些研究机构或公司。所涉及的研究领域很多, 主要集中在学习算法的研究、数据挖掘的实际应用以及数据挖掘理论的研究上。目前政府资助的大部分研究项目。在我国施工图审查工作也具有了较为明显的市场性特征，但是由于国家法律法规和规章制度方面的不成熟，也使得施工图审查机构有全面市场化的趋势。所以，在国内的一些数据挖掘研究人员也在针对这一问题进行了深入的研究[6][7]。
国外数据挖掘的最新发展主要是对知识检测方法的进一步研究, 如贝叶斯的研究和Boosting方法, 以及近年来的改进方法[1]；分析与数据库的紧密结合以及传统统计回归方法在分析中的应用。本文的应用主要体现在对业务软件分析中存在的问题进行了孤立解决, 为整个系统的解决创造了问题。主要用户是保险公司、大银行和行业。许多计算机公司和研究机构为数据挖掘的发展和应用提供了巨大的价值。IBM 和微软一直在建立各自的研究中心。美国是世界上最繁荣的数据挖掘领域, 占据着核心研究的地位[5]。
数据挖掘技术已广泛应用于各个领域, 一些常见的应用, 如加利福尼亚理工学院联合开发, 喷气推进实验室, 天文科学家 Skicat 系统可以帮助天文学家探测遥远的类星体, 天文学和空间科学中的人工智能技术, 第一个成功的应用，数据挖掘技术用于识别客户的购买行为和分析客户。预测银行或保险公司经常发生的欺诈行为;在学术研究中, 国际科学期刊还在数据库、人工智能、信息处理和知识工程等领域开设了数据挖掘项目或专业期刊[2][4]。
1.4 实现目标
本课题所开发的系统拟在Windows系统下开发完成，使用Python和PHP作为开发语言，MYSQL作为数据库。并将相关新闻、政策等信息存入MYSQL中。
1.4.1 存在的问题
施工审查采用的是传统的手工制作方式，既缓慢又无效；
施工审查中心有大量工作、数据和各种复杂的统计数据；
施工审查是一个混乱的审查过程，对于统一管理是比较不方便的；
施工单位的级别各不相同，程序不明确，与评价中心的沟通不及时，很容易对评价中心的形象产生负面影响。
版权保护: 本文由 hbsrm.com编辑，转载请保留链接: www.hbsrm.com/jsj/jsjkxyjs/942.html
