云计算的校园大数据分析平台构建研究(附件)【字数：16749】
摘 要随着当今社会的不断发展，和互联网的飞速发展，物联网、云计算、大数据等技术得到不断的进步与完善，同时校园数据也在不断的扩大。为了摆脱传统效率低下的管理方式，“智慧校园”逐渐兴起。本文主要利用云计算和大数据分析技术，提出了构建校园数据分析平台，设计了校园数据分析平台框架。利用Hadoop的HDFS文件系统和MapReduce计算模型等技术，实现了校园数据深入挖掘与分析。本文针对校园的教学、科研、学生、资产、财务、图书借阅等数据进行分析，对数据分析的结果进行图形化展示，使得数据可视化，显示效果更加直观。在教学方面，分析教师教学任务和获奖情况，能够及时了解教师个人情况；学生方面，分析各种学生数据，了解学生行为和心理；科研方面，通过数据及时了解校园科研动态，可以为教师科研指明发展方向；校园资产和财务方面更是帮助校园了解其资产状况和财务状况；图书借阅的数据可以了解学生图书阅读情况。本文的研究实现了该平台的主要意义适合校园信息化建设的实际情况，帮助学校更加准确地了解校园各方面发展情况，并具备对于环境变化的适应性，满足信息化发展趋势。
目 录
第一章 绪论 1
1.1 课题研究背景和意义 1
1.1.1 课题研究的背景 1
1.1.2 课题研究的意义 1
1.2 国内外研究现状 1
1.2.1 国内研究现状 1
1.2.2 国外研究现状 2
1.3 课题研究的主要内容 2
第二章 基于云计算的校园大数据分析平台的相关技术研究 4
2.1 校园数据的现状 4
2.2 校园大数据技术详情 4
2.2.1 Hadoop技术 4
2.2.2 HDFS技术 5
2.2.3 MapReduce计算模型 5
2.3 云计算概述 6
第三章 基于云计算的校园大数据分析平台的构建 8
3.1 需求概述 8
3.2 系统主题需求 8
3.3 大数据处理技术在校园数据中的设计 9
3.4 总体架构设计 9
3.4.1 系统总体架构 9
3.4.2 系统数据分析功能模块设计 *好棒文|www.hbsrm.com +Q: ^351916072*
11
第四章 基于云计算的校园大数据分析平台的实现 20
4.1 各主题数据分析的具体实现过程 20
4.1.1 教学主题数据分析的实现 21
4.1.2 科研主题数据分析的实现 25
4.1.3 学生主题数据分析的实现 31
4.1.4 资产主题数据分析的实现 33
4.1.5 财务主题数据分析的实现 33
4.1.6 图书借阅主题数据分析的实现 35
4.2 大数据处理技术在校园数据中的实现 37
4.3 数据分析模块的实现 38
第五章 系统运行与测试 39
5.1 运行环境说明 39
5.2 测试过程说明 39
5.2.1 测试标准 39
5.2.2 测试方法 39
5.2.3 测试用例与结果 39
结束语 41
致 谢 42
参考文献 43
第一章 绪论
1.1 课题研究背景和意义
1.1.1 课题研究的背景
当今社会，随着数据不断增长，大数据时代正在向人们走来。大数据也被称为海量数据，狄更斯在《双城记》中说过：“这是最好的时代，也是最坏的时代”。这句名句正精确地描述了现如今人们所面临的大数据时代的两面性。一方面，数据库记录的数据反映的是真实有效的数据，对现代社会的生活带来积极作用。另一方面，爆炸性的数据无时不刻不在挑战数据中心和数据分析基础在内的数据处理的各环节。但是伴随互联网技术的高效发展，云计算技术正在被引入。云计算带来的大数据处理能力使分析大数据中的信息成为可能。
近年来，各类学校对信息化更加注重，建设了数字化校园，使得学校数据向可视化发展。但是数字校园也存在很多不足之处，例如数据采集能力不足、数据存储及治理手段欠缺、数据应用粘度不高、数据服务手段不足。然而随着物联网、云计算、大数据的快速发展，数字校园正逐渐转变为智慧校园，智慧校园是数字校园的一种升华，校园从信息化过渡到智慧化，是引入大数据体系的关键一步，对各类数据能够做到很好的分析和处理。智慧校园的应用得到了不断的深入，数据中心的数据也在不断增加。现如今校园数据涉及到多个方面：教学、学生、财务、资产、图书、招生等信息数据，基于这些大量数据的产生，校园大数据因此而来。
1.1.2 课题研究的意义
通过大数据技术在校园数据中的应用，丰富了校园各类数据，完善校园建设和人才培养，提高校园的整体办学水平，顺应时代发展潮流，为学校未来发展提供机遇。更重要的是，大数据处理技术使校园的一些特定数据得到有力的技术支撑。
校园分析平台的构建涵盖了教学、学生、科研、财务、资产、图书借阅等方面，在教学上，深入了解到教师教学水平和现状，以及教学任务和教学获奖成果；在学生数据研究上，了解学生成绩情况；在科研方面，主要涉及了科研项目和科研论文，对科研各个方面进行概括总结；财务上，主要表现在教师工资情况；资产上，对学校资产现状有足够清楚的了解；图书借阅上，更加直观地看出学生借阅情况。总而言之，基于学校数据中心之上的数据分析和决策系统，将数据筛选、拆分和组合，利用可视化效果，为不同用户提供了一种更加直观、动态灵活的服务，方便参与决策，满足高校海量数据的存储挖掘等各种需求。
1.2 国内外研究现状
1.2.1 国内研究现状
随着互联网技术的飞速发展，网络应用不断丰富，网络中大量数据不断出现，Hadoop成为大数据处理领域的核心，作为开源的云计算平台，令国内学术界和企业对其产生兴趣。Hadoop在企业的应用很丰富，例如在百度、阿里巴巴、腾讯、华为、中国移动等，通过Hadoop技术来对其海量数据进行处理与分析。除了这些企业，Hadoop还涉及到教育、医疗等领域来提高效率。
百度，众所周知，作为中国网络搜索市场最大的公司，主要是以搜索为核心，随着用户增长，数据量大，搜索速度要求高，百度需要处理的数据规模逐渐增长，除了这些，百度还拓宽领域，包括贴吧、文库、百科等。此时Hadoop的出现让百度解决了多方面难题，获得一定的成果。百度的业务具有多样性，因此采用多种技术来满足不同的需求，包括高性能计算、MapReduce、DAG算法。百度在使用Hadoop技术的过程中，经过大量实践发现Hadoop框架中一些基础组件的不足，百度结合自身特点，对Hadoop相关技术进行了改进，变得更加完善。
阿里巴巴集团，作为中国最大的电子商务公司，旗下还拥有多个网站和业务，例如淘宝、支付宝等等，因此阿里巴巴的数据量非常庞大，用户量非常多，成为了使用大数据处理技术较多的公司。淘宝，是国内第一批采用Hadoop技术的公司之一，淘宝数据平台采用的Hadoop集群支撑了整个数据分析工作，然后再进行MapReduce计算，完成整个流程。支付宝，是为用户和商家提供第三方担保的交易平台，用户量大，交易金额更大，可见数据量不容小觑。因此支付宝通过Hadoop建立数据处理平台，对其庞大的数据进行处理。
目 录
第一章 绪论 1
1.1 课题研究背景和意义 1
1.1.1 课题研究的背景 1
1.1.2 课题研究的意义 1
1.2 国内外研究现状 1
1.2.1 国内研究现状 1
1.2.2 国外研究现状 2
1.3 课题研究的主要内容 2
第二章 基于云计算的校园大数据分析平台的相关技术研究 4
2.1 校园数据的现状 4
2.2 校园大数据技术详情 4
2.2.1 Hadoop技术 4
2.2.2 HDFS技术 5
2.2.3 MapReduce计算模型 5
2.3 云计算概述 6
第三章 基于云计算的校园大数据分析平台的构建 8
3.1 需求概述 8
3.2 系统主题需求 8
3.3 大数据处理技术在校园数据中的设计 9
3.4 总体架构设计 9
3.4.1 系统总体架构 9
3.4.2 系统数据分析功能模块设计 *好棒文|www.hbsrm.com +Q: ^351916072*
11
第四章 基于云计算的校园大数据分析平台的实现 20
4.1 各主题数据分析的具体实现过程 20
4.1.1 教学主题数据分析的实现 21
4.1.2 科研主题数据分析的实现 25
4.1.3 学生主题数据分析的实现 31
4.1.4 资产主题数据分析的实现 33
4.1.5 财务主题数据分析的实现 33
4.1.6 图书借阅主题数据分析的实现 35
4.2 大数据处理技术在校园数据中的实现 37
4.3 数据分析模块的实现 38
第五章 系统运行与测试 39
5.1 运行环境说明 39
5.2 测试过程说明 39
5.2.1 测试标准 39
5.2.2 测试方法 39
5.2.3 测试用例与结果 39
结束语 41
致 谢 42
参考文献 43
第一章 绪论
1.1 课题研究背景和意义
1.1.1 课题研究的背景
当今社会，随着数据不断增长，大数据时代正在向人们走来。大数据也被称为海量数据，狄更斯在《双城记》中说过：“这是最好的时代，也是最坏的时代”。这句名句正精确地描述了现如今人们所面临的大数据时代的两面性。一方面，数据库记录的数据反映的是真实有效的数据，对现代社会的生活带来积极作用。另一方面，爆炸性的数据无时不刻不在挑战数据中心和数据分析基础在内的数据处理的各环节。但是伴随互联网技术的高效发展，云计算技术正在被引入。云计算带来的大数据处理能力使分析大数据中的信息成为可能。
近年来，各类学校对信息化更加注重，建设了数字化校园，使得学校数据向可视化发展。但是数字校园也存在很多不足之处，例如数据采集能力不足、数据存储及治理手段欠缺、数据应用粘度不高、数据服务手段不足。然而随着物联网、云计算、大数据的快速发展，数字校园正逐渐转变为智慧校园，智慧校园是数字校园的一种升华，校园从信息化过渡到智慧化，是引入大数据体系的关键一步，对各类数据能够做到很好的分析和处理。智慧校园的应用得到了不断的深入，数据中心的数据也在不断增加。现如今校园数据涉及到多个方面：教学、学生、财务、资产、图书、招生等信息数据，基于这些大量数据的产生，校园大数据因此而来。
1.1.2 课题研究的意义
通过大数据技术在校园数据中的应用，丰富了校园各类数据，完善校园建设和人才培养，提高校园的整体办学水平，顺应时代发展潮流，为学校未来发展提供机遇。更重要的是，大数据处理技术使校园的一些特定数据得到有力的技术支撑。
校园分析平台的构建涵盖了教学、学生、科研、财务、资产、图书借阅等方面，在教学上，深入了解到教师教学水平和现状，以及教学任务和教学获奖成果；在学生数据研究上，了解学生成绩情况；在科研方面，主要涉及了科研项目和科研论文，对科研各个方面进行概括总结；财务上，主要表现在教师工资情况；资产上，对学校资产现状有足够清楚的了解；图书借阅上，更加直观地看出学生借阅情况。总而言之，基于学校数据中心之上的数据分析和决策系统，将数据筛选、拆分和组合，利用可视化效果，为不同用户提供了一种更加直观、动态灵活的服务，方便参与决策，满足高校海量数据的存储挖掘等各种需求。
1.2 国内外研究现状
1.2.1 国内研究现状
随着互联网技术的飞速发展，网络应用不断丰富，网络中大量数据不断出现，Hadoop成为大数据处理领域的核心，作为开源的云计算平台，令国内学术界和企业对其产生兴趣。Hadoop在企业的应用很丰富，例如在百度、阿里巴巴、腾讯、华为、中国移动等，通过Hadoop技术来对其海量数据进行处理与分析。除了这些企业，Hadoop还涉及到教育、医疗等领域来提高效率。
百度，众所周知，作为中国网络搜索市场最大的公司，主要是以搜索为核心，随着用户增长，数据量大，搜索速度要求高，百度需要处理的数据规模逐渐增长，除了这些，百度还拓宽领域，包括贴吧、文库、百科等。此时Hadoop的出现让百度解决了多方面难题，获得一定的成果。百度的业务具有多样性，因此采用多种技术来满足不同的需求，包括高性能计算、MapReduce、DAG算法。百度在使用Hadoop技术的过程中，经过大量实践发现Hadoop框架中一些基础组件的不足，百度结合自身特点，对Hadoop相关技术进行了改进，变得更加完善。
阿里巴巴集团，作为中国最大的电子商务公司，旗下还拥有多个网站和业务，例如淘宝、支付宝等等，因此阿里巴巴的数据量非常庞大，用户量非常多，成为了使用大数据处理技术较多的公司。淘宝，是国内第一批采用Hadoop技术的公司之一，淘宝数据平台采用的Hadoop集群支撑了整个数据分析工作，然后再进行MapReduce计算，完成整个流程。支付宝，是为用户和商家提供第三方担保的交易平台，用户量大，交易金额更大，可见数据量不容小觑。因此支付宝通过Hadoop建立数据处理平台，对其庞大的数据进行处理。
版权保护: 本文由 hbsrm.com编辑，转载请保留链接: www.hbsrm.com/jsj/wljs/55.html
