大数据的高校数据分析管理平台的设计与实现(源码)【字数：10011】
摘 要现如今，互联网技术不断快速发展，所产生的的数据也是呈现爆炸似增长，而对于没有数据库操作经验的管理者来说，这无疑是一个巨大的难题。为了更方便管理者清晰便捷的监察、操作数据，便有了此平台的诞生。本文主要介绍利用web开发技术，使用spring框架和bootstrap框架搭建了高校数据管理平台。利用echarts技术让数据以图形展示在页面上，更直观的体现数据呈现的状态。本文针对高校数据的管理，集成，存档，服务管理等功能进行简单介绍，在数据集成方面有特定的代码标准以用于筛选和整合数据，保证了数据的质量问题，运行监控功能则可以监控平台和数据库的运行情况，以便预防和发现问题，做到“早发现，早调整”。
目 录
第一章 绪论 1
1.1项目背景 1
1.2现状分析 1
1.3平台开发的价值 2
1.4论文组织结构 2
第二章 相关技术与设计原则 4
2.1WEB端开发 4
2.1.1Spring 4
2.1.2Bootstrap 4
2.1.3Jquery+LigerUI 4
2.2Oracle 5
2.3设计原则 5
第三章 高校数据分析管理平台需求分析 6
3.1需求分析 6
3.1.1可行性分析 6
3.1.2功能需求分析 6
3.1.3性能需求分析 6
第四章 平台设计分析 7
4.1平台体系结构设计 7
4.2平台功能详细设计 8
4.2.1元数据管理工具 8
4.2.2信息标准管理工具 9
4.2.3数据集成工具 9
4.2.4数据质量管理工具 10
4.2.5数据历史存档工具 10
4.2.6数据服务管理工具 11
4.2.7运行监控管理工具 12
4.2.8系统管理工具 12
4.3数据库设计 13
第五章 平台功能的实现 15
5.1元数据管理功能的实现 15
5.1.1数据对象管理模块的实现 *好棒文|www.hbsrm.com +Q: ^351916072^
16
5.2信息标准管理工具的实现 20
5.2.1代码权责规划 20
5.2.2代码标准管理 21
5.2.3代码标准比对 22
5.2.4任务配置 24
5.3数据集成工具的实现 24
5.4数据质量管理工具的实现 26
5.5数据历史存档工具的实现 27
5.6数据服务管理工具的实现 28
5.7运行监控管理工具的实现 30
5.8系统管理工具的实现 31
第六章 系统测试 34
结束语 35
致 谢 36
参考文献 37
第一章 绪论
1.1项目背景
高校在信息化数据校园方面的建设是一如既往的蓬勃发展，这也使得数据在校级生态圈中的价值越为突出。为满足当今快节奏的校园信息化建设，满足各种数据统计、人物画像、业务流程、数据挖掘等师生服务、教学办公应用建设，数据的沉淀和共享起到了“穿针引线”的作用，也是整个数字化校园的闭环核心点[1]。
随着数十年学校与企业的建设与发展，高校基本上都已形成了“人、财、物”为服务对象的各种业务/应用管理系统，也因此积累了以“人、财、物”为核心的业务数据。但这些系统在建设时间、建设厂商、甚至开发技术都不同的情况下，凸显出了数据库不同、信息标准不统一、数据冗余、数据孤岛分享难、数据录入质量低使用价值受影响等负面问题。也正是这些问题使得数字化校园建设在底层数据通道方面存在不少“障碍”。
但是现代高校教育行业的发展决定了对这一系列问题的突破需求，信息化校园建设需要对数据的交互共享，需要对校级代码使用的统一，需要高质量的数据沉淀，需要纵向的历史切片数据、需要丰富的数据服务来打破长期依赖ETL的共享方式等等，这一切才是高校在数据治理建设过程中充分闭环的数据生态。
1.2现状分析
各类高校系统的信息向来是生产数据最广泛的来源。麦肯锡的文章《大数据：创新、竞争和生产力的下一个前沿》里指出：大数据是大小超出常规的数据库工具获取、存储、管理和分析能力的数据集。而据数据观察可以看出，在2009年，美国的教育部门的某个信息系统的数据库增长至269P字节（1个 P字节即为10亿个M字节），高度的信息化程度为美国生产提供了可以跻身前十的巨大的数据量[2]。反观国内，数以万计人数之多的各类高校近3000所，在高校的管理层来看，学生籍贯、主修和选修课程、各科成绩、上网的时间段、微信、贴吧、QQ、微博、淘宝、借阅图书信息、京东等网上信息以及使用学生卡日常饮食消费等行为俱能衍生出庞大的各类数据信息，以及各大高校的考务系统、教务系统、行政系统、财务系统等管理建设的数据历经多年的运行逐渐积累下来，形成了数量庞大的原始数据，而对其进行深入透彻的剖析和运应，基于筹划解析从而强化高校的科学管理，给高校如何制定更好的发展战略提供足够的信息支撑，是国内学校面临的强劲的挑战和拓展性的机遇[3]。
对于大数据时代所带来的一系列挑战以及机遇，为满足人才需求，美国政府首先行动采取了各种促进措施，用来推动研究型高校开办跨学科的研究生专业课程、培养新型信息数据工程师以及科学家人才。比如，投资1000万美元给加利福尼亚大学伯克利分校的计算开发项目，此举是为了集成3种数据转化信息方法（机器学习、云计算和众包）；为“EarthCube”项目（旨在允许地球学家获取、分析和共享与地球相关的信息）提供第一阶段的资金支持；向一个研究培训小组（支持一项教授大学生如何利用图形和可视化工具解析复杂数据的培训计划）提供200万美元的资助；为一个由统计学家和生物学家组成的专业研究团体提供140万美元的研发资金；召集各个学科和领域的研究人员，共同探讨如何利用大数据转变教育与学习模式等[4]。为了以后仍然能够在国际上保持技术领先的水平，美国已经把发展大数据提高到国家战略高度。
1.3平台开发的价值
1.数据信息的深度解析以及运用对高校制定正确发展方向具有辅助作用
针对庞大的数据信息实行深度解析及运用的关键推动力就是帮助学校制定正确策略[5]。构筑在如此庞大的数据基础之上，就是这些根据预测的信息数据分解析与运用体系成功的关键之处。
目 录
第一章 绪论 1
1.1项目背景 1
1.2现状分析 1
1.3平台开发的价值 2
1.4论文组织结构 2
第二章 相关技术与设计原则 4
2.1WEB端开发 4
2.1.1Spring 4
2.1.2Bootstrap 4
2.1.3Jquery+LigerUI 4
2.2Oracle 5
2.3设计原则 5
第三章 高校数据分析管理平台需求分析 6
3.1需求分析 6
3.1.1可行性分析 6
3.1.2功能需求分析 6
3.1.3性能需求分析 6
第四章 平台设计分析 7
4.1平台体系结构设计 7
4.2平台功能详细设计 8
4.2.1元数据管理工具 8
4.2.2信息标准管理工具 9
4.2.3数据集成工具 9
4.2.4数据质量管理工具 10
4.2.5数据历史存档工具 10
4.2.6数据服务管理工具 11
4.2.7运行监控管理工具 12
4.2.8系统管理工具 12
4.3数据库设计 13
第五章 平台功能的实现 15
5.1元数据管理功能的实现 15
5.1.1数据对象管理模块的实现 *好棒文|www.hbsrm.com +Q: ^351916072^
16
5.2信息标准管理工具的实现 20
5.2.1代码权责规划 20
5.2.2代码标准管理 21
5.2.3代码标准比对 22
5.2.4任务配置 24
5.3数据集成工具的实现 24
5.4数据质量管理工具的实现 26
5.5数据历史存档工具的实现 27
5.6数据服务管理工具的实现 28
5.7运行监控管理工具的实现 30
5.8系统管理工具的实现 31
第六章 系统测试 34
结束语 35
致 谢 36
参考文献 37
第一章 绪论
1.1项目背景
高校在信息化数据校园方面的建设是一如既往的蓬勃发展，这也使得数据在校级生态圈中的价值越为突出。为满足当今快节奏的校园信息化建设，满足各种数据统计、人物画像、业务流程、数据挖掘等师生服务、教学办公应用建设，数据的沉淀和共享起到了“穿针引线”的作用，也是整个数字化校园的闭环核心点[1]。
随着数十年学校与企业的建设与发展，高校基本上都已形成了“人、财、物”为服务对象的各种业务/应用管理系统，也因此积累了以“人、财、物”为核心的业务数据。但这些系统在建设时间、建设厂商、甚至开发技术都不同的情况下，凸显出了数据库不同、信息标准不统一、数据冗余、数据孤岛分享难、数据录入质量低使用价值受影响等负面问题。也正是这些问题使得数字化校园建设在底层数据通道方面存在不少“障碍”。
但是现代高校教育行业的发展决定了对这一系列问题的突破需求，信息化校园建设需要对数据的交互共享，需要对校级代码使用的统一，需要高质量的数据沉淀，需要纵向的历史切片数据、需要丰富的数据服务来打破长期依赖ETL的共享方式等等，这一切才是高校在数据治理建设过程中充分闭环的数据生态。
1.2现状分析
各类高校系统的信息向来是生产数据最广泛的来源。麦肯锡的文章《大数据：创新、竞争和生产力的下一个前沿》里指出：大数据是大小超出常规的数据库工具获取、存储、管理和分析能力的数据集。而据数据观察可以看出，在2009年，美国的教育部门的某个信息系统的数据库增长至269P字节（1个 P字节即为10亿个M字节），高度的信息化程度为美国生产提供了可以跻身前十的巨大的数据量[2]。反观国内，数以万计人数之多的各类高校近3000所，在高校的管理层来看，学生籍贯、主修和选修课程、各科成绩、上网的时间段、微信、贴吧、QQ、微博、淘宝、借阅图书信息、京东等网上信息以及使用学生卡日常饮食消费等行为俱能衍生出庞大的各类数据信息，以及各大高校的考务系统、教务系统、行政系统、财务系统等管理建设的数据历经多年的运行逐渐积累下来，形成了数量庞大的原始数据，而对其进行深入透彻的剖析和运应，基于筹划解析从而强化高校的科学管理，给高校如何制定更好的发展战略提供足够的信息支撑，是国内学校面临的强劲的挑战和拓展性的机遇[3]。
对于大数据时代所带来的一系列挑战以及机遇，为满足人才需求，美国政府首先行动采取了各种促进措施，用来推动研究型高校开办跨学科的研究生专业课程、培养新型信息数据工程师以及科学家人才。比如，投资1000万美元给加利福尼亚大学伯克利分校的计算开发项目，此举是为了集成3种数据转化信息方法（机器学习、云计算和众包）；为“EarthCube”项目（旨在允许地球学家获取、分析和共享与地球相关的信息）提供第一阶段的资金支持；向一个研究培训小组（支持一项教授大学生如何利用图形和可视化工具解析复杂数据的培训计划）提供200万美元的资助；为一个由统计学家和生物学家组成的专业研究团体提供140万美元的研发资金；召集各个学科和领域的研究人员，共同探讨如何利用大数据转变教育与学习模式等[4]。为了以后仍然能够在国际上保持技术领先的水平，美国已经把发展大数据提高到国家战略高度。
1.3平台开发的价值
1.数据信息的深度解析以及运用对高校制定正确发展方向具有辅助作用
针对庞大的数据信息实行深度解析及运用的关键推动力就是帮助学校制定正确策略[5]。构筑在如此庞大的数据基础之上，就是这些根据预测的信息数据分解析与运用体系成功的关键之处。
版权保护: 本文由 hbsrm.com编辑，转载请保留链接: www.hbsrm.com/jsj/rjgc/95.html
