云计算环境中分布式存储监测管理系统
摘 要 云计算通过网络对外提供多种形式应用与服务，但是所有的服务均需要存储。存储作为云计算的核心基础功能，其高并发、易扩展一直是存储技术人员追寻的目标，然而，提供实际存储功能的硬盘在分布式存储系统内，往往由于制造工艺、超负荷运行等因素，易于出现各种性能问题。 本文在云计算存储理论的基础上，利用网络数据传输技术和数据库技术，开发了一款在云计算环境下对硬盘的监测与管理系统，该管理系统是针对目前云计算环境下硬盘常出现的损坏、雪崩以及高耗能等常见问题，提供一种硬盘监测技术，可以通过系统的指令对电脑硬盘的容量和主机内存占用率进行实时监测，当出现硬盘的存储量过高或者内存的占用率过高时，就会向运维人员发出警告。根据采集到的硬盘容量和内存信息，推断硬盘使用状况和主机的运行情况并给出提示信息，帮助运维人员对硬盘进行监测和管理，提高云服务提供商(Cloud Service Provider，CSP)服务质量，降低其运维成本。 本系统在JDK开发环境下，通过Java语言，配合使用Eclipse和MySQL等开发工具进行开发，采用TCP/IP协议进行数据传输。整个系统包含登录、数据采集、网络通信、界面管理、异常报警等功能单元，具有结构简单、操作方便等特点。该系统在Windows环境下能够稳定运行。
目 录
摘 要 I
ABSTRACT II
目 录 …………………………………………….………………III
第一章 绪论 1
1.1云计算概述 1
1.2课题背景及意义 2
1.3课题目标 2
1.4论文结构安排 3
第二章 分布式存储概述 4
2.1分布式存储的发展过程 4
2.2分布式存储方案 4
2.2.1 关键问题 4
2.2.1 解决方案 5
2.3分布式存储的关键技术 6
2.3.1 节能技术 6
2.3.2 数据容错技术 7
2.4云计算环境下分布式存储面临的挑战 8
2.5开发工具和与开发平台 9
2.6 本章小结 11
第三章 系统需求及整体方案设计 12
3.1系统
*好棒文|www.hbsrm.com +Q: %3^5`1^9`1^6^0`7^2#
需求 12
3.2系统架构 13
3.3系统总体流程设计 14
3.4本章小结 15
第四章 系统详细设计 16
4.1 登录模块设计 16
4.2 基础模块设计 18
4.2.1 硬盘数据采集模块 18
4.2.2 网络通信数据传输模块 20
4.3管理系统整体功能 23
4.3.1 管理界面单元 23
4.3.2 异常报警单元 24
4.3.2 数据库单元 26
4.4 本章小结 27
第五章 系统集成调试 28
5.1系统测试 28
5.2存在的不足与解决措施 29
5.3本章小结 30
第六章 总结与展望 31
6.1总结 31
6.2展望 31
致 谢 .32
参考文献 33
附 录 .36
附录A Java主要部分程序 36
附录B 外文翻译 39
附录C 中文论文 47
绪论
1.1云计算概述
云计算(Cloud Computing)是最近兴起的新型名词。随着时间的推移和科技的发展，云计算的受关注程度将会越来越大。云计算是一种计算方式，这种方式是基于互联网的形式存在。在使用这种方式时，人们可以把一些资源分享给连接在互联网上的其他机器和设备，这包括共享的软硬件资源和各种信息[1]。网络和互联网的另一种名称就是“云”。云计算的最基本目的是向客户按需服务，它主要通过是将连接在网络上的大量的计算资源进行统一的管理和调度，形成一个计算资源库来达到目的。狭义的云计算指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获取所需资源；广义的云计算指服务的交付和使用模式，指通过网络以按需、易扩展的方式获取所需服务。这种服务可以是IT和软件、互联网相关、也可以是其他服务。
云计算的重要理念是用户所使用的软件并不需要在他们自己的电脑里，而是利用互联网，通过浏览器访问在外部的机器上的软件完成全部的工作。并且不仅会有专门的工作人员对用户所使用的软件进行管理和维护，而且用户的信息也会由这些外部机器得到很好的保存，只需要他们连接在互联网上就可以了，这对广大用户来说十分的快捷和方便[23]。
随着时间的推移，将会有越来越多的云计算服务应用走进我们的生活中，比如搜寻引擎、网络信箱等，这些应用服务给我们的生活带来了大量的数据来服务我们的生活。关于云计算的服务技术越来越发达，“云计算”的工作不仅仅是局限于资料搜寻，还可以为用户提供各种计算技术、数据分析等的服务。通过“云计算”，人们可以利用简单的网络工具就能在很短的时间内处理数以千万计甚至亿计的信息，得到具有强大效能的网络服务，获得更多、更复杂的信息计算的帮助。比如分析DNA结构、基因图谱排序、解析癌症细胞等[4]。对我们这样的普通用户而言，随着云计算越来越渗透入我们的生活中，各种各样的应用服务也会随着产生，我们的生活方式也会发生巨大的改变。
1.2课题背景及意义
随着云计算持续性的火热和推广，越来越多的互联网企业和商家都想充分利用它为自身创造价值，所以云计算已经逐渐进入到社会上的方方面面，和政府、学术界都有紧密的联系[5]。而这些所有的云计算服务都是以数据为中心，云服务需要做的是将这些数据能够使人在任何地方，任何时间用任何设备去使用，为人类服务。而所有的这些数据都是存放在硬盘中，对于云计算服务商来说，这些数据无疑将成为它们重要的财富[68]。
购物平台上消费者销售购买记录以及消费习惯、搜索引擎的所有数据、社交平台的所有内容、聊天软件的所有用户信息和聊天记录，以数据为中心的信息资源已占企业50%左右的资产[910]。这些数据是云服务提供商（Cloud Service Provider，CSP）重要的服务依据，需要有效管理，合理布局，实时存取，安全保护，甚至永久保存。所以说云计算是建立在云存储基础上的，而硬盘则是云存储的核心。
就硬件来说，硬盘是在互联网数据中心（IDC）中的重要部件。组建服务器集群需要大量的服务器硬件。进入任何一个IDC机房，满眼看到的耳边轰鸣的都是服务器。而在服务器中，如果考虑到每台服务器拥有二到十二块硬盘，则计算下来，硬盘在一台服务器的成本约占50%以上。如谷歌的在线硬盘数量已达到一千万块，中国国内的大型CSP也已拥有在线数百万块级别的硬盘。加上社会的进步和科技的发展，人们产生的数据量也将越来越多，造成对用来存储信息的硬盘的需求也会越来越大。所以硬盘已经成为了互联网数据中心的核心。
另外，由于服务器的偶尔出错提示或者用户没有正确的判断硬盘是真正的损坏或者只是偶尔的逻辑错误，造成了很多并没有坏的硬盘被误判成坏掉。据统计，每年送回的返修坏盘中，有近一半实际上是好盘，这在运营上产生了巨大的成本。
既然硬盘已经变得越来越重要，那如何提高硬盘的性能，同时又能减少硬盘相关的投入，必然成为今后人们关心和重视的问题。
1.3课题目标
云计算通过网络对外提供多种形式应用与服务，但是提供实际存储功能的硬盘在分布式存储系统内，往往由于制造工艺、超负荷运行等因素，易于出现各种性能问题。本课题的任务是在软件工程学科的基础上，利用Java开发一款云计算环境下对硬盘的检测与管理系统，该管理系统是针对目前云计算环境下硬盘常出现的损坏、雪崩以及高耗能等常见问题，提供一种硬盘监测技术，可以通过系统的指令对电脑硬盘的容量和主机内存占用率进行实时监测，当出现硬盘的存储量过高或者内存的占用率过高时，就会向运维人员发出警告信息。根据采集到的硬盘信息，推断硬盘的故障情况并给出提示信息，帮助用户避免数据损失，提高CSP的服务质量，降低其运维成本。
目 录
摘 要 I
ABSTRACT II
目 录 …………………………………………….………………III
第一章 绪论 1
1.1云计算概述 1
1.2课题背景及意义 2
1.3课题目标 2
1.4论文结构安排 3
第二章 分布式存储概述 4
2.1分布式存储的发展过程 4
2.2分布式存储方案 4
2.2.1 关键问题 4
2.2.1 解决方案 5
2.3分布式存储的关键技术 6
2.3.1 节能技术 6
2.3.2 数据容错技术 7
2.4云计算环境下分布式存储面临的挑战 8
2.5开发工具和与开发平台 9
2.6 本章小结 11
第三章 系统需求及整体方案设计 12
3.1系统
*好棒文|www.hbsrm.com +Q: %3^5`1^9`1^6^0`7^2#
需求 12
3.2系统架构 13
3.3系统总体流程设计 14
3.4本章小结 15
第四章 系统详细设计 16
4.1 登录模块设计 16
4.2 基础模块设计 18
4.2.1 硬盘数据采集模块 18
4.2.2 网络通信数据传输模块 20
4.3管理系统整体功能 23
4.3.1 管理界面单元 23
4.3.2 异常报警单元 24
4.3.2 数据库单元 26
4.4 本章小结 27
第五章 系统集成调试 28
5.1系统测试 28
5.2存在的不足与解决措施 29
5.3本章小结 30
第六章 总结与展望 31
6.1总结 31
6.2展望 31
致 谢 .32
参考文献 33
附 录 .36
附录A Java主要部分程序 36
附录B 外文翻译 39
附录C 中文论文 47
绪论
1.1云计算概述
云计算(Cloud Computing)是最近兴起的新型名词。随着时间的推移和科技的发展，云计算的受关注程度将会越来越大。云计算是一种计算方式，这种方式是基于互联网的形式存在。在使用这种方式时，人们可以把一些资源分享给连接在互联网上的其他机器和设备，这包括共享的软硬件资源和各种信息[1]。网络和互联网的另一种名称就是“云”。云计算的最基本目的是向客户按需服务，它主要通过是将连接在网络上的大量的计算资源进行统一的管理和调度，形成一个计算资源库来达到目的。狭义的云计算指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获取所需资源；广义的云计算指服务的交付和使用模式，指通过网络以按需、易扩展的方式获取所需服务。这种服务可以是IT和软件、互联网相关、也可以是其他服务。
云计算的重要理念是用户所使用的软件并不需要在他们自己的电脑里，而是利用互联网，通过浏览器访问在外部的机器上的软件完成全部的工作。并且不仅会有专门的工作人员对用户所使用的软件进行管理和维护，而且用户的信息也会由这些外部机器得到很好的保存，只需要他们连接在互联网上就可以了，这对广大用户来说十分的快捷和方便[23]。
随着时间的推移，将会有越来越多的云计算服务应用走进我们的生活中，比如搜寻引擎、网络信箱等，这些应用服务给我们的生活带来了大量的数据来服务我们的生活。关于云计算的服务技术越来越发达，“云计算”的工作不仅仅是局限于资料搜寻，还可以为用户提供各种计算技术、数据分析等的服务。通过“云计算”，人们可以利用简单的网络工具就能在很短的时间内处理数以千万计甚至亿计的信息，得到具有强大效能的网络服务，获得更多、更复杂的信息计算的帮助。比如分析DNA结构、基因图谱排序、解析癌症细胞等[4]。对我们这样的普通用户而言，随着云计算越来越渗透入我们的生活中，各种各样的应用服务也会随着产生，我们的生活方式也会发生巨大的改变。
1.2课题背景及意义
随着云计算持续性的火热和推广，越来越多的互联网企业和商家都想充分利用它为自身创造价值，所以云计算已经逐渐进入到社会上的方方面面，和政府、学术界都有紧密的联系[5]。而这些所有的云计算服务都是以数据为中心，云服务需要做的是将这些数据能够使人在任何地方，任何时间用任何设备去使用，为人类服务。而所有的这些数据都是存放在硬盘中，对于云计算服务商来说，这些数据无疑将成为它们重要的财富[68]。
购物平台上消费者销售购买记录以及消费习惯、搜索引擎的所有数据、社交平台的所有内容、聊天软件的所有用户信息和聊天记录，以数据为中心的信息资源已占企业50%左右的资产[910]。这些数据是云服务提供商（Cloud Service Provider，CSP）重要的服务依据，需要有效管理，合理布局，实时存取，安全保护，甚至永久保存。所以说云计算是建立在云存储基础上的，而硬盘则是云存储的核心。
就硬件来说，硬盘是在互联网数据中心（IDC）中的重要部件。组建服务器集群需要大量的服务器硬件。进入任何一个IDC机房，满眼看到的耳边轰鸣的都是服务器。而在服务器中，如果考虑到每台服务器拥有二到十二块硬盘，则计算下来，硬盘在一台服务器的成本约占50%以上。如谷歌的在线硬盘数量已达到一千万块，中国国内的大型CSP也已拥有在线数百万块级别的硬盘。加上社会的进步和科技的发展，人们产生的数据量也将越来越多，造成对用来存储信息的硬盘的需求也会越来越大。所以硬盘已经成为了互联网数据中心的核心。
另外，由于服务器的偶尔出错提示或者用户没有正确的判断硬盘是真正的损坏或者只是偶尔的逻辑错误，造成了很多并没有坏的硬盘被误判成坏掉。据统计，每年送回的返修坏盘中，有近一半实际上是好盘，这在运营上产生了巨大的成本。
既然硬盘已经变得越来越重要，那如何提高硬盘的性能，同时又能减少硬盘相关的投入，必然成为今后人们关心和重视的问题。
1.3课题目标
云计算通过网络对外提供多种形式应用与服务，但是提供实际存储功能的硬盘在分布式存储系统内，往往由于制造工艺、超负荷运行等因素，易于出现各种性能问题。本课题的任务是在软件工程学科的基础上，利用Java开发一款云计算环境下对硬盘的检测与管理系统，该管理系统是针对目前云计算环境下硬盘常出现的损坏、雪崩以及高耗能等常见问题，提供一种硬盘监测技术，可以通过系统的指令对电脑硬盘的容量和主机内存占用率进行实时监测，当出现硬盘的存储量过高或者内存的占用率过高时，就会向运维人员发出警告信息。根据采集到的硬盘信息，推断硬盘的故障情况并给出提示信息，帮助用户避免数据损失，提高CSP的服务质量，降低其运维成本。
版权保护: 本文由 hbsrm.com编辑，转载请保留链接: www.hbsrm.com/dzxx/txgc/1175.html
