web网络日志监控工具设计与实现(附件)【字数：10129】
摘 要互联网是一个开放共享的网络，基于互联网的这种特性，网络中建立了各色各样的网站和平台。在网络中发表浏览信息已成为人们的日常。对很多网站来说，每日大规模的用户浏览访问及网站服务状态等都需要做相关记录，以便统计网站访问群体及相关访问信息。网站运营者会通过web日志管理工具将服务器web页面相关的访问量、访问人数信息等日志做相关统计，通过统计信息对网站设施符合人群的改进方案。同时开发者也可以通过日志对网站做相应的优化。本文首先通过研究国内外的日志监控工具的发展，分析出当前网络环境下，日志监控工具已经满足不了日趋增长的日志规模，也无法形象的体现Web网站的整体状态，安全审计规则相对简单无法扩展和实时新增。不能满足现在日趋复杂的网络环境。所以是时候提出一种有效而便捷的Web日志监控工具。本文主要构建一个基于Web网络日志监控工具的设计与实现方法，将各类web活动的网络日志集中起来，并进行统一的监控及分析，以及必要的审计。讲解了该日志监控工具的具体设计构成和实现过程，能够帮助公司能够有效的对日志服务器进行统计筛选，清晰明了的可以看到每天的用户访问量，用户活跃度，页面的活跃度，从而可以根据用户的需求，为网站增加相应的内容，同时，企业可以根据日志监控系统，筛选出用户的浏览轨迹，习惯，通过对每个IP地址进行分析，建立完善的用户画像，可以清晰的看到用户的访问频率，分析出用户的热点需求。还可以发现高评率的访问攻击，和非正常的访问，如恶意爬虫，cc攻击等Web攻击，也能根据用户发出的请求参数，分析出sql攻击，xss，csrf等攻击行为。能够有效的找到Web服务器的漏洞。企业管理员可以根据web网络日志对web服务器进行web漏洞检测。
目 录
第一章 绪论 1
1.1 研究背景 1
1.2 国内外研究现状 1
1.3 研究意义 2
第二章 相关技术和信息介绍 3
2.1 消息队列 3
2.2 Web服务器 3
2.3 ECharts 3
第三章 网络日志监控工具的设计 5
3.1 需求分析 5
3.2 总体设计 5
3.3 工作流程 5
3.4 功能模块设计 6
3.4.1 日 *好棒文|www.hbsrm.com +Q: ￥351916072￥
志采集模块设计 6
3.4.2 日志处理模块设计 7
3.4.3 日志分析模块设计 7
3.4.4 日志审计预警设计 8
3.5 数据库设计 8
第四章 网络日志监控工具的实现 12
4.1 总体实现 12
4.2系统功能模块实现 12
4.2.1 日志采集模块实现 12
4.2.2 日志处理模块实现 14
4.2.3 日志分析模块实现 14
4.2.4 日志审计预警实现 15
4.3数据库实现 16
第五章 系统运行及测试 18
5.1 运行 18
5.1.1 运行环境 18
5.1.2 运行结果 19
5.2测试 19
5.2.1 测试方法 19
5.2.2 功能测试 20
结束语 21
致 谢 22
参考文献 23
第一章 绪论
1.1 研究背景
互联网在我国已然形成相当规模，潜移默化的改变着人们的生活方式，影响人们的学习生活、工作方式、消费习惯。随着互联网技术的持续发展，各行各业纷纷引入计算机网络应用于自身业务的发展,而Web显然是应用的比较多的，且又较为容易实现的一种技术，越来越多的企业、公司、学校纷纷建立起自己的Web网站来发布信息、宣传自我，因此受到了大量用户的集中访问，而这些访问大部分都是正常的访问，但不乏有些不怀好意的人会对Web网站进行恶意的攻击访问，加上计算机网络具有终端分布不均匀性、链接形式多样性、开放性等特征，导致网络很容易被攻击，所以Web网络的安全性是一个重要的问题。
正是由于Web网络的这些复杂性，使得日志显得尤为重要，什么叫做“日志”，简单的来说，日志就是每天工作的记载，那么Web网络日志就是用来记录网站日常的访问信息、流量特征等。
尤其是在web网站的开发阶段、测试阶段，日志的重要性不言而喻。开发者在开发环境中经常会遇见BUG无法重现等问题。每当这个时候，需要开发者重新尝试开发流程，再次触发漏洞，费时费力，并且经常会出现漏洞无法成功触发的问题。如果置之不理，则可能在后期生产环境上出现全新的问题，甚至导致客户提出意见。周而复始，排错周期将持续很长时间，大大延长开发周期。
为了解决该问题，通过监控服务器的Web日志进行分析排错，不失为一种大大提高排错效率的优秀选择。Web访问日志主要包括访问者IP、服务器IP、流量字节码、请求协议、请求方式、访问端口、查询串、状态码、会话ID、请求时间、请求路径、处理时间等。通过对Web访问日志进行详细的分析处理，往往可以得到问题产生的根本原因，甚至获得更加有价值的信息，这对开发者提高开发效率有着极大的帮助。
访问Web日志文件并进行分析处理不仅仅能帮助开发者更好的进行开发和测试，还能同时帮助网站开发商或运营商更好的了解用户的行为，摸清用户的喜好和访问模式，以此判断网站的结构是否合理、网站需求是否贴合用户需求等更深层次的信息。所以，越来越多的研究者开始提出对于网站Web日志的分析处理方式，以此发现更多有价值的信息，大大方便Web网站的开发和发展。
1.2 国内外研究现状
在最近的技术发展现状下，网络这个东西跟人们的生活已经密不可分，它的快捷、便利和实时给我们带来了很多想不到的新鲜体验，例如为资源的共享、信息变化的实时、电子商务的迅速等都起到了极大的推动作用，然而它的安全性也成了不可避免的问题[4]。在这方面，国内外提出的研究方案和解决方法有许多都正在被广泛使用着。
Sadeghian A 等人通过对当前Web攻击中常见的Sql攻击场景进行总结与归纳，构造了一个攻击特征规则库，通过将用户访问日志中的Url请求与这些特征规则库进行对比来发现攻击[9]，由于该特征规则库是专门用来研究针对Web网络的Sql注入攻击的，所以特征规则库更精确，但对于其它类型的Web网络攻击却无能为力。
Kruegel提出了检测Web网络日志中是否存在几种异常的模型，包括参数长度模型、参数结构模型、字符分布模型等等[10]，首次针对基于日志网络的Web应用入侵检测模型进行较全面的分析与研究。
于静研究并提出了基于规则库匹配和基于数据挖掘的Web日志安全分析的这样一个技术，其原理是通过日志采集与日志展示的平台，对日志进行预处理， 并构建检测模型对日志进行安全检测[6]。
段娟则是通过规则库对日志规则进行提取，并通过算法对日志进行分析审计，采用多协议方式收集日志，利用强关联规则的免疫遗传算法，对日志训练使其生成抗体特征规则库，从而应付新的攻击方式[8]。
通过Web网络日志监控工具能更加有利的方便网站管理者们对数据进行统计分析，实时了解当前网站运行的情况，优化网站的运行。
1.3 研究意义
当前Web应用在互联网上快速的发展，Web网站应用于大大小小的企业，这些Web应用每天都会进行大量的信息交互，而这些信息交互之中的数据便被日志记录下来，如何根据日志记录的这些数据进行挖掘分析成为本文研究的对象，对Web日志记录的数据进行安全分析不仅可以在发生Web网络攻击后，分析攻击者的行为信息，也可以为未来可能会再次发生的攻击进行一个分析和防范。
目 录
第一章 绪论 1
1.1 研究背景 1
1.2 国内外研究现状 1
1.3 研究意义 2
第二章 相关技术和信息介绍 3
2.1 消息队列 3
2.2 Web服务器 3
2.3 ECharts 3
第三章 网络日志监控工具的设计 5
3.1 需求分析 5
3.2 总体设计 5
3.3 工作流程 5
3.4 功能模块设计 6
3.4.1 日 *好棒文|www.hbsrm.com +Q: ￥351916072￥
志采集模块设计 6
3.4.2 日志处理模块设计 7
3.4.3 日志分析模块设计 7
3.4.4 日志审计预警设计 8
3.5 数据库设计 8
第四章 网络日志监控工具的实现 12
4.1 总体实现 12
4.2系统功能模块实现 12
4.2.1 日志采集模块实现 12
4.2.2 日志处理模块实现 14
4.2.3 日志分析模块实现 14
4.2.4 日志审计预警实现 15
4.3数据库实现 16
第五章 系统运行及测试 18
5.1 运行 18
5.1.1 运行环境 18
5.1.2 运行结果 19
5.2测试 19
5.2.1 测试方法 19
5.2.2 功能测试 20
结束语 21
致 谢 22
参考文献 23
第一章 绪论
1.1 研究背景
互联网在我国已然形成相当规模，潜移默化的改变着人们的生活方式，影响人们的学习生活、工作方式、消费习惯。随着互联网技术的持续发展，各行各业纷纷引入计算机网络应用于自身业务的发展,而Web显然是应用的比较多的，且又较为容易实现的一种技术，越来越多的企业、公司、学校纷纷建立起自己的Web网站来发布信息、宣传自我，因此受到了大量用户的集中访问，而这些访问大部分都是正常的访问，但不乏有些不怀好意的人会对Web网站进行恶意的攻击访问，加上计算机网络具有终端分布不均匀性、链接形式多样性、开放性等特征，导致网络很容易被攻击，所以Web网络的安全性是一个重要的问题。
正是由于Web网络的这些复杂性，使得日志显得尤为重要，什么叫做“日志”，简单的来说，日志就是每天工作的记载，那么Web网络日志就是用来记录网站日常的访问信息、流量特征等。
尤其是在web网站的开发阶段、测试阶段，日志的重要性不言而喻。开发者在开发环境中经常会遇见BUG无法重现等问题。每当这个时候，需要开发者重新尝试开发流程，再次触发漏洞，费时费力，并且经常会出现漏洞无法成功触发的问题。如果置之不理，则可能在后期生产环境上出现全新的问题，甚至导致客户提出意见。周而复始，排错周期将持续很长时间，大大延长开发周期。
为了解决该问题，通过监控服务器的Web日志进行分析排错，不失为一种大大提高排错效率的优秀选择。Web访问日志主要包括访问者IP、服务器IP、流量字节码、请求协议、请求方式、访问端口、查询串、状态码、会话ID、请求时间、请求路径、处理时间等。通过对Web访问日志进行详细的分析处理，往往可以得到问题产生的根本原因，甚至获得更加有价值的信息，这对开发者提高开发效率有着极大的帮助。
访问Web日志文件并进行分析处理不仅仅能帮助开发者更好的进行开发和测试，还能同时帮助网站开发商或运营商更好的了解用户的行为，摸清用户的喜好和访问模式，以此判断网站的结构是否合理、网站需求是否贴合用户需求等更深层次的信息。所以，越来越多的研究者开始提出对于网站Web日志的分析处理方式，以此发现更多有价值的信息，大大方便Web网站的开发和发展。
1.2 国内外研究现状
在最近的技术发展现状下，网络这个东西跟人们的生活已经密不可分，它的快捷、便利和实时给我们带来了很多想不到的新鲜体验，例如为资源的共享、信息变化的实时、电子商务的迅速等都起到了极大的推动作用，然而它的安全性也成了不可避免的问题[4]。在这方面，国内外提出的研究方案和解决方法有许多都正在被广泛使用着。
Sadeghian A 等人通过对当前Web攻击中常见的Sql攻击场景进行总结与归纳，构造了一个攻击特征规则库，通过将用户访问日志中的Url请求与这些特征规则库进行对比来发现攻击[9]，由于该特征规则库是专门用来研究针对Web网络的Sql注入攻击的，所以特征规则库更精确，但对于其它类型的Web网络攻击却无能为力。
Kruegel提出了检测Web网络日志中是否存在几种异常的模型，包括参数长度模型、参数结构模型、字符分布模型等等[10]，首次针对基于日志网络的Web应用入侵检测模型进行较全面的分析与研究。
于静研究并提出了基于规则库匹配和基于数据挖掘的Web日志安全分析的这样一个技术，其原理是通过日志采集与日志展示的平台，对日志进行预处理， 并构建检测模型对日志进行安全检测[6]。
段娟则是通过规则库对日志规则进行提取，并通过算法对日志进行分析审计，采用多协议方式收集日志，利用强关联规则的免疫遗传算法，对日志训练使其生成抗体特征规则库，从而应付新的攻击方式[8]。
通过Web网络日志监控工具能更加有利的方便网站管理者们对数据进行统计分析，实时了解当前网站运行的情况，优化网站的运行。
1.3 研究意义
当前Web应用在互联网上快速的发展，Web网站应用于大大小小的企业，这些Web应用每天都会进行大量的信息交互，而这些信息交互之中的数据便被日志记录下来，如何根据日志记录的这些数据进行挖掘分析成为本文研究的对象，对Web日志记录的数据进行安全分析不仅可以在发生Web网络攻击后，分析攻击者的行为信息，也可以为未来可能会再次发生的攻击进行一个分析和防范。
版权保护: 本文由 hbsrm.com编辑，转载请保留链接: www.hbsrm.com/jsj/wljs/83.html
