新冠肺炎疫情数据可视化平台设计与实现(源码)【字数:7210】
1一、引言 1(一)选题背景 1(二)研究意义 1二、开发技术介绍 1(一) 网络爬虫技术 1(二) Spring 21. IOC(控制反转) 32. AOP(面向切面编程) 3(三) Spring MVC 3(四)MyBatis 3(五)Maven 4(六)JSP 4(七)JQuery 4(八)ECharts 4三、需求分析和可行性研 4(一)可行性研究 41. 技术可行性 42.运行环境可行性 43.法律可行性 44.经济可行性 55. 用户可行性 5(二)需求分析 5四、系统设计 5(一)系统开发流程 5(二)系统架构 6(三)功能模块设计 7(四)可视化页面设计 7五、数据库设计 8(一)E-R图 8(二)数据表设计 91. 国内疫情数据表 92. 国外数据表 93. 登录用户表 10六、系统实现 10(一)通用模块设计 101. 通用的pojo类 102. 过滤器类 11(二)登录注册 12(三)国内疫情数据展示 131.全国各地区确诊人数分布情况 142. 确诊、治愈及死亡人数占比情况 173.各省确诊人数排行前五地区 19(四)国外疫情数据展示 21七、总结 21致 谢 22参考文献 23二零二零年的新型冠状肺炎疫情对我国产生巨大的影响,十四亿同胞众志成城,共抗疫情,打出了一场胜利的抗疫狙击战。如今国内外疫情还在持续,为了能够及时了解每天疫情的数据变化,本文设计与实现了一个基于web的国内外疫情可视化展示平台。本系统通过python爬虫定时爬取丁香园网站公布的疫情数据,将数据存储到数据库中,通过使用可视化技术将爬取的数据展示到页面上。系统使用Maven构建,以Spring、Spring?MVC、MyBatis框架为基础进行开发。
目录
Abstract
The new type of coronary pneumonia epidemic in 2020 had a huge impact on China. 1.4 billion compatriots joined hands to fight against the epidemic and fought a successful anti epidemic war. Nowadays, the epidemic situation at home a *好棒文|www.hbsrm.com +Q: ^351916072#
nd abroad is still continuing. In order to timely understand the data changes of the epidemic situation every day, this paper designs and implements a visualization display platform of the epidemic situation at home and abroad based on Web. The system regularly crawls the epidemic data published by dingxiangyuan website through Python crawler, stores the data in the database, and displays the crawling data on the page by using visualization technology. The system is built with Maven and developed on the basis of spring, spring MVC and mybatis framework.
Keywords: python crawler; Spring; Spring MVC; MyBatis一、引言
(一)选题背景
(二)研究意义
本课题通过使用网络爬虫技术,获取国内外疫情实时数据,综合运用JSP技术、数据库技术、WEB可视化技术,制作国内外疫情数据展示页面,用可视化的方式直观呈现数据,在全民抗疫的同时,为民众提供一个能随时查看当前疫情数据的渠道,以充分了解全国和全世界的疫情发展形势。
二、开发技术介绍
本系统的开发使用了网络爬虫技术对网络数据进行爬取并入库,后端基于SpringMVC + MyBatis + Maven等技术和管理工具进行数据读取,通过JSP 、JQuery为开发前端页面,主要使用ECharts工具在页面进行可视化展示。
(一) 网络爬虫技术
网络爬虫是根据一定的规则自动获取万维网信息的程序或脚本。它被广泛应用于许多领域互联网搜索引擎或其他类似网站可以自动收集他们能够访问的所有页面内容,从而获取或更新这些网站的内容和搜索结果。从功能上讲,爬虫一般分为三个部分:数据采集、处理和存储。爬虫程序从一个或多个初始网页的URL开始,并获取获取初始网页的URL,在抓取网页的过程中,不断地从当前网页中提取新的URL并放入队列中,直到满足系统的某个停止条一个。
1. 搜索引擎的工作原理
一个通用的网络爬虫用来收集网站和信息。这些页面用于构建搜索引擎索引并提供支持。它决定搜索网站和整个搜索引擎系统的内容是否丰富,信息是否实时,因此其性能直接受到搜索引擎的影响。
网页的获取:
搜索引擎的网络爬虫具有以下基本工作内容
首先,选择种子URL的一部分,将这些URL放入要爬网的URL队列中;其次,取出要爬网的URL,分析DNS得到主机的IP,下载该URL对应的网页,存储在下载的网页库中,将这些URL放入要爬网的URL队列中。最后,对爬网的URL队列中的URL进行分析,对其他URL进行分析,将URL放入要爬网的URL队列中,进入下一个循环
/
图2.1 网络爬虫工作流程图
2. 储存数据
通用web搜索引擎通过爬虫所爬网的网页将数据存储到原始网页数据库中。页面数据与用户浏览器获得的HTML(网页源代码)完全相同。搜索引擎蜘蛛在抓取页面时会进行一定量的重复内容检测。一旦他们在访问权重较低的网站上遇到大量抄袭、收集或复制的内容,他们很可能会停止爬行。
Spring
Spring是一个轻量级的控制反转(IOC)和面向切面编程(AOP)的容器框架。
1. IOC(控制反转)
IOC也被称为DI(依赖注入),是一种JavaBean的管理方式,当我们需要使用某个类的时候,不用自己手动再去new一个对象,只需要私有化该对象,Spring容器会帮我们完成创建的动作,自动注入进此对象供我们使用。
2. AOP(面向切面编程)
面向切面编程,比如我们在许多类中的前后都会有相同的代码,比如登录前身份验证、权限管理,日志记录等,当这些代码或者说是公共行为都要在某个类的某个位置去执行的时候,就出现了切面的概念。面向切面编程可以使我们很方便的修改或者添加删除逻辑代码,相当于拔插式,本次系统设计主要使用了声明式事务@Transaction,本质是对方法进行拦截,方法开始前加入事务,方法执行完后有异常则回滚,无异常则提交。
Spring MVC
Spring MVC是Spring一个Web层的MVC框架,用于处理请求,返回响应。图21为Spring MVC的原理。SpringMVC围绕着一个“中心”DispatcherServlet,与三个基本点“HandlerMapping”、“HandlerAdapter”、“ViewResolver”,解析请求,经Controller处理后最终返回给用户相应界面。
/
图2.2 Spring MVC 原理
目录
Abstract
The new type of coronary pneumonia epidemic in 2020 had a huge impact on China. 1.4 billion compatriots joined hands to fight against the epidemic and fought a successful anti epidemic war. Nowadays, the epidemic situation at home a *好棒文|www.hbsrm.com +Q: ^351916072#
nd abroad is still continuing. In order to timely understand the data changes of the epidemic situation every day, this paper designs and implements a visualization display platform of the epidemic situation at home and abroad based on Web. The system regularly crawls the epidemic data published by dingxiangyuan website through Python crawler, stores the data in the database, and displays the crawling data on the page by using visualization technology. The system is built with Maven and developed on the basis of spring, spring MVC and mybatis framework.
Keywords: python crawler; Spring; Spring MVC; MyBatis一、引言
(一)选题背景
(二)研究意义
本课题通过使用网络爬虫技术,获取国内外疫情实时数据,综合运用JSP技术、数据库技术、WEB可视化技术,制作国内外疫情数据展示页面,用可视化的方式直观呈现数据,在全民抗疫的同时,为民众提供一个能随时查看当前疫情数据的渠道,以充分了解全国和全世界的疫情发展形势。
二、开发技术介绍
本系统的开发使用了网络爬虫技术对网络数据进行爬取并入库,后端基于SpringMVC + MyBatis + Maven等技术和管理工具进行数据读取,通过JSP 、JQuery为开发前端页面,主要使用ECharts工具在页面进行可视化展示。
(一) 网络爬虫技术
网络爬虫是根据一定的规则自动获取万维网信息的程序或脚本。它被广泛应用于许多领域互联网搜索引擎或其他类似网站可以自动收集他们能够访问的所有页面内容,从而获取或更新这些网站的内容和搜索结果。从功能上讲,爬虫一般分为三个部分:数据采集、处理和存储。爬虫程序从一个或多个初始网页的URL开始,并获取获取初始网页的URL,在抓取网页的过程中,不断地从当前网页中提取新的URL并放入队列中,直到满足系统的某个停止条一个。
1. 搜索引擎的工作原理
一个通用的网络爬虫用来收集网站和信息。这些页面用于构建搜索引擎索引并提供支持。它决定搜索网站和整个搜索引擎系统的内容是否丰富,信息是否实时,因此其性能直接受到搜索引擎的影响。
网页的获取:
搜索引擎的网络爬虫具有以下基本工作内容
首先,选择种子URL的一部分,将这些URL放入要爬网的URL队列中;其次,取出要爬网的URL,分析DNS得到主机的IP,下载该URL对应的网页,存储在下载的网页库中,将这些URL放入要爬网的URL队列中。最后,对爬网的URL队列中的URL进行分析,对其他URL进行分析,将URL放入要爬网的URL队列中,进入下一个循环
/
图2.1 网络爬虫工作流程图
2. 储存数据
通用web搜索引擎通过爬虫所爬网的网页将数据存储到原始网页数据库中。页面数据与用户浏览器获得的HTML(网页源代码)完全相同。搜索引擎蜘蛛在抓取页面时会进行一定量的重复内容检测。一旦他们在访问权重较低的网站上遇到大量抄袭、收集或复制的内容,他们很可能会停止爬行。
Spring
Spring是一个轻量级的控制反转(IOC)和面向切面编程(AOP)的容器框架。
1. IOC(控制反转)
IOC也被称为DI(依赖注入),是一种JavaBean的管理方式,当我们需要使用某个类的时候,不用自己手动再去new一个对象,只需要私有化该对象,Spring容器会帮我们完成创建的动作,自动注入进此对象供我们使用。
2. AOP(面向切面编程)
面向切面编程,比如我们在许多类中的前后都会有相同的代码,比如登录前身份验证、权限管理,日志记录等,当这些代码或者说是公共行为都要在某个类的某个位置去执行的时候,就出现了切面的概念。面向切面编程可以使我们很方便的修改或者添加删除逻辑代码,相当于拔插式,本次系统设计主要使用了声明式事务@Transaction,本质是对方法进行拦截,方法开始前加入事务,方法执行完后有异常则回滚,无异常则提交。
Spring MVC
Spring MVC是Spring一个Web层的MVC框架,用于处理请求,返回响应。图21为Spring MVC的原理。SpringMVC围绕着一个“中心”DispatcherServlet,与三个基本点“HandlerMapping”、“HandlerAdapter”、“ViewResolver”,解析请求,经Controller处理后最终返回给用户相应界面。
/
图2.2 Spring MVC 原理
版权保护: 本文由 hbsrm.com编辑,转载请保留链接: www.hbsrm.com/jsj/rjgc/218.html