博爱网站建设,图片版本wordpress,自己做优惠券网站,聊城开发区网络公司排名基于Python Flask的全国气象数据采集及可视化系统 一、项目简介二、项目技术三、项目功能四、运行截图五、分类说明六、实现代码七、数据库结构八、源码下载 一、项目简介
本项目是一个基于Web技术的实时气象数据可视化系统。通过爬取中国天气网的各个城市气象数据#xff0c… 基于Python Flask的全国气象数据采集及可视化系统 一、项目简介二、项目技术三、项目功能四、运行截图五、分类说明六、实现代码七、数据库结构八、源码下载 一、项目简介
本项目是一个基于Web技术的实时气象数据可视化系统。通过爬取中国天气网的各个城市气象数据并将其保存到自己的数据库中我们利用Python、Flask、ECharts和MySQL等技术实现了数据的分析和可视化呈现。这是一个采用B/S架构的现代化气象数据管理系统用户只需通过浏览器便可访问。在项目完善版本中我们进一步优化了数据处理和可视化提高了系统的性能和用户体验。
二、项目技术
Python爬虫技术借助Python强大的网络爬虫库我们能够高效地从中国天气网上获取实时气象数据并将其转化为结构化数据。Flask后端框架作为一种轻量级的后端框架Flask简化了开发流程使得我们能够快速搭建灵活且可扩展的Web应用程序。MySQL数据库作为一个成熟的关系型数据库管理系统MySQL提供了高效可靠的数据存储和查询能力使得我们能够方便地管理爬取的气象数据。ECharts大数据可视化ECharts作为当时流行的数据可视化库为我们提供了丰富的图表类型和交互式特性使得我们能够将庞大的气象数据以直观的图表形式展示给用户。layui后台管理前端框架借助layui框架我们实现了美观、简洁的后台管理界面提升了用户操作的友好性和便捷性。
三、项目功能
系统功能模块的设计是基于对现实需求的深入理解和用户体验的关注详情功能结构图如下图所示。主要包括以下五大功能
可视化功能模块通过ECharts技术将爬取的气象数据转化为图表形式以直观的方式展示各城市的气象情况使用户能够快速把握气象趋势和变化更好地做出决策。版本管理功能模块用于记录系统的不同版本包括功能更新、性能优化和Bug修复等内容确保系统持续发展和不断完善。用户管理功能模块实现用户注册、登录和权限控制不同用户拥有不同的菜单权限保障系统的安全性和数据隐私。实时气象数据管理功能模块用于存储、更新和管理从中国天气网爬取的实时气象数据确保数据的准确性和及时性。爬虫管理功能模块针对爬虫任务进行管理包括设置爬取频率、指定目标城市等以确保爬虫的高效稳定运行。
四、运行截图
大屏可视化页面
用户登录页面 用户注册页面 后台管理首页面 后台用户管理页面 后台版本管理页面 后台气象管理页面 后台气象编辑页面 后台爬虫日志管理页面
五、分类说明
AQI
0-50良好
51-100:中等
101-150偏差对敏感人群不健康
151-200差不健康
201-300极差非常不健康
300有毒
风力等级 六、实现代码
爬虫头部实现代码
class GetWeather:def __init__(self):self.baseUrl rself.headers {Accept: */*,Accept-Encoding: gzip, deflate,Accept-Language: keep-alive,Connection: ,Cookie: .encode(utf-8).decode(latin1),Host: d1.weather.com.cn,Referer: ,User-Agent: , }self.loadList []# 格式为列表里面的子列表都是一个省份的所有城市子列表里所有元素都是字典每个字典有两项self.cityList [] self.cityDict {}self.result xlwt.Workbook(encodingutf-8, style_compression0)self.sheet self.result.add_sheet(result, cell_overwrite_okTrue)self.cityRow 0self.totalGet 0数据清洗存入数据库 data json.loads(self.htmlResult.replace(var dataSK, ))nameen data[nameen] # 城市拼音cityname data[cityname] # 城市名称temp data[temp] # 当前温度WD data[WD] # 风向WS data[WS].replace(级, ) # 风力wse data[wse].replace(km/h, ) # 风速sd data[sd].replace(%, ) # 湿度weather data[weather] # 天气record_date data[date] # 时间record_time data[time] # 时分aqi data[aqi] # 时分judge_sql select count(id) from weather where nameen nameen and cityname cityname and record_date record_date and record_time record_time ;sql INSERT INTO weather VALUES (null, nameen , cityname , record_date , record_time , str(temp) , WD , WS , wse , sd , weather , aqi , time.strftime(%Y-%m-%d %H:%M:%S, time.localtime()) ,0);i db.query_noargs(judge_sql)[0][0]if int(i) 0:print(跳过, judge_sql)continueupdate_sql update weather set is_old1 where nameen nameen and cityname cityname ;print(插入, sql)count 1db.query_noargs(update_sql)db.query_noargs(sql)首页城市空气质量统计
# 获取城市空气质量统计
def get_AQI_total_data():db dbUtil()lh_sql SELECT COUNT(id) FROM weather WHERE aqi50 AND is_old0zd_sql SELECT COUNT(id) FROM weather WHERE aqi50 AND aqi100 AND is_old0pc_sql SELECT COUNT(id) FROM weather WHERE aqi100 AND aqi150 AND is_old0c_sql SELECT COUNT(id) FROM weather WHERE aqi150 AND aqi200 AND is_old0jc_sql SELECT COUNT(id) FROM weather WHERE aqi200 AND aqi300 AND is_old0yd_sql SELECT COUNT(id) FROM weather WHERE aqi300 AND is_old0lh db.query_noargs(lh_sql)[0][0]zd db.query_noargs(zd_sql)[0][0]pc db.query_noargs(pc_sql)[0][0]c db.query_noargs(c_sql)[0][0]jc db.query_noargs(jc_sql)[0][0]yd db.query_noargs(yd_sql)[0][0]db.close_commit()return jsonify([{time: 良好, value: lh, name: 空气质量},{time: 中等, value: zd, name: 空气质量},{time: 偏差, value: pc, name: 空气质量},{time: 较差, value: c, name: 空气质量},{time: 极差, value: jc, name: 空气质量},{time: 有毒, value: yd, name: 空气质量}])空气质量可视化构建
function center_kqzlfm() { $.ajax({ url: /main/aqi,method: get,success: function (obj) {// 基于准备好的dom初始化echarts实例 const myChart echarts.init(document.getElementById(kqzlfm-table)) // 指定图表的配置项let option {...} // 指定图表的数据let data obj //数据处理 开始let xKey time let yKey value let sKey namelet seriesArr []let dataColumn [] //....省略数据格式化处理太长了option.yAxis.type valueoption.xAxis.type categoryoption.xAxis.data dataColumn// 数据处理完 option.series seriesObj// 使用刚指定的配置项和数据显示图表。myChart.setOption(option) } })}七、数据库结构
slog表
字段名称数据类型是否必填注释idint是logvarchar(255)否create_timedatetime否
sys_version表
字段名称数据类型是否必填注释idint是系统版本sys_namevarchar(255)否名称sys_versionvarchar(255)否描述
user表
字段名称数据类型是否必填注释idint是namevarchar(255)否用户名称供应商名称accountvarchar(255)否用户账号passwordvarchar(255)否用户密码companyvarchar(255)否企业名称phonevarchar(255)否电话号码mailvarchar(255)否邮箱typeint否0管理员1普通用户statusint否0禁用1启用
weather表
字段名称数据类型是否必填注释idint是nameenvarchar(255)否城市拼音citynamevarchar(50)否城市名称record_datevarchar(50)否天气时间record_timevarchar(50)否实时时分tempint否当前温度wdvarchar(20)否风向wsint否凤力wseint否风速sdint否湿度weathervarchar(20)否天气aqiint否空气质量create_timedatetime是数据创建时间is_oldint否1老数据0新数据
八、源码下载
源码、安装教程文档、项目简介文档以及其它相关文档已经上传到是云猿实战官网可以通过下面官网进行获取项目
