和创客贴类似的网站,网站建设为什么必须有服务器,石家庄 外贸网站建设,小程序开发定制北京公司InfluxDB
简介
什么是 InfluxDB #xff1f; InfluxDB 是一个由 InfluxData 开发的#xff0c;开源的时序型数据库。它由 Go 语言写成#xff0c;着力于高性能地查询与存储时序型数据。 InfluxDB 被广泛应用于存储系统的监控数据、IoT 行业的实时数据等场景。 可配合 Te…InfluxDB
简介
什么是 InfluxDB InfluxDB 是一个由 InfluxData 开发的开源的时序型数据库。它由 Go 语言写成着力于高性能地查询与存储时序型数据。 InfluxDB 被广泛应用于存储系统的监控数据、IoT 行业的实时数据等场景。 可配合 Telegraf 服务Telegraf 可以监控系统 CPU、内存、网络等数据。 可配合 Grafana 服务数据展现的图像界面将 InfluxDB 中的数据可视化。 InfluxDB 官网
什么是时序数据
时间序列数据TimeSeries Data按照时间顺序记录系统、设备状态变化的数据被称为时序数据。其应用场景很多如
无人驾驶车辆运行中要记录的经度、纬度、速度、方向、旁边的距离等。某一地区的各车辆的行驶轨迹数据。传统证券行业实时交易数据。实时运维监控数据等。
时序数据特点
性能好关系型数据库对于大规模数据的处理性能糟糕而 NoSQL 可以比较好地处理大规模数据但依然比不上时间序列数据库。存储成本低高效的压缩算法节省存储空间有效降低 I/O 。 数据存储结构
与 MySQL 的基础概念对比
概念MySQLInfluxDB数据库同databasedatabase表不同tablemeasurement列不同columntag带索引的非必须、field不带索引、timestemp唯一主键 tag set不同的每组 tag key 和 tag value 的集合。 field set每组 field key 和 field value 的集合。 retention policy数据存储策略默认策略为 autogenInfluxDB 没有删除数据操作规定数据的保留时间达到清除数据的目的。 series共同 retention policy、measurement 和 tag set 的集合。
示例数据
census 是 measurementbutterflies 和 honeybees 是 field keylocation 和 scientist 是 tag key
name: census
————————————
time butterflies honeybees location scientist
2015-08-18T00:00:00Z 12 23 1 langstroth
2015-08-18T00:00:00Z 1 30 1 perpetua
2015-08-18T00:06:00Z 11 28 1 langstroth
2015-08-18T00:06:00Z 11 28 2 langstroth注意点
tag 只能为字符串类型。field 类型无限制。不支持 join。支持连续查询操作汇总统计数据CONTINUOUS QUERY。 部署
新建容器网络docker network create grafana
运行容器docker run -d --nameinfluxdb --network grafana -p 8086:8086 -v ${PWD}/influxdb/:/var/lib/influxdb influxdb:1.7.10
创建数据库
第一种方式curl -i -XPOST http://localhost:8086/query --data-urlencode qCREATE DATABASE jmeter第二种方式docker exec -it influxdb influx
简单使用
create database jmeters;
use jmeter;
show measurements;
select * from jmeter limit 3;常用 InfluxQL
-- 查看所有的数据库
show databases;-- 使用特定的数据库
use database_name;-- 查看所有的 measurement
show measurements;-- 查询 10 条数据
select * from measurement_name limit 10;-- 数据中的时间字段默认显示的是一个纳秒时间戳改成可读格式
precision rfc3339; -- 之后再查询时间就是 rfc3339 标准格式
-- 或可以在连接数据库的时候直接带该参数
influx -precision rfc3339-- 查看一个 measurement 中所有的 tag key
show tag keys-- 查看一个 measurement 中所有的 field key
show field keys-- 查看一个 measurement 中所有的保存策略可以有多个一个标识为 default
show retention policies;Grafana
简介
Grafana官网是一个跨平台的、开源的度量分析和可视化工具可以通过将采集的数据查询然后可视化的展示并及时通知。
它主要有以下六大特点
展示方式快速灵活的客户端图表面板插件有许多不同方式的可视化指标和日志官方库中具有丰富的仪表盘插件比如热图、折线图、图表等多种展示方式支持多种数据源Graphite、InfluxDB、OpenTSDB、Prometheus、Elasticsearch、CloudWatch 和 KairosDB 等通知提醒以可视方式定义最重要指标的警报规则Grafana 将不断计算并发送通知在数据达到阈值时通过 Slack、PagerDuty 等获得通知混合展示在同一图表中混合使用不同的数据源可以基于每个查询指定数据源甚至自定义数据源注释使用来自不同数据源的丰富事件注释图表将鼠标悬停在事件上会显示完整的事件元数据和标记过滤器Ad-hoc 过滤器允许动态创建新的键/值过滤器这些过滤器会自动应用于使用该数据源的所有查询。 自动化测试相关教程推荐 2023最新自动化测试自学教程新手小白26天入门最详细教程,目前已有300多人通过学习这套教程入职大厂_哔哩哔哩_bilibili 2023最新合集Python自动化测试开发框架【全栈/实战/教程】合集精华学完年薪40W_哔哩哔哩_bilibili 测试开发相关教程推荐 2023全网最牛字节测试开发大佬现场教学从零开始教你成为年薪百万的测试开发工程师_哔哩哔哩_bilibili postman/jmeter/fiddler测试工具类教程推荐 讲的最详细JMeter接口测试/接口自动化测试项目实战合集教程学jmeter接口测试一套教程就够了_哔哩哔哩_bilibili 2023自学fiddler抓包请一定要看完【如何1天学会fiddler抓包】的全网最详细视频教程_哔哩哔哩_bilibili 2023全网封神B站讲的最详细的Postman接口测试实战教学小白都能学会_哔哩哔哩_bilibili 总结 光学理论是没用的要学会跟着一起敲要动手实操才能将自己的所学运用到实际当中去这时候可以搞点实战案例来学习。 如果对你有帮助的话点个赞收个藏给作者一个鼓励。也方便你下次能够快速查找。
如有不懂还要咨询下方小卡片博主也希望和志同道合的测试人员一起学习进步
在适当的年龄选择适当的岗位尽量去发挥好自己的优势。
我的自动化测试开发之路一路走来都离不每个阶段的计划因为自己喜欢规划和总结
测试开发视频教程、学习笔记领取传送门 基础概念
Data Source
Grafana 确切的说是一个前端展示工具将数据以非常美观直接的图形展示出来。那么这些数据必须有一个来源吧那么 Grafana 获取数据的地方就称为 Data Source。官方文档上说 Grafana 支持以下数据源Graphite、InfluxDB、OpenTSDB、Prometheus、Elasticsearch、CloudWatch。在 Grafana 3.0 之后不仅支持上面说的这些数据源还支持一些其它的数据源这些就称为 Grafana Plugins。Grafana 支持的插件非常多只要做一些简单的插件安装配置就能获取丰富的数据源。如下所示添加数据源
DashBoard
就像汽车仪表盘一样可以展示很多信息包括车速、水箱温度等。Grafana 的 DashBoard 就是以各种图形的方式来展示从 Datasource 拿到的数据。添加仪表盘的示例步骤 如搜索 jmeter 仪表盘 选择对应的仪表盘 ID 复制ID填入导入界面导入时需要选择用户组以及对应的数据库 展示仪表盘右上角可以选择数据展示的时间段和刷新频次
Row
Row 是 DashBoard 的基本组成单元一个 DashBoard 可以包含很多个 Row 。一个 Row 可以展示一种信息或者多种信息的组合比如系统内存使用率CPU 五分钟及十分钟平均负载等。所以在一个 DashBoard 上可以集中展示很多内容。
Panel
Panel面板实际上就是 Row 展示信息的方式支持表格table、列表alert list、热图Heatmap等多种方式具体可以去官网上查阅。
Query Editor
用来指定获取哪一部分数据类似于 SQL 查询语句。比如要在某个 row 里面展示 test 这张表的数据那么 Query Editor 里面就可以写成 select * from test。这只是一种比方实际上每个 DataSource 获取数据的方式都不一样所以写法也不一样比如像 zabbix 数据则是以指定某个监控项的方式来获取的。
Organization
org 是一个很大的概念每个用户可以拥有多个 orggrafana 有一个默认的 main org 。用户登录后可以在不同的 org 之间切换前提是该用户拥有多个 org 。不同的 org 之间完全不一样包括 datasource、dashboard 等都不一样。创建一个 org 就相当于开了一个全新的视图所有的 datasource、dashboard 等都要再重新开始创建。
User
Grafana 里面用户有三种角色admin、editor、viewer。admin 权限最高可以执行任何操作包括创建用户、新增 Datasource、创建 DashBoard 等。editor 角色不可以创建用户、不可以新增 Datasource、可以创建 DashBoard 。viewer 角色仅可以查看 DashBoard 。在 2.1 版本及之后新增了一种角色 read only editor只读编辑模式这种模式允许用户修改 DashBoard但是不允许保存。每个 user 可以拥有多个 organization 。 部署
运行容器
docker run -d --name grafana --network grafana -p 3000:3000 grafana/grafana:6.6.2 默认登录账号密码为 admin/admin 。 压测结果采集Jmeter InfluxDB Grafana
Jmeter 自带的监视器在 Windows 使用 GUI 模式运行时其渲染和效果都不是太好而在 linux 环境下又无法实时可视化。
因此如果有一个性能测试结果实时展示的页面就可以提升我们对系统性能表现的掌握程度另一方面也可以提升我们的测试效率。 Grafana 添加 InfluxDB 数据源 配置项
URLhttp://influxdb:8086由于 grafana 和 influxdb 在在同个容器网络中因此可直接填写【influxdb容器名:端口号】。Databasejmeter在 influxdb 中创建的数据库名。Min time interval5每 5 秒刷新一次数据源这里是与 jmeter backend listener 每 5 秒写入一次数据到 influxdb 保持同步。 Grafana 创建 Jmeter 仪表盘 导入 Grafana 官方 Jmeter 仪表盘Apache JMeter Dashboard using Core InfluxdbBackendListenerClient | Grafana Labs 填写自定义配置 仪表盘创建成功 Jmeter 配置 Influxdb 监听器 配置项说明
influxdbUrlhttp://192.168.3.222:8086/write?dbjmeterinfluxdb 服务器地址以及写入的数据库。applicationapp_1自定义应用名称可在 grafana 仪表盘中筛选区分。measurementjmeterinfluxdb 表名默认为 jmeter写入数据时会自动创建该表。summaryOnlyfalse在 grafana 仪表盘中显示详细 Error 信息。testTitletest_demo_1在 influxdb 表数据中作区分。 查看写入的 Influxdb 表数据
[rootlocalhost ~]# docker exec -it influxdb influxConnected to http://localhost:8086 version 1.7.10
InfluxDB shell version: 1.7.10show measurements;
name: measurements
name
----
events
jmeterselect * from jmeter limit 3;
name: jmeter
time application avg count countError endedT hit max maxAT meanAT min minAT pct90.0 pct95.0 pct99.0 rb responseCode responseMessage sb startedT statut transaction
---- ----------- --- ----- ---------- ------ --- --- ----- ------ --- ----- ------- ------- ------- -- ------------ --------------- -- -------- ------ -----------
1658844069082000000 app_1 0 0 0 0 1 internal
1658844074048000000 app_1 34.9375 16 42 30 41.3 42 42 39952 1872 all Single Request
1658844074050000000 app_1 34.9375 16 42 30 41.3 42 42 ok Single Requestselect * from events;
name: events
time application text title
---- ----------- ---- -----
1658844069036000000 app_1 test_demo_1 started ApacheJMeter
1658844215777000000 app_1 test_demo_1 ended ApacheJMeter查看仪表盘展示 Prometheus普罗米修斯
简介
什么是 Prometheus Prometheus官网是一套开源的监控报警时序数据库的组合适合监控 Docker 容器。因为 Kubernetes 的流行带动了 Prometheus 的发展 Prometheus 是最初在 SoundCloud 上构建的开源系统监视和警报工具包该项目拥有非常活跃的开发人员和用户社区。现在它是一个独立的开源项目并且独立于任何公司进行维护。为了强调这一点并阐明项目的治理结构Prometheus 于 2016 年加入了 Cloud Native Computing Foundation这是继 Kubernetes 之后的第二个托管项目。
Prometheus 优点
非常少的外部依赖安装使用超简单。已经有非常多的系统集成例如docker、HAProxy、Nginx、JMX 等等。服务自动化发现。直接集成到代码。设计思想是按照分布式、微服务架构来实现的。
Prometheus 特性
多维度数据模型。提供灵活的查询语言PromQL。不依赖分布式存储单个服务器节点是自主的。以 HTTP 方式通过 Pull 模型拉取时间序列数据。也可以通过中间网关支持 Push 模型。通过服务发现或者静态配置来发现目标服务对象。支持多种多样的图标和界面展示。
Prometheus 生态系统
Prometheus 生态系统包含多个组件其中许多是可选的。且大多数 Prometheus 组件都是用 Go 编写的因此易于构建和部署为静态二进制文件。
Prometheus server它会抓取并存储时间序列数据。client libraries用于检测应用程序代码。push gateway一个支持短期工作的推送网关。诸如 HAProxy、StatsD、Graphite 等服务的专用输出端。一个 alertmanager 处理警报。各种支持工具。
Prometheus 原理架构图
下图说明了 Prometheus 的体系结构及其某些生态系统组件。 Prometheus 直接或通过中介推送网关从已检测作业中删除指标以处理短暂的作业。它在本地存储所有报废的样本并对这些数据运行规则以汇总和记录现有数据中的新时间序列或生成警报。Grafana 或其他 API 使用者可以用来可视化收集的数据。
Prometheus 应用场景 什么时候适合 Prometheus 可以很好地记录任何纯数字时间序列。它既适用于以机器为中心的监视也适用于高度动态的面向服务的体系结构的监视。在微服务世界中它对多维数据收集和查询的支持是一种特别的优势。Prometheus 的设计旨在提高可靠性使其成为中断期间要使用的系统以使你能够快速诊断问题。每个 Prometheus 服务器都是独立的而不依赖于网络存储或其他远程服务。当基础结构的其他部分损坏时你可以依靠它并且无需设置广泛的基础结构即可使用它。 什么时候不适合 普罗米修斯重视可靠性。即使在故障情况下也始终可以查看有关系统的可用统计信息。如果你需要 100 的准确性例如按请求计费则 Prometheus 并不是一个好的选择因为所收集的数据可能不够详细和完整。在这种情况下最好使用其他系统来收集和分析数据以进行计费并使用 Prometheus 进行其余的监视。 部署
配置文件
https://github.com/prometheus/prometheus/blob/master/documentation/examples/prometheus.yml
运行容器
docker run -d --name prometheus --network grafana -p 9090:9090 -v ${PWD}/prometheus.yml:/etc/prometheus/prometheus.yml prom/prometheus:v2.16.0 --config.file/etc/prometheus/prometheus.yml
Web 访问 Prometheus查看默认监控目标 实时抓取监控数据并存储在 Prometheus 数据库中 主机性能采集Prometheus Grafana
node_exporter
Prometheus 提供了各种监控 Agent这里以主机性能监控【node_exporter】为例。
下载解压 node_exporter # 根据系统选择对应的下载包
[rootlocalhost prometheus]# wget https://github.com/prometheus/node_exporter/releases/download/v1.3.1/node_exporter-1.3.1.linux-amd64.tar.gz[rootlocalhost prometheus]# tar -zxvf node_exporter-1.3.1.linux-amd64.tar.gz
node_exporter-1.3.1.linux-amd64/
node_exporter-1.3.1.linux-amd64/LICENSE
node_exporter-1.3.1.linux-amd64/NOTICE
node_exporter-1.3.1.linux-amd64/node_exportergzip: stdin: unexpected end of file
tar: Unexpected EOF in archive
tar: Unexpected EOF in archive
tar: Error is not recoverable: exiting now
[rootlocalhost prometheus]# ls
node_exporter-1.3.1.linux-amd64 node_exporter-1.3.1.linux-amd64.tar.gz prometheus.yml
[rootlocalhost prometheus]# cd node_exporter-1.3.1.linux-amd64/
[rootlocalhost node_exporter-1.3.1.linux-amd64]# ls
LICENSE node_exporter NOTICE启动 node_exporter
# 查看启动参数
[rootlocalhost prometheus]# ./node_exporter --help
# 自定义启动端口且限定访问IP
[rootlocalhost prometheus]# nohup ./node_exporter --web.listen-address192.168.3.222:9102
# 不限定访问IP
[rootlocalhost prometheus]# nohup ./node_exporter --web.listen-address:9102 修改 Prometheus 配置文件添加 node_exporter 配置 重启容器
docker restart prometheus监控添加成功 Grafana 添加 Prometheus 数据源 Grafana 导入 node_exporter 仪表盘 导入 Grafana 官方 node_exporter 仪表盘Node Exporter Dashboard 220413 ConsulManager自动同步版 | Grafana Labs 仪表盘导入成功
