word做招聘网站,网站与网页的区别.,销售网站制作怎么做,外贸网站谷歌推广心路历程
本来想最近再研究研究DPDK的。但是自己做一个东西很多时候没有回报。因为自己的低学历问题#xff0c;类似工作的面试都没有。所以很多东西学了很快就忘了#xff0c;没有地方可以用。 今天看到了一个大佬,除了发型外,很多想法还是很共鸣的。 Shay Banon 决定开始跟…心路历程
本来想最近再研究研究DPDK的。但是自己做一个东西很多时候没有回报。因为自己的低学历问题类似工作的面试都没有。所以很多东西学了很快就忘了没有地方可以用。 今天看到了一个大佬,除了发型外,很多想法还是很共鸣的。 Shay Banon 决定开始跟着大佬的文章研究一段时间。这样梯度的学习中自己就算没有一线的经验也可以学到很多一线的东西。 大佬是Elastic的创始人决定先从ELK开始研究。 例如Elastic与Amazon, Elastic 和 Grafana Labs Elasticsearch、Kibana 及 X-Pack 、Kafka等。。。 在这当中Kafka的作用是明显的作为一个中间件一个缓冲它起到了提高吞吐隔离峰值影响缓存日志数据快速落盘同时通过producer/consumer模式让Logstash能够横向拓展的作用还能够用作数据的多路分发。 大多数时候我们看到的实际架构按数据流转顺序排列应该是BKLEK架构。 FilebeatkfakaELK Elastic 社区
参考文档 https://blog.csdn.net/weixin_44991162/article/details/90257265 前置 Kibana 安装 Elasticsearch和Kibana之间的关系是紧密的它们共同构成了Elastic Stack也被称为ELK Stack Elasticsearch是一个开源的分布式搜索和分析引擎 负责存储和搜索数据。 而Kibana是一个数据可视化工具 用于可视化和分析这些数据。 它们之间通过RESTful API 进行通信使得集成非常简单。 Kibana提供了多种可视化工具如线图、柱状图、饼图等以及各种数据分析功能如日志分析、监控、搜索等可以帮助用户更好地理解和分析数据。 Kibana 通常与 Elasticsearch 一起部署Kibana 是 Elasticsearch 的一个功能强大的数据可视化 DashboardKibana 提供图形化的 web 界面来浏览 Elasticsearch 日志数据可以用来汇总、分析和搜索重要数据。 STEP1
首先要关闭Iptables 和 Selinux
Logstash 依赖于JAVA Oracle 修复了 Java 超过一半的问题。所以我们到Oracle 官方网站上下载 java 的JDK https://www.oracle.com/java/technologies/downloads/#java11 tar -zxf jdk-11.0.18_linux-x64_bin.tar.gz -C /usr/local/ 配置环境变量
cat /etc/profile EOF
export JAVA_HOME/usr/local/jdk-11.0.18
export PATH$PATH:$JAVA_HOME/bin
export CLASSPATH.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH
EOF
#加载环境变量
source /etc/profile
#验证版本
java -versionKibana 安装 wget https://artifacts.elastic.co/downloads/kibana/kibana-7.16.1-linux-x86_64.tar.gz tar -zxf kibana-7.16.1-linux-x86_64.tar.gz -C /usr/local/
mv /usr/local/kibana-7.16.1-linux-x86_64 /usr/local/kibana-7.16.1
ls /usr/local/kibana-7.16.环境变量配置
cat /etc/profile EOF
export PATH$PATH:/usr/local/kibana-7.16.1/bin
EOF
source /etc/profile
修改Kibana配置kibana.yml
vim /usr/local/kibana-7.16.1/config/kibana.yml
#简单使用只修改下面两个选项即可
server.port: 5601
server.host: 0.0.0.0创建Kibana 用户、授予Kibana 权限并启动服务
#添加kibana用户禁止ssh登录
useradd -s /sbin/nologin kibana#授权
chown -R kibana:kibana /usr/local/kibana-7.16.1/#切换kibana 用户验证版本
su - kibana -s /bin/bash
kibana --version#启动服务
nohup kibana /tmp/kibana.log 21
#查看端口是否监听
netstat -lntp |grep 5601
#服务没问题后退出当前用户
exitElasticsearch 安装 ElasticSearch是基于Lucene一个全文检索引擎的架构开发的分布式存储检索引擎用来存储各类日志。 Elasticsearch 是用 Java 开发的可通过 RESTful Web 接口让用户可以通过浏览器与 Elasticsearch 通信。 Elasticsearch是一个实时的、分布式的可扩展的搜索引擎允许进行全文、结构化搜索它通常用于索引和搜索大容量的日志数据也可用于搜索许多不同类型的文档。 wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.16.1-linux-x86_64.tar.gz tar -zxf elasticsearch-7.16.1-linux-x86_64.tar.gz -C /usr/local/
ls /usr/local/elasticsearch-7.16.1/cat /etc/profile EOF
export PATH$PATH:/usr/local/elasticsearch-7.16.1/bin
EOF
source /etc/profile修改 Elasticsearch配置文件 vim /usr/local/elasticsearch-7.16.1/config/elasticsearch.yml
#只需修改添加下面几个选项即可
#可自定义数据存储路径注意授权
path.data: data
#可自定义日志存在路径注意授权
path.logs: logs
#监听的ip根据自己的情况修改我的服务都部署在一台机器所以监听127.0.0.1
network.host: 127.0.0.1
http.port: 9200
#开启密码认证
xpack.security.enabled: true
#集群模式single-node 是单节点
discovery.type: single-node
修改ES JVM的内存限制
vim /usr/local/elasticsearch-7.16.1/config/jvm.options
#建议调至当前可用内存的一半
-Xms2g
-Xmx2g创建elastic 用户、授予elastic 权限并启动服务
#添加elastic用户禁止ssh登录
useradd -s /sbin/nologin elastic#授权
chown -R elastic:elastic /usr/local/elasticsearch-7.16.1/#切换 elastic 用户验证版本
su - elastic -s /bin/bash
elasticsearch --version#启动服务
elasticsearch -d
#查看端口是否监听
netstat -lntp |grep 9200
#服务没问题后退出当前用户
exitElasticsearch 设置密码
/usr/local/elasticsearch-7.16.1/bin/elasticsearch-setup-passwords interactive
输入y
输入自定义密码1234567验证密码
curl -u elastic:elk2023 127.0.0.1:9200修改 Kibana 配置添加 es 密码认证 vim /usr/local/kibana-7.16.1/config/kibana.yml
elasticsearch.hosts: [http://127.0.0.1:9200]
elasticsearch.username: elstic
elasticsearch.password: 1234567重启 Kibana
su - kibana -s /bin/bash
#停止服务重新启动
ps -ef |grep -w kibana-7.16.1 |grep -v grep | awk {print $2} |xargs kill
nohup kibana /tmp/kibana.log 21
#查看端口是否监听
netstat -lntp |grep 5601
#观察日志有无错误输出
tailf /tmp/kibana.log
#服务没问题后退出当前用户
exit访问 Kibana :5601 Logstash 安装 Logstash 由 Ruby 语言编写运行在 Java 虚拟机JVM上是一款强大的数据处理工具 可以实现数据传输、格式处理、格式化输出。Logstash 具有强大的插件功能常用于日志处理。 Filebeat是一个轻量级的日志收集器主要用于从文件中读取日志行并将其传输到其他地方如Elasticsearch或Logstash。它适合部署在收集的最前端用于日志收集和传输。 Logstash是一个功能强大的数据处理管道可以从多种来源接收数据并进行复杂的转换和过滤然后将数据发送到许多不同的目标。它适用于大规模的日志处理任务提供了更多的过滤插件和处理选项可以进行更复杂的数据转换和处理操作。 由于其轻量级的设计Filebeat占用的系统资源较少适用于在较小的环境中部署。 而Logstash由于其更强大的功能和灵活性需要更多的系统资源来运行适用于大规模的日志处理任务。 logstash 超大规模日志时日志先存到kafka,再通过logstash同步到elasticsearch 对于日志规模不大时不需要用到logstash。 由于Elasticsearch具有解析的能力如Logstash过滤器— Ingest这意味着可以将数据直接用Filebeat推送到Elasticsearch并让Elasticsearch既做解析的事情又做存储的事情 下载
wget https://artifacts.elastic.co/downloads/logstash/logstash-7.16.1-linux-x86_64.tar.gz加压安装包
tar -zxf logstash-7.16.1-linux-x86_64.tar.gz -C /usr/local/
ll /usr/local/logstash-7.16.1/设置环境变量
cat /etc/profile EOF
export PATH$PATH:/usr/local/logstash-7.16.1/bin
EOF
source /etc/profileLogstash JVM的内存限制
vim /usr/local/logstash-7.16.1/config/jvm.options
#建议调至当前可用内存的一半
-Xms1g
-Xmx1g查看版本
[rootVM-5-163-centos ~]# logstash --version
Using bundled JDK: /usr/local/logstash-7.16.1/jdk
logstash 7.16.1Logstash 不强制使用普通用户启动如需普通用户启动可以参考前面创建用户步骤 测试采集 nginx 日志
创建 logstash config配置文件
cat /usr/local/logstash-7.16.1/config/logstash.conf EOF
input {file {path /usr/local/nginx/logs/access.log}
}
filter {grok {match {message (?remote_ip\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}) - - \[(?timestamp\S \\d)\] (?method[A-Z]) (?request\S) HTTP/\d.\d (?status\d) (?bytes\d) [^] (?agent[^])}remove_field [message,version,path]}date {match [timestamp, dd/MMM/yyyy:HH:mm:ss Z]target timestamp}
}
output {elasticsearch {hosts [http://127.0.0.1:9200]user elasticpassword elk2023index logstash-%{YYYY.MM.dd}}
}
EOF启动logstash
logstash -f /usr/local/logstash-7.16.1/config/logstash.conf Kibana 查看ES 是否已经有Logstash 的 index 添加索引
