青岛网站设计企业,帝国cms 网站例子,浙江华企 做网站怎么样,图片下载网站哪个好一、logstash简介 集中、转换和存储数据 Logstash 是免费且开放的服务器端数据处理管道#xff0c;能够从多个来源采集数据#xff0c;转换数据#xff0c;然后将数据发送到您最喜欢的“存储库”中。 Logstash 能够动态地采集、转换和传输数据#xff0c;不受格式或复杂度的…
一、logstash简介 集中、转换和存储数据 Logstash 是免费且开放的服务器端数据处理管道能够从多个来源采集数据转换数据然后将数据发送到您最喜欢的“存储库”中。 Logstash 能够动态地采集、转换和传输数据不受格式或复杂度的影响。利用 Grok 从非结构化数据中派生出结构从 IP 地址解码出地理坐标匿名化或排除敏感字段并简化整体处理过程。 数据从源传输到存储库的过程中Logstash 过滤器能够解析各个事件识别已命名的字段以构建结构并将它们转换成通用格式以便进行更强大的分析和实现商业价值。 Logstash 能够动态地转换和解析数据不受格式或复杂度的影响 利用 Grok 从非结构化数据中派生出结构 从 IP 地址破译出地理坐标 将 PII 数据匿名化完全排除敏感字段 简化整体处理不受数据源、格式或架构的影响. 选择您的存储库导出您的数据 尽管 Elasticsearch 是我们的首选输出方向能够为我们的搜索和分析带来无限可能但它并非唯一选择。 Logstash 提供众多输出选择您可以将数据发送到您要指定的地方并且能够灵活地解锁众多下游用例。 Logstash 采用可插拔框架拥有 200 多个插件。您可以将不同的输入选择、过滤器和输出选择混合搭配、精心安排让它们在管道中和谐地运行。 二、下载安装Logstash
下载地址https://www.elastic.co/cn/downloads/past-releases/logstash-7-17-4
解压
tar -zxvf logstash-7.17.4-linux-x86_64.tar.gz# 解压后
[rootnb002 logstash-7.17.4]# ll
总用量 476
drwxr-xr-x 2 root root 4096 6月 26 07:37 bin
drwxr-xr-x 2 root root 142 6月 26 07:37 config
-rw-r--r-- 1 root wheel 2276 5月 18 23:31 CONTRIBUTORS
drwxr-xr-x 2 root wheel 6 5月 18 23:31 data
-rw-r--r-- 1 root wheel 4050 5月 18 23:31 Gemfile
-rw-r--r-- 1 root wheel 28942 5月 18 23:31 Gemfile.lock
drwxr-xr-x 9 root root 121 6月 26 07:37 jdk
drwxr-xr-x 6 root root 84 6月 26 07:37 lib
-rw-r--r-- 1 root wheel 13675 5月 18 23:31 LICENSE.txt
drwxr-xr-x 4 root root 90 6月 26 07:37 logstash-core
drwxr-xr-x 3 root root 86 6月 26 07:37 logstash-core-plugin-api
drwxr-xr-x 4 root root 55 6月 26 07:37 modules
-rw-r--r-- 1 root wheel 424030 5月 18 23:31 NOTICE.TXT
drwxr-xr-x 3 root root 30 6月 26 07:37 tools
drwxr-xr-x 4 root root 33 6月 26 07:37 vendor
drwxr-xr-x 9 root root 193 6月 26 07:37 x-pack
启动接收控制台的输入并输出到控制台 ./logstash -e input{stdin{type stdin}} output{stdout{codec rubydebug}}完整启动日志如下Successfully started Logstash API endpoint {:port9600, :ssl_enabledfalse} 然后我们在控制台输入也会有响应的输出打印到控制台如下 host主机名称 timestamp处理消息的时间 message消息本身接收输入的内容 type输入类型
三、以配置文件方式启动Logstash
3.1 在config目录下新建first-pipeline.conf文件, 内容如下
input{stdin{type stdin}
}output{stdout{codec rubydebug}
}
3.2 然后以配置文件启动:
./logstash -f ../config/first-pipeline.conf然后我们在控制台中输入一条日志消息发现OK
END
