微网站免费平台,百度竞价推广账户,镇江网站开发公司,网站建设公司 - 百度SkyWalking日志异步采集架构 【重点知识】
1、【Agent】kafka-reporter-plugin-x.x.x.jar包放plugins目录后必走kafka#xff08;kafka没有正确配置就会报错#xff09;
2、【Agent】异步如不开启数据压缩#xff0c;日志数据较大#xff0c;pod多、业务大时容易造成网络… SkyWalking日志异步采集架构 【重点知识】
1、【Agent】kafka-reporter-plugin-x.x.x.jar包放plugins目录后必走kafkakafka没有正确配置就会报错
2、【Agent】异步如不开启数据压缩日志数据较大pod多、业务大时容易造成网络拥堵
3、【Agent】SW_AGENT_INSTANCE_NAME默认UUIDhostname建议调整为nodeippodip
4、【Agent】官方说使用Kafka时skywalking.collector.backend_service参数依然要配置
5、【APM】SkyWalking OAP配置启用kafka并配置好后OAP启动时会自动创建Topic 环境及帮助文件
SkyWalking-OAP官方下载地址
SkyWalking-OAP帮助文档 -- 配置说明
SkyWalking-Agent官方下载地址
SkyWalking-Agent帮助文档 -- 配置说明
Agent is available for JDK 8 - 21
Oracle JDK8u202(Oracle JDK8最后一个非商业版本) 下载地址Oracle JDK8u202
skywalking-OAP服务
启用kafka配置
编辑oap配置文件 ${skywalking-apm}/config/application.yml配置 # line 323 apache-skywalking-apm-9.6.0
kafka-fetcher:selector: ${SW_KAFKA_FETCHER:default}default:# 多个使用逗到分隔bootstrapServers: ${SW_KAFKA_FETCHER_SERVERS:localhost:9092}namespace: ${SW_NAMESPACE:}# 默认3几个消费者就配几partitions: ${SW_KAFKA_FETCHER_PARTITIONS:3}# 不能超过kafka集群机器的数量默认2replicationFactor: ${SW_KAFKA_FETCHER_PARTITIONS_FACTOR:2}enableNativeProtoLog: ${SW_KAFKA_FETCHER_ENABLE_NATIVE_PROTO_LOG:true}enableNativeJsonLog: ${SW_KAFKA_FETCHER_ENABLE_NATIVE_JSON_LOG:true}consumers: ${SW_KAFKA_FETCHER_CONSUMERS:1}kafkaHandlerThreadPoolSize: ${SW_KAFKA_HANDLER_THREAD_POOL_SIZE:-1}kafkaHandlerThreadPoolQueueSize: ${SW_KAFKA_HANDLER_THREAD_POOL_QUEUE_SIZE:-1}
... skywalking-agent服务
经验
-》 kafka-reporter-plugin-x.x.x.jar 这个包放plugins目录后必走kafka如果kafka没有正确配置就会报错
-》 不压缩的情况下一次请求约1KB日志
-》SW_AGENT_INSTANCE_NAME 默认UUIDhostname建议host_ippod_ip
-》使用Kafka时skywalking.collector.backend_service参数依然要配置官方说的
开启Kafka
将${skywalking-agent}/optional-reporter-plugins/kafka-reporter-plugin-x.x.x.jar 拷贝到 ${skywalking-agent}/plugins
开启消息数据压缩
# optional-reporter-plugins下面任选一种lz4、snappy、zstd-jni压缩实现包即可
将${skywalking-agent}/optional-reporter-plugins/zstd-jni-x.x.x.jar 拷贝到 ${skywalking-agent}/plugins
Springboot应用增加jvm参数
应用启动参数,多个kafka地址使用逗号分割 # myApp 改为你的包名
java \
-javaagent:/usr/local/agent/skywalking-agent.jar \
-Dskywalking.agent.service_namemyApp \
-Dskywalking.collector.backend_serviceaigoServer:11800 \
-Dskywalking.plugin.kafka.bootstrap_servers10.81.**.14:9092 \
-Xmx1g \
myApp.jar Tomcat应用增加jvm参数
应用启动参数,多个kafka地址使用逗号分割 # myApp 改为实际应用名
JAVA_OPTS$JAVA_OPTS --javaagent:/usr/local/agent/skywalking-agent.jar \
-Dskywalking.agent.service_namemyApp \
-Dskywalking.collector.backend_serviceaigoServer:11800 \
-Dskywalking.plugin.kafka.bootstrap_servers10.81.**.14:9092 说明
使用Kafka时skywalking.collector.backend_service参数依然要配置官方说的 附件
附件一lz4压缩算法
lz4压缩算法 --- 压缩速度快
GitHub - lz4/lz4: Extremely Fast Compression algorithm
附件二snappy压缩工具
snappy压缩算法 --- 压缩速度快
GitHub - google/snappy: A fast compressor/decompressor
附件三Zstd压缩算法
Zstd压缩算法 --- 压缩比高CPU比较富裕时此算法
GitHub - facebook/zstd: Zstandard - Fast real-time compression algorithm
附件四Kafka可视化管理工具
-) Kafka Map -- 国产、开源通过配置kafka地址实现管理作者使用
kafka-map: 一个美观简洁且强大的kafka web管理工具。
-) kafka CMAK -- 通过配置zookeeper地址实现管理作者使用
GitHub - yahoo/CMAK: CMAK is a tool for managing Apache Kafka clusters
-) kafka-monitor -- 开源
https://github.com/linkedin/kafka-monitor/wiki
-) kafka-eagle -- 商业软件收费
EFAK
等等
附件五客户端配置示例
# 客户端参数两种key形式
# 客户端参数两种key形式
-Dskywalking.agent.service_namesmet-rpc-service
-javaagent:/app/saashealth/skywalking-agent/skywalking-agent-9.2.0/skywalking-agent.jar
-Dskywalking.plugin.kafka.bootstrap_servers10.130.***.92:19092
-Dskywalking.collector.backend_service10.130.***.92:11801
# 大写变量形式
-DSW_AGENT_NAMEsmet-rpc-service \
-javaagent:/app/saashealth/skywalking-agent/skywalking-agent-9.2.0/skywalking-agent.jar \
-DSW_KAFKA_BOOTSTRAP_SERVERS10.130.***.92:19092 \
-DSW_AGENT_COLLECTOR_BACKEND_SERVICES10.130.***.92:11801 \
