最近上了一个新项目，在这个项目中开发环境中暂时没有基础设施，需要通过原始的方式进行部署和查询日志，因此最近参与了搭建 ELK 的项目，其实这里有一个问题，为啥要使用 ELK ？ 这个技术选型的主要原因有两点，第一点项目成员对于 ELK 都有一定的使用经验，选择 ELK 可以减少项目同学的上手成本，第二点，ELK 是一个成熟的框架，了解其搭建过程也可以帮助更好的了解 ELK 软件之间的交互。
首先有一个问题，ELK 指的是什么？指的是 elastic search(数据存储), logstash（数据过滤）, kibana（数据展示）。这三个便是 ELK 的三部分，当然也会有其他厂商的适配的其他版本，比如 Amazon OpenSeach, 或者。
当然除此之外还有一个向 ELK 发送数据的服务，比如收集日志用的比较多的 filebeat (beats 中的一种，其他 beats 可以参照 beats 的官网 )，我们这边因为只涉及到日志的收集，因此此处采用对应的 filebeat 即可，当然使用其他家的也可以。 基本流程是如上所示
整理流程如上所示。
- 监听文件并发送
- 过滤转换数据
- 保存数据
- 查询 es 数据并展示
解析来我们一起来看下安装的教程 首先需要启动起来后三个部分， 即 logstash, es, 以及 kibana.
本文采用 docker compose 方式启动, 安装 docker compose 参照 docker compose 安装
对应的 docker-compose 文件如下：
docker-compose.yml
1version: '3'
2services:
3 elasticsearch:
4 image: elasticsearch:7.13.0
5 container_name: elasticsearch
6 ports:
7 - "9200:9200"
8 - "9300:9300"
9 volumes:
10 - test_data:/usr/share/elasticsearch/data/
11 - ./elk-config/elasticsearch/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
12 environment:
13 - discovery.type=single-node
14 - http.host=0.0.0.0
15 - transport.host=0.0.0.0
16 - xpack.security.enabled=false
17 - xpack.monitoring.enabled=false
18 - cluster.name=elasticsearch
19 - bootstrap.memory_lock=true
20 networks:
21 - elk
22
23 logstash:
24 image: logstash:7.13.0
25 container_name: logstash
26 ports:
27 - "5044:5044"
28 - "9600:9600"
29 volumes:
30 - ./elk-config/logstash/logstash.conf:/usr/share/logstash/pipeline/logstash.conf
31 - ./elk-config/logstash/logstash.yml:/usr/share/logstash/config/logstash.yml
32 - ls_data:/usr/share/logstash/data
33
34 networks:
35 - elk
36 depends_on:
37 - elasticsearch
38
39 kibana:
40 image: kibana:7.13.0
41 container_name: kibana
42 ports:
43 - "5601:5601"
44 volumes:
45 - ./elk-config/kibana/kibana.yml:/usr/share/kibana/config/kibana.yml
46 - kb_data:/usr/share/kibana/data
47 networks:
48 - elk
49 depends_on:
50 - elasticsearch
51
52networks:
53 elk:
54 driver: bridge
55
56volumes:
57 test_data:
58 ls_data:
59 kb_data:
从上述文件中我们可以看到我们有一些配置文件需要配置下
./elk-config/logstash/logstash.conf
1input {
2 beats{
3 port => 5044
4 }
5}
6
7filter {
8}
9
10output {
11 if "hero-app" in [tags] {
12 elasticsearch {
13 hosts => ["http://elasticsearch:9200"]
14 index => "[hero-app]-%{+YYYY.MM.dd}"
15 user => "elastic"
16 password => "password"
17 }
18 }
19 if "another-hero-app" in [tags] {
20 elasticsearch {
21 hosts => ["http://elasticsearch:9200"]
22 index => "[another-hero-app]-%{+YYYY.MM.dd}"
23 user => "elastic"
24 password => "password"
25 }
26 }
27}
Logstash.yml
1http.host: 0.0.0.0
2xpack.monitoring.elasticsearch.hosts: ["http://elasticsearch:9200"]
elasticsearch.yml
1cluster.name: "elasticsearch"
2network.host: localhost
kibana.yml
1server.name: kibana
2server.host: "0"
3elasticsearch.hosts: [ "http://elasticsearch:9200" ]
4monitoring.ui.container.elasticsearch.enabled: true
然后 我们使用 docker-compose up -d 即可启动 ELK 框架，如果 es 无法启动成功，可以尝试增加 docker 内存，比如 colima 配置如下
1colima start --cpu 4 --memory 8
然后我们继续做后续的步骤， 即 filebeat 的内容，可以从网站中下载对应的文件（注意要下载对应的架构，系统以及和 ELK 版本）
解压之后可以查看对应的配置文件 filebeat.yml
增加监听的文件的配置
1# ============================== Filebeat inputs ===============================
2
3filebeat.inputs:
4
5# Each - is an input. Most options can be set at the input level, so
6# you can use different inputs for various configurations.
7# Below are the input specific configurations.
8- type: log
9 enabled: true
10 paths:
11 - /Users/lihui/Desktop/elk/logs/hero-app-logs/*.log
12 tags: ["hero-app"]
13 multiline:
14 type: pattern
15 pattern: '^[0-9]{2}:[0-9]{2}:[0-9]{2}\.[0-9]{3}'
16 negate: true
17 match: after
18- type: log
19 enabled: true
20 paths:
21 - /Users/lihui/Desktop/elk/logs/another-hero-app-logs/*.log
22 tags: ["another-hero-app"]
23 multiline:
24 type: pattern
25 pattern: '^[0-9]{2}:[0-9]{2}:[0-9]{2}\.[0-9]{3}'
26 negate: true
27 match: after
然后采用下面的命令进行启动监听
1./filebeat -e -c filebeat.yml
而后登入 kibana 页面进行配置对应的信息。 首先解决单节点 warning 问题 kibana -> stack-management -> index management 将所有的 index 中的配置调整为 0
修改为 0 之后既可以表明是单节点，保存健康状态即为 health.
修改 Index Patterns 以显示对应的 es 数据
附录
如何减少对于远程服务器的对于远程服务的侵入呢？ 可以参与 sshfs 挂在远程文件到本地目录
1sshfs root@10.10.10.100:/home/demouser/hero-app/logs/ /Users/local/Desktop/elk/logs/hero-app-logs/
其他情况
如果本地是 mac 不好解决如果做？ 可以采用 brew 安装
1# 安装依赖工具 fuse
2brew install osxfuse
3# 安装远程同步工具 sshfs
4brew install sshfs
brew 对于这两个软件可能存在不兼容的文件，因此可以从官网下载
官网地址：
- osxfuse Home - macFUSE 下载对应的 macFuse 软件
- sshfs Releases · osxfuse/sshfs
参考资料：
- 如何在mac上实现远程挂载方案 | osxfuse & sshfs - 掘金
- 2023最新ELK日志平台（elasticsearch+logstash+kibana）搭建 - 掘金
- ELK搭建（一）：手把手教你搭建分布式微服务日志监控 - 掘金