惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

WordPress大学
WordPress大学
GbyAI
GbyAI
P
Proofpoint News Feed
B
Blog
MyScale Blog
MyScale Blog
V
V2EX
B
Blog RSS Feed
Microsoft Security Blog
Microsoft Security Blog
量子位
Jina AI
Jina AI
博客园 - 叶小钗
Recent Announcements
Recent Announcements
有赞技术团队
有赞技术团队
罗磊的独立博客
L
LangChain Blog
I
InfoQ
云风的 BLOG
云风的 BLOG
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
人人都是产品经理
人人都是产品经理
小众软件
小众软件
V
Visual Studio Blog
月光博客
月光博客
The Cloudflare Blog
雷峰网
雷峰网

祈雨的笔记

安全多方计算MPC spark原理解析 kueue执行源码分析 spark on k8s执行源码分析 spark-operator源码解析 系统压测遇到的缓存击穿问题 我的世界PC与安卓联机 蚂蚁金服流量投放平台的AIG改造 G1大对象致Old区占用率高 日志打印导致接口响应率下跌分析 Groovy加载类导致OOM分析 ERROR日志打印导致CPU满载 记OceanBase死锁超时 应用发版期间服务响应超时 Ark Serverless初探 系统优化复盘一二三 The user specified as a definer does not exist Kong网关初探 API网关选型调研 CPU火焰图常用工具 配置中心选型调研 root操作Nginx导致用户组错误 基于Proxifier使用代理 FastJSON字段智能匹配踩坑 Nacos初探 记一次Nginx服务器CPU满荷载故障 基于券系统分库分表的思考 limit不参与SQL成本计算致索引失效 Linux常用性能监控命令 golang低版本http2偶现400
logstash输入(3)file
祈雨的笔记 · 2019-01-16 · via 祈雨的笔记

描述

监听文件并读取文件内容作为事件。

1
2
3
4
5
6
input{
file{
# path =>"/var/log/access.log"
path =>["/var/log/access.log"]
}
}

参数

参数 类型 是否必须 默认值
close_older number或string_duration 1 hour
delimiter string \n
discover_interval number 15
exclude array
file_sort_by string last_modified
file_sort_direction string asc
ignore_older number或string_duration
mode string tail
path array
sincedb_write_interval number或string_duration 15 seconds
start_position string end
stat_interval number或string_duration 1 second

close_older

一个已经读取中的文件,如果超过这个值的时间内没有更新内容,就关闭读取它的文件句柄。默认是 3600 秒,即一小时。当检测到文件有新数据时则重新打开句柄。

delimiter

设置新行分隔符,默认为”\n”。

discover_interval

logstash每隔多久去检查一次被监听的path下是否有新文件,值为数字表示stat_interval的倍数。例如stat_interval是500ms,则每15*500毫秒(7.5秒)检查是否有新文件。

exclude

排除不想监听的文件,此处可以使用匹配模式,如:

1
exclude => "*.gz"

file_sort_by

值域:[last_modified, path]

监听文件的排序属性,logstash以该排序方式处理监听文件。

file_sort_direction

值域:[asc, desc]

监听文件的排序方式,logstash以该排序方式处理监听文件。

ignore_older

在每次检查文件列表的时候,如果一个文件的最后修改时间早于该值,则忽略该文件。

mode

值域:[tail, read]

  • tail: 读取监听文件的新增内容,EOF不起作用;
  • read: 读取监听文件内容,EOF作为每个事件的分隔符;

path

读取的监听文件的绝对路径,可以使用匹配模式,例如/var/log/*.log/var/log/**/*.log

sincedb_write_interval

监听日志文件的当前位置更新到数据库的频率(以秒为单位)。

start_position

值域:[beginning, end]
logstash从什么位置开始读取文件数据,默认是结束位置,也就是说 logstash 进程会以类似tail -F的形式运行。如果你是要导入原有数据,把这个设定改成”beginning”。

stat_interval

每隔多久检查一次被监听文件状态(是否有更新),默认是1秒。