惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

Jina AI
Jina AI
博客园 - 【当耐特】
量子位
C
Check Point Blog
博客园 - 叶小钗
博客园 - 聂微东
博客园 - 三生石上(FineUI控件)
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
Hugging Face - Blog
Hugging Face - Blog
美团技术团队
The Cloudflare Blog
T
Tailwind CSS Blog
人人都是产品经理
人人都是产品经理
月光博客
月光博客
V
V2EX
Last Week in AI
Last Week in AI
酷 壳 – CoolShell
酷 壳 – CoolShell
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
IT之家
IT之家
大猫的无限游戏
大猫的无限游戏
有赞技术团队
有赞技术团队
Apple Machine Learning Research
Apple Machine Learning Research
S
SegmentFault 最新的问题
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More

Logstash

使用 logstash 消费 avro 数据出现部分字节被替换为 ef bf bd 导致解析出错。 各位大大,日志监控告警系统,大家有什么好的方案推荐么? logstash 如何将时间戳 UNIX_MS 转化为北京时间? 使用 ELK(Elasticsearch + Logstash + Kibana) 搭建日志集中分析平台实践 logstash+elasticsearch+kibana 问题
请教下这种情况下如何 logstash 处理时间问题?
watara · 2021-08-09 · via Logstash

背景:

因为项目更新,打算弃用原来的日志流架构,换用 logstash 处理日志。为了保持后续流程不动,所以需要 logstash 的输出要保持于之前架构的格式一致。

问题:

日志流需要处理的是 nginx 的日志,日志体中已经有一个时间字段(在这里记作 ST1 吧,原始格式是"23/Jul/2021:14:25:29 +0800"),然后输出的内容中会涉及到时间的字段,格式以及来源分别如下:

字段 1:"2021/7/23 14:25",记录 logstash 处理的时间

字段 2:"20210723",根据 nginx 原始日志时间 ST1 转换出的日期

字段 3:"2021/7/23 14:25",根据 nginx 原始日志时间 ST1 转换出的时间

字段 4:"23/Jul/2021:14:25:29 +0800",原始的 nginx 原始日志时间 ST1

我现在能正确填充字段 4,其他 3 个字段(特别是字段 2 )没有思路,请教有大佬能指点一二么?