惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

Y
Y Combinator Blog
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
WordPress大学
WordPress大学
T
Threatpost
K
Kaspersky official blog
Cisco Talos Blog
Cisco Talos Blog
博客园 - 三生石上(FineUI控件)
Vercel News
Vercel News
T
Tenable Blog
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
L
LINUX DO - 热门话题
Scott Helme
Scott Helme
云风的 BLOG
云风的 BLOG
博客园 - Franky
Webroot Blog
Webroot Blog
D
DataBreaches.Net
Stack Overflow Blog
Stack Overflow Blog
MongoDB | Blog
MongoDB | Blog
H
Help Net Security
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
F
Fortinet All Blogs
PCI Perspectives
PCI Perspectives
Google DeepMind News
Google DeepMind News
Microsoft Azure Blog
Microsoft Azure Blog
Blog — PlanetScale
Blog — PlanetScale
P
Proofpoint News Feed
Google DeepMind News
Google DeepMind News
月光博客
月光博客
CTFtime.org: upcoming CTF events
CTFtime.org: upcoming CTF events
Help Net Security
Help Net Security
T
The Blog of Author Tim Ferriss
T
Tailwind CSS Blog
Hugging Face - Blog
Hugging Face - Blog
GbyAI
GbyAI
O
OpenAI News
Martin Fowler
Martin Fowler
W
WeLiveSecurity
C
Cyber Attacks, Cyber Crime and Cyber Security
Project Zero
Project Zero
V
Vulnerabilities – Threatpost
L
LangChain Blog
P
Privacy & Cybersecurity Law Blog
S
Security Affairs
P
Privacy International News Feed
C
Cybersecurity and Infrastructure Security Agency CISA
MyScale Blog
MyScale Blog
NISL@THU
NISL@THU
T
Troy Hunt's Blog
C
Cisco Blogs
IT之家
IT之家

Elasticsearch

es 过亿数据查询咨询 DocKit 首个稳定版 v1.0 - 更现代化的开源 NoSQL 桌面客户端 支持 DynamoDB, Elasticsearch 和 OpenSearch 大家好 Manticore Search 团队征询社区意见 欢迎反馈 - V2EX ElasticSearch 查询时如果不确定字段名如何进行搜索? - V2EX es 适合模糊查询吗? - V2EX opensearch data 节点,分片数均匀,磁盘存储不均匀, CPU 有些很高有些很低 - V2EX 关于 Elasticsearch 和 springboot 版本的依赖关系 - V2EX IK 分词器里自带的.dic 文件会被默认加载吗 - V2EX ‌Elasticsearch 怎么检索 oss 里面的文件 - V2EX 大量短记录字段的模糊查询如何实现? es 的分词器如何实现多语种记录的转换和分词呢? - V2EX CVE-2023-31419 es 漏洞除了升级版本还有其他解决方式吗? - V2EX 请教个 es 向量查询的问题 - V2EX ES 新人请教大佬精确查询的问题 - V2EX 一个月写了一个 ES GUI 客户端(笑) - V2EX 现在用 ES 还推荐通过分词插件的方式对 query 和 doc 进行处理吗? - V2EX 旧的 elasticsearch 集群能直接加到新的吗? - V2EX elasticsearch-analysis-ik 远程扩展词典最佳实践是? - V2EX 有没有精通 es 搜索的,可付费咨询 - V2EX es 相似度查询 - V2EX 商城项目中 ES 搜索怎么进行分词优化? - V2EX 基于 casdoor 的 ELK 开源登录认证解决方案: elk-auth-casdoor - V2EX 请教一个 ElasticSearch 相关的业务问题 - V2EX elasticsearch 查询、新增、更新数据都时快时慢怎么办? - V2EX 请教 ES 怎么实现如下聚合查询: 按某关键字分组,每个分组找到最近的一条记录,筛选这条"最近记录"中状态字段为"特定状态" - V2EX 除了 kibana 还有哪些可视化的 es 镜像恢复方案? - V2EX 请教下各位大佬,如何在固定的 index 实施 ILM? - V2EX es8.11.x 是否可以可视化接入 LDAP 呢? - V2EX es 比如京东搜索商品的时候,如果输入是数字直接搜索,会直接按照分词查询还是通过正则等其他方式进行搜索了 - V2EX 请教并发问题(Elasticsearch 请求高峰) - V2EX 关于 elasticsearch 机器的选择 - V2EX elasticsearch 从 5.x 版本后就不允许使用 _id 字段进行排序了. 想问问新版本有什么办法? - V2EX ELK 版本问题以及服务器数量问题 - V2EX [求付费技术支持-ES]写入超慢 - V2EX Elasticsearch 新增字段匹配查询的问题 - V2EX 请教一个 elasticsearch 的模糊查询语法 。 - V2EX ES 高频词怎么优化 - V2EX Elasticsearch 底层日期存储格式疑问? - V2EX 100G 8000 万条信息全文检索, Elasticsearch 是最优选择吗? - V2EX elasticsearch 首次搜索过慢的问题, 4 千万数据 - V2EX 求教,是否可以把所有高亮的结果合并成一個结果? - V2EX 为什么 ELK 都不提供一个在命令行停止/关机的命令? - V2EX ES 如何让中文词条排序靠前? - V2EX ES 从 File System Cache 到 Segment 大概会耗时多少呢 - V2EX elasticsearch query url path 语法请教 - V2EX elk 后台 discover 怎么展示新增的字段 - V2EX 有关 es 中 scroll 的疑问 - V2EX 请教 Elasticsearch 使用什么 ETL 工具 - V2EX es 插入索引的正常性能应该是多少? - V2EX Elasticsearch 类 top_hits 复杂搜索问题 - V2EX ES 如何实现这种多维度多条件的搜索? elasticsearch 索引备份
logstash 使用 redis input 插件时,要如何支持 redis cluster? - V2EX
pedward · 2023-03-20 · via Elasticsearch

这是一个创建于 1182 天前的主题,其中的信息可能已经有所发展或是发生改变。

看 redis input 插件的文档: 配置 host 的类型是 string,不支持 list 的。 各位有什么好的解决方案

ZhaoUncle

1

ZhaoUncle      2023 年 3 月 20 日

list 类型不是已经支持了么?

pedward

4

pedward      2023 年 3 月 20 日

主要是我想 host 可以配置多个 redis 节点

ZhaoUncle

5

ZhaoUncle      2023 年 3 月 21 日

貌似无解,官方没有支持。估计需要自己去改 redis.rb 的插件代码,将 string 改成 arrary 了

sparkssssssss

6

sparkssssssss      2023 年 3 月 21 日

input 写多个 redis 呢?感觉也是可以满足的吧

pedward

7

pedward      2023 年 3 月 21 日

1.虽然 input 写多个 redis 节点 ,可以拿到 redis 集群中数据,但 log 有许多 MOVED ERROR 错误。
2.因为 logstash 的 input redis 插件是没有具备当一个节点返回一个 MOVED ERROR 通知时,自动去找对应的节点里的槽的能力,所以就有好多 MOVED ERROR 。
3.我现在是写了多个 redis 节点。但我是想有没有一个好的做法(没有个 MOVED ERROR 错误并能支持 redis cluster )@coolloves

pedward

11

pedward      2023 年 3 月 28 日

研究许多天,总结了几个解决方式:
1.还是写多个 redis input 的节点,将 MOVED 的日志过滤,要改动 log4j2.properties 。好处:改动最少,缺点:真正的问题没有解决
log4j2.properties 的具体配置
appender.rolling.filter.threshold.type = ThresholdFilter
appender.rolling.filter.threshold.level = warn
appender.rolling.filter.moved.type = RegexFilter
appender.rolling.filter.moved.regex = .*MOVED.*
appender.rolling.filter.moved.onMatch = DENY
appender.rolling.filter.moved.onMismatch = ACCEPT
2.加一个 redis 代理,我是用 predixy 。在 input 只写 redis 代理的地址,logstash 可以正常获取数据,但是我对 predixy 还是有保留,主要当其中一个 redis 节点挂了,代理会有问题,有部分数据拿不到。predixy 地址: https://github.com/joyieldInc/predixy
3.在 logstash 和 redis cluster 之间加多一个程序,其实主要作用跟 redis 代理差不多。logstash 通过 http input 从程序拿 redis cluster 的数据,缺点:就是太麻烦了,会做多工作
4.自己写一个 logstash 的插件,支持 redis cluster,但前提需要会 ruby ,这个是难度最高的。官网地址: https://www.elastic.co/guide/en/logstash/current/input-new-plugin.html