惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

Microsoft Azure Blog
Microsoft Azure Blog
C
Cisco Blogs
WordPress大学
WordPress大学
H
Hackread – Cybersecurity News, Data Breaches, AI and More
The Cloudflare Blog
小众软件
小众软件
Recent Commits to openclaw:main
Recent Commits to openclaw:main
I
Intezer
Cyberwarzone
Cyberwarzone
T
The Blog of Author Tim Ferriss
博客园 - Franky
F
Fortinet All Blogs
C
Cyber Attacks, Cyber Crime and Cyber Security
G
Google Developers Blog
Recent Announcements
Recent Announcements
I
InfoQ
T
Threat Research - Cisco Blogs
V
V2EX
T
Tenable Blog
H
Help Net Security
Cisco Talos Blog
Cisco Talos Blog
T
Tailwind CSS Blog
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
The GitHub Blog
The GitHub Blog
P
Privacy & Cybersecurity Law Blog
A
Arctic Wolf
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
D
DataBreaches.Net
罗磊的独立博客
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
D
Docker
T
Tor Project blog
Attack and Defense Labs
Attack and Defense Labs
P
Proofpoint News Feed
H
Heimdal Security Blog
Engineering at Meta
Engineering at Meta
雷峰网
雷峰网
Martin Fowler
Martin Fowler
AWS News Blog
AWS News Blog
IT之家
IT之家
Google DeepMind News
Google DeepMind News
NISL@THU
NISL@THU
Google Online Security Blog
Google Online Security Blog
Vercel News
Vercel News
K
KPMG report finds enterprise disconnect between AI and its ROI | CIO
SecWiki News
SecWiki News
GbyAI
GbyAI
P
Proofpoint News Feed
月光博客
月光博客
Schneier on Security
Schneier on Security

Elasticsearch

es 过亿数据查询咨询 DocKit 首个稳定版 v1.0 - 更现代化的开源 NoSQL 桌面客户端 支持 DynamoDB, Elasticsearch 和 OpenSearch 大家好 Manticore Search 团队征询社区意见 欢迎反馈 - V2EX ElasticSearch 查询时如果不确定字段名如何进行搜索? - V2EX es 适合模糊查询吗? - V2EX opensearch data 节点,分片数均匀,磁盘存储不均匀, CPU 有些很高有些很低 - V2EX 关于 Elasticsearch 和 springboot 版本的依赖关系 - V2EX IK 分词器里自带的.dic 文件会被默认加载吗 - V2EX ‌Elasticsearch 怎么检索 oss 里面的文件 - V2EX 大量短记录字段的模糊查询如何实现? es 的分词器如何实现多语种记录的转换和分词呢? - V2EX CVE-2023-31419 es 漏洞除了升级版本还有其他解决方式吗? - V2EX 请教个 es 向量查询的问题 - V2EX ES 新人请教大佬精确查询的问题 - V2EX 一个月写了一个 ES GUI 客户端(笑) - V2EX 现在用 ES 还推荐通过分词插件的方式对 query 和 doc 进行处理吗? - V2EX 旧的 elasticsearch 集群能直接加到新的吗? - V2EX elasticsearch-analysis-ik 远程扩展词典最佳实践是? - V2EX 有没有精通 es 搜索的,可付费咨询 - V2EX es 相似度查询 - V2EX 商城项目中 ES 搜索怎么进行分词优化? - V2EX 基于 casdoor 的 ELK 开源登录认证解决方案: elk-auth-casdoor - V2EX 请教一个 ElasticSearch 相关的业务问题 - V2EX elasticsearch 查询、新增、更新数据都时快时慢怎么办? - V2EX 请教 ES 怎么实现如下聚合查询: 按某关键字分组,每个分组找到最近的一条记录,筛选这条"最近记录"中状态字段为"特定状态" - V2EX 除了 kibana 还有哪些可视化的 es 镜像恢复方案? - V2EX 请教下各位大佬,如何在固定的 index 实施 ILM? - V2EX es8.11.x 是否可以可视化接入 LDAP 呢? - V2EX es 比如京东搜索商品的时候,如果输入是数字直接搜索,会直接按照分词查询还是通过正则等其他方式进行搜索了 - V2EX 请教并发问题(Elasticsearch 请求高峰) - V2EX 关于 elasticsearch 机器的选择 - V2EX elasticsearch 从 5.x 版本后就不允许使用 _id 字段进行排序了. 想问问新版本有什么办法? - V2EX ELK 版本问题以及服务器数量问题 - V2EX [求付费技术支持-ES]写入超慢 - V2EX 请教一个 elasticsearch 的模糊查询语法 。 - V2EX ES 高频词怎么优化 - V2EX logstash 使用 redis input 插件时,要如何支持 redis cluster? - V2EX Elasticsearch 底层日期存储格式疑问? - V2EX 100G 8000 万条信息全文检索, Elasticsearch 是最优选择吗? - V2EX elasticsearch 首次搜索过慢的问题, 4 千万数据 - V2EX 求教,是否可以把所有高亮的结果合并成一個结果? - V2EX 为什么 ELK 都不提供一个在命令行停止/关机的命令? - V2EX ES 如何让中文词条排序靠前? - V2EX ES 从 File System Cache 到 Segment 大概会耗时多少呢 - V2EX elasticsearch query url path 语法请教 - V2EX elk 后台 discover 怎么展示新增的字段 - V2EX 有关 es 中 scroll 的疑问 - V2EX 请教 Elasticsearch 使用什么 ETL 工具 - V2EX es 插入索引的正常性能应该是多少? - V2EX Elasticsearch 类 top_hits 复杂搜索问题 - V2EX ES 如何实现这种多维度多条件的搜索? elasticsearch 索引备份
Elasticsearch 新增字段匹配查询的问题 - V2EX
iian · 2023-10-10 · via Elasticsearch

如果决定使用 kafka -> logstash -> elasticsearch 的方案,结合我以前的经验,大概率是可以在 logstash 这一环节补充账号对应的部门信息的(最近几年没怎么实际用过 logstash 了,不敢打保票)。

先回答你的两种方式:

第一种,多个 input 同时读取,这种是不可行的,对多个 input 来说,它们采集到的数据是相互独立的,没有办法结合。

第二种,es 应该要新增部门字段,但这个字段比较难在写入文档的时候从账号关联到部门,印象里 es 有个 script 脚本功能,但好像都是用在更新、查询的时候,能不能用在文档写入阶段就不懂了(→_→ 有没有大佬有实际应用的案例能长长见识。

最后,关于怎么实现账号找部门:logstash 的插件分三类,input filter output ,可以尝试 logstash-filter-ruby 这个 filter 插件来写 ruby 代码。

1. 如果 input 插件读取到的日志信息是 json 格式的,可以用一下 logstash-filter-json 插件,将内容先解析出来。

2. logstash-filter-ruby 插件中拿到账号,如果可以将账号和部门信息存在文件里,就可以写 ruby 代码读取本地文件,找到部门,将部门字段同时写进 logstash 的 event 对象里。

3. filter 结束,output 环节照常,es 中新增一个部门字段,写入即可。