惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

aimingoo的专栏
aimingoo的专栏
Microsoft Security Blog
Microsoft Security Blog
S
SegmentFault 最新的问题
Forbes - Security
Forbes - Security
爱范儿
爱范儿
Stack Overflow Blog
Stack Overflow Blog
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
C
CERT Recently Published Vulnerability Notes
S
Schneier on Security
Scott Helme
Scott Helme
C
Check Point Blog
T
Tenable Blog
博客园 - 三生石上(FineUI控件)
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
L
Lohrmann on Cybersecurity
Google DeepMind News
Google DeepMind News
人人都是产品经理
人人都是产品经理
N
News and Events Feed by Topic
B
Blog
P
Privacy International News Feed
I
Intezer
T
Threatpost
Google DeepMind News
Google DeepMind News
L
LangChain Blog
Last Week in AI
Last Week in AI
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
L
LINUX DO - 最新话题
博客园_首页
H
Hackread – Cybersecurity News, Data Breaches, AI and More
Hacker News - Newest:
Hacker News - Newest: "LLM"
C
Cybersecurity and Infrastructure Security Agency CISA
N
News and Events Feed by Topic
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
N
News | PayPal Newsroom
The Hacker News
The Hacker News
S
Security @ Cisco Blogs
罗磊的独立博客
PCI Perspectives
PCI Perspectives
Y
Y Combinator Blog
Exploit-DB.com RSS Feed
Exploit-DB.com RSS Feed
大猫的无限游戏
大猫的无限游戏
U
Unit 42
Hacker News: Ask HN
Hacker News: Ask HN
D
Docker
AI
AI
小众软件
小众软件
博客园 - 叶小钗
H
Help Net Security
TaoSecurity Blog
TaoSecurity Blog
P
Privacy & Cybersecurity Law Blog

Elasticsearch

es 过亿数据查询咨询 DocKit 首个稳定版 v1.0 - 更现代化的开源 NoSQL 桌面客户端 支持 DynamoDB, Elasticsearch 和 OpenSearch 大家好 Manticore Search 团队征询社区意见 欢迎反馈 - V2EX ElasticSearch 查询时如果不确定字段名如何进行搜索? - V2EX es 适合模糊查询吗? - V2EX opensearch data 节点,分片数均匀,磁盘存储不均匀, CPU 有些很高有些很低 - V2EX 关于 Elasticsearch 和 springboot 版本的依赖关系 - V2EX IK 分词器里自带的.dic 文件会被默认加载吗 - V2EX ‌Elasticsearch 怎么检索 oss 里面的文件 - V2EX 大量短记录字段的模糊查询如何实现? es 的分词器如何实现多语种记录的转换和分词呢? - V2EX CVE-2023-31419 es 漏洞除了升级版本还有其他解决方式吗? - V2EX 请教个 es 向量查询的问题 - V2EX ES 新人请教大佬精确查询的问题 - V2EX 一个月写了一个 ES GUI 客户端(笑) - V2EX 现在用 ES 还推荐通过分词插件的方式对 query 和 doc 进行处理吗? - V2EX 旧的 elasticsearch 集群能直接加到新的吗? - V2EX elasticsearch-analysis-ik 远程扩展词典最佳实践是? - V2EX 有没有精通 es 搜索的,可付费咨询 - V2EX es 相似度查询 - V2EX 商城项目中 ES 搜索怎么进行分词优化? - V2EX 基于 casdoor 的 ELK 开源登录认证解决方案: elk-auth-casdoor - V2EX 请教一个 ElasticSearch 相关的业务问题 - V2EX elasticsearch 查询、新增、更新数据都时快时慢怎么办? - V2EX 请教 ES 怎么实现如下聚合查询: 按某关键字分组,每个分组找到最近的一条记录,筛选这条"最近记录"中状态字段为"特定状态" - V2EX 除了 kibana 还有哪些可视化的 es 镜像恢复方案? - V2EX 请教下各位大佬,如何在固定的 index 实施 ILM? - V2EX es8.11.x 是否可以可视化接入 LDAP 呢? - V2EX es 比如京东搜索商品的时候,如果输入是数字直接搜索,会直接按照分词查询还是通过正则等其他方式进行搜索了 - V2EX 请教并发问题(Elasticsearch 请求高峰) - V2EX 关于 elasticsearch 机器的选择 - V2EX elasticsearch 从 5.x 版本后就不允许使用 _id 字段进行排序了. 想问问新版本有什么办法? - V2EX ELK 版本问题以及服务器数量问题 - V2EX [求付费技术支持-ES]写入超慢 - V2EX Elasticsearch 新增字段匹配查询的问题 - V2EX 请教一个 elasticsearch 的模糊查询语法 。 - V2EX ES 高频词怎么优化 - V2EX logstash 使用 redis input 插件时,要如何支持 redis cluster? - V2EX Elasticsearch 底层日期存储格式疑问? - V2EX 100G 8000 万条信息全文检索, Elasticsearch 是最优选择吗? - V2EX 求教,是否可以把所有高亮的结果合并成一個结果? - V2EX 为什么 ELK 都不提供一个在命令行停止/关机的命令? - V2EX ES 如何让中文词条排序靠前? - V2EX ES 从 File System Cache 到 Segment 大概会耗时多少呢 - V2EX elasticsearch query url path 语法请教 - V2EX elk 后台 discover 怎么展示新增的字段 - V2EX 有关 es 中 scroll 的疑问 - V2EX 请教 Elasticsearch 使用什么 ETL 工具 - V2EX es 插入索引的正常性能应该是多少? - V2EX Elasticsearch 类 top_hits 复杂搜索问题 - V2EX ES 如何实现这种多维度多条件的搜索? elasticsearch 索引备份
elasticsearch 首次搜索过慢的问题, 4 千万数据 - V2EX
tellmeworld · 2022-11-09 · via Elasticsearch

tellmeworld

 

tellmeworld · 2022 年 11 月 9 日 · 7198 次点击

这是一个创建于 1313 天前的主题,其中的信息可能已经有所发展或是发生改变。

版本:elasticsearch 7.8

索引就两个字段,id 和 content ,主要就是实现 content 的模糊搜索

现在单索引 4000 万数据,大小为 35G ,机器内存 16G

刚开始一千多万数据的时候第一次搜索 2-3 秒,后面搜索基本上 1-2 秒

两千多万的时候首次搜索 5-6 秒,后面搜索 2-3 秒

现在三千多万数据了,首次搜索达到了 10 秒,后续搜索 3 秒左右

这种情况怎么做预加载?看手册用 Eagerly load fielddata 和 Eagerly load global ordinals 都行不太通,内存分给 es 就 8G ,content 字段肯定就超过 30G 了,不可能丢到内存里面去。

还有什么办法?