惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

Know Your Adversary
Know Your Adversary
小众软件
小众软件
L
LangChain Blog
月光博客
月光博客
博客园 - Franky
Microsoft Azure Blog
Microsoft Azure Blog
Y
Y Combinator Blog
有赞技术团队
有赞技术团队
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
MongoDB | Blog
MongoDB | Blog
Recorded Future
Recorded Future
V
Visual Studio Blog
TaoSecurity Blog
TaoSecurity Blog
S
Schneier on Security
C
Cybersecurity and Infrastructure Security Agency CISA
P
Privacy & Cybersecurity Law Blog
T
Threat Research - Cisco Blogs
D
DataBreaches.Net
L
LINUX DO - 热门话题
C
Check Point Blog
F
Fortinet All Blogs
Hugging Face - Blog
Hugging Face - Blog
The Hacker News
The Hacker News
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
Microsoft Security Blog
Microsoft Security Blog
酷 壳 – CoolShell
酷 壳 – CoolShell
V
V2EX
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
The GitHub Blog
The GitHub Blog
P
Proofpoint News Feed
L
Lohrmann on Cybersecurity
博客园 - 司徒正美
T
Threatpost
P
Palo Alto Networks Blog
A
About on SuperTechFans
Spread Privacy
Spread Privacy
Engineering at Meta
Engineering at Meta
N
News | PayPal Newsroom
T
Tailwind CSS Blog
The Last Watchdog
The Last Watchdog
Blog — PlanetScale
Blog — PlanetScale
A
Arctic Wolf
量子位
Exploit-DB.com RSS Feed
Exploit-DB.com RSS Feed
博客园 - 聂微东
Google Online Security Blog
Google Online Security Blog
Google DeepMind News
Google DeepMind News
www.infosecurity-magazine.com
www.infosecurity-magazine.com
V
Vulnerabilities – Threatpost
H
Hacker News: Front Page

Elasticsearch

es 过亿数据查询咨询 DocKit 首个稳定版 v1.0 - 更现代化的开源 NoSQL 桌面客户端 支持 DynamoDB, Elasticsearch 和 OpenSearch 大家好 Manticore Search 团队征询社区意见 欢迎反馈 - V2EX ElasticSearch 查询时如果不确定字段名如何进行搜索? - V2EX es 适合模糊查询吗? - V2EX opensearch data 节点,分片数均匀,磁盘存储不均匀, CPU 有些很高有些很低 - V2EX 关于 Elasticsearch 和 springboot 版本的依赖关系 - V2EX IK 分词器里自带的.dic 文件会被默认加载吗 - V2EX ‌Elasticsearch 怎么检索 oss 里面的文件 - V2EX 大量短记录字段的模糊查询如何实现? es 的分词器如何实现多语种记录的转换和分词呢? - V2EX CVE-2023-31419 es 漏洞除了升级版本还有其他解决方式吗? - V2EX 请教个 es 向量查询的问题 - V2EX ES 新人请教大佬精确查询的问题 - V2EX 一个月写了一个 ES GUI 客户端(笑) - V2EX 现在用 ES 还推荐通过分词插件的方式对 query 和 doc 进行处理吗? - V2EX 旧的 elasticsearch 集群能直接加到新的吗? - V2EX elasticsearch-analysis-ik 远程扩展词典最佳实践是? - V2EX 有没有精通 es 搜索的,可付费咨询 - V2EX es 相似度查询 - V2EX 商城项目中 ES 搜索怎么进行分词优化? - V2EX 基于 casdoor 的 ELK 开源登录认证解决方案: elk-auth-casdoor - V2EX 请教一个 ElasticSearch 相关的业务问题 - V2EX elasticsearch 查询、新增、更新数据都时快时慢怎么办? - V2EX 请教 ES 怎么实现如下聚合查询: 按某关键字分组,每个分组找到最近的一条记录,筛选这条"最近记录"中状态字段为"特定状态" - V2EX 除了 kibana 还有哪些可视化的 es 镜像恢复方案? - V2EX 请教下各位大佬,如何在固定的 index 实施 ILM? - V2EX es8.11.x 是否可以可视化接入 LDAP 呢? - V2EX es 比如京东搜索商品的时候,如果输入是数字直接搜索,会直接按照分词查询还是通过正则等其他方式进行搜索了 - V2EX 请教并发问题(Elasticsearch 请求高峰) - V2EX 关于 elasticsearch 机器的选择 - V2EX elasticsearch 从 5.x 版本后就不允许使用 _id 字段进行排序了. 想问问新版本有什么办法? - V2EX ELK 版本问题以及服务器数量问题 - V2EX [求付费技术支持-ES]写入超慢 - V2EX Elasticsearch 新增字段匹配查询的问题 - V2EX 请教一个 elasticsearch 的模糊查询语法 。 - V2EX ES 高频词怎么优化 - V2EX logstash 使用 redis input 插件时,要如何支持 redis cluster? - V2EX Elasticsearch 底层日期存储格式疑问? - V2EX 100G 8000 万条信息全文检索, Elasticsearch 是最优选择吗? - V2EX elasticsearch 首次搜索过慢的问题, 4 千万数据 - V2EX 求教,是否可以把所有高亮的结果合并成一個结果? - V2EX 为什么 ELK 都不提供一个在命令行停止/关机的命令? - V2EX ES 如何让中文词条排序靠前? - V2EX ES 从 File System Cache 到 Segment 大概会耗时多少呢 - V2EX elasticsearch query url path 语法请教 - V2EX elk 后台 discover 怎么展示新增的字段 - V2EX 有关 es 中 scroll 的疑问 - V2EX 请教 Elasticsearch 使用什么 ETL 工具 - V2EX Elasticsearch 类 top_hits 复杂搜索问题 - V2EX ES 如何实现这种多维度多条件的搜索? elasticsearch 索引备份
es 插入索引的正常性能应该是多少? - V2EX
winRain · 2022-06-15 · via Elasticsearch

winRain

 

winRain · 2022 年 6 月 15 日 · 7198 次点击

这是一个创建于 1460 天前的主题,其中的信息可能已经有所发展或是发生改变。

背景:由于公司业务需要,引入了 es 。于是,我在公司内网虚拟机( 8c8g ,固态硬盘)上用 docker compose 启动了一个 es 和 kibana ,并给 es 的 jvm 分配了 6g ,并配置了一些 jvm 参数。

当我用 spring data elasticsearch 的 repository saveAll 操作去批量插入 100 条数据时,发现耗时在 200 ms 左右。其实我感觉这个速度跟正常用公有云的 rds 批量插入数据是差不多了。

那么问题来了,es 这个插入速度是正常的吗,是不是还有其他优化参数可以配置,用来提升这个插入性能?如果这样是正常的,那么 es 在插入和查询上相比于 rds ,在实际应用中,优势体现在哪些地方呢?

  • 插入
  • jvm
  • RDS
  • 正常

    11 条回复    2022-06-18 19:58:04 +08:00

    strawberryBug

    2

    strawberryBug      2022 年 6 月 15 日 via Android

    不正常。
    生产单实例平均每秒写入 8k 条,每条约 0.7kb 。

    MIUIOS

    3

    MIUIOS      2022 年 6 月 16 日

    es 和 kibana 两个内存猛兽你全跑了,剩给系统的时间不多了

    billlee

    4

    billlee      2022 年 6 月 16 日

    1. es 需要使用系统 page cache, 一般配置 jvm 堆只能使用一半的系统内存,也就是说 8g 机器配置 4g 的堆,剩下的内存也不能用来跑 kibana 了
    2. 延迟 != 吞吐量,提高并发可以增大吞吐量
    3. 有两个关键参数影响 es 的写入速度:translog 的 flush 间隔和 reindex 间隔
    4. 数据库系统对磁盘 I/O 性能敏感,没有人会在生产环境拿虚拟机来跑 es 或 rdbms 的,即使公有云的服务也是直接在物理机上跑

    mosliu

    5

    mosliu      2022 年 6 月 16 日

    刚才看了眼
    用的 bulkProcessor 240 多条用大约 200ms 吧。
    平均插入的数据单条在 40+ kB
    折合每秒能力在 1k 以上

    分析:这个的内存分配极为不合理啊
    es6G
    kibana 和系统 还有 es 的 cache 一起去分 2G ???

    winRain

    6

    winRain      2022 年 6 月 17 日

    @mosliu 其实我 200 多条的数据插入速度也跟你这个差不多。但是 kibana 和 es cache 分 2G 这个我之前确实不太懂,没考虑到,那如果按这个 8g 的虚拟机来的话,内存应该怎么分配呢

    winRain

    7

    winRain      2022 年 6 月 17 日

    @DonaldY 感谢大佬回复,我看过这篇帖子,也试了里面说的一些方法,但是提升仍然也是不明显

    winRain

    8

    winRain      2022 年 6 月 17 日

    @billlee 我后面也试过公有云的 es ,用的免费版那种,对比下来跟我虚拟机搭的这个环境也差不了多少。在我最刚开始的想法中,es 的 bulkindex 应该是可以类比为 MySQL 的批量插入的,而我用公有云的 rds 批量插入几十条数据,实际可能几十 ms 肯定不到 100 ms ,那么我刚开始觉得,es 既然是专门用来做搜索的,批量插入这种应该不慢,起码我在公有云上随便搭个 redis ,性能也就几十 ms 。所以我一直想说,有没有什么办法可以让 es 的批量插入 几十 条数据的速度也能在几十 ms

    mosliu

    9

    mosliu      2022 年 6 月 17 日

    @winRain 嗯 我这边同时有 10+ 个程序同时在操作 es 吧...

    记得新插入的数据是放在内存里面的。等定时再去持久化。这个时间可配置,我忘了是啥了。

    你这内存分配确实不合理。一般至少留和 heap 一样的内存给 es 。

    我没用过很大的集群。只是十几个节点( 12C ,64G )的小集群的情况 仅供参考

    winRain

    10

    winRain      2022 年 6 月 18 日

    @mosliu 我在另一台 32 g 内存的云服务器也按同样的方式搭了 es 和 kibana ,这样来看的话,应该不存在上面说的没有 os cache 的问题,但速度还是 100 多 ms 。这样的话,抛去硬件因素,es 有没有可能通过一种搭建方式,能够达到 20 多条用 bulk index 也能达到 50 ms 以下的插入速度?

    mosliu

    11

    mosliu      2022 年 6 月 18 日

    开 20 线程 不用 bulk 直接 indexrequest