惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

罗磊的独立博客
Forbes - Security
Forbes - Security
Blog — PlanetScale
Blog — PlanetScale
P
Proofpoint News Feed
Apple Machine Learning Research
Apple Machine Learning Research
Google DeepMind News
Google DeepMind News
MyScale Blog
MyScale Blog
GbyAI
GbyAI
B
Blog RSS Feed
S
SegmentFault 最新的问题
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
CTFtime.org: upcoming CTF events
CTFtime.org: upcoming CTF events
小众软件
小众软件
The Last Watchdog
The Last Watchdog
W
WeLiveSecurity
Webroot Blog
Webroot Blog
S
Security @ Cisco Blogs
Hugging Face - Blog
Hugging Face - Blog
Microsoft Security Blog
Microsoft Security Blog
月光博客
月光博客
博客园 - 聂微东
F
Fortinet All Blogs
H
Hacker News: Front Page
A
About on SuperTechFans
Application and Cybersecurity Blog
Application and Cybersecurity Blog
C
Check Point Blog
V
V2EX
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
Y
Y Combinator Blog
酷 壳 – CoolShell
酷 壳 – CoolShell
N
News | PayPal Newsroom
Cisco Talos Blog
Cisco Talos Blog
Exploit-DB.com RSS Feed
Exploit-DB.com RSS Feed
The Cloudflare Blog
P
Privacy & Cybersecurity Law Blog
N
Netflix TechBlog - Medium
C
CXSECURITY Database RSS Feed - CXSecurity.com
Recorded Future
Recorded Future
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
Google DeepMind News
Google DeepMind News
大猫的无限游戏
大猫的无限游戏
美团技术团队
Security Latest
Security Latest
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
I
InfoQ
Recent Announcements
Recent Announcements
The GitHub Blog
The GitHub Blog
Google Online Security Blog
Google Online Security Blog
T
The Exploit Database - CXSecurity.com

Elasticsearch

es 过亿数据查询咨询 DocKit 首个稳定版 v1.0 - 更现代化的开源 NoSQL 桌面客户端 支持 DynamoDB, Elasticsearch 和 OpenSearch 大家好 Manticore Search 团队征询社区意见 欢迎反馈 - V2EX ElasticSearch 查询时如果不确定字段名如何进行搜索? - V2EX es 适合模糊查询吗? - V2EX opensearch data 节点,分片数均匀,磁盘存储不均匀, CPU 有些很高有些很低 - V2EX 关于 Elasticsearch 和 springboot 版本的依赖关系 - V2EX IK 分词器里自带的.dic 文件会被默认加载吗 - V2EX ‌Elasticsearch 怎么检索 oss 里面的文件 - V2EX 大量短记录字段的模糊查询如何实现? es 的分词器如何实现多语种记录的转换和分词呢? - V2EX CVE-2023-31419 es 漏洞除了升级版本还有其他解决方式吗? - V2EX 请教个 es 向量查询的问题 - V2EX ES 新人请教大佬精确查询的问题 - V2EX 一个月写了一个 ES GUI 客户端(笑) - V2EX 现在用 ES 还推荐通过分词插件的方式对 query 和 doc 进行处理吗? - V2EX 旧的 elasticsearch 集群能直接加到新的吗? - V2EX elasticsearch-analysis-ik 远程扩展词典最佳实践是? - V2EX 有没有精通 es 搜索的,可付费咨询 - V2EX es 相似度查询 - V2EX 商城项目中 ES 搜索怎么进行分词优化? - V2EX 基于 casdoor 的 ELK 开源登录认证解决方案: elk-auth-casdoor - V2EX 请教一个 ElasticSearch 相关的业务问题 - V2EX elasticsearch 查询、新增、更新数据都时快时慢怎么办? - V2EX 请教 ES 怎么实现如下聚合查询: 按某关键字分组,每个分组找到最近的一条记录,筛选这条"最近记录"中状态字段为"特定状态" - V2EX 除了 kibana 还有哪些可视化的 es 镜像恢复方案? - V2EX 请教下各位大佬,如何在固定的 index 实施 ILM? - V2EX es8.11.x 是否可以可视化接入 LDAP 呢? - V2EX es 比如京东搜索商品的时候,如果输入是数字直接搜索,会直接按照分词查询还是通过正则等其他方式进行搜索了 - V2EX 请教并发问题(Elasticsearch 请求高峰) - V2EX elasticsearch 从 5.x 版本后就不允许使用 _id 字段进行排序了. 想问问新版本有什么办法? - V2EX ELK 版本问题以及服务器数量问题 - V2EX [求付费技术支持-ES]写入超慢 - V2EX Elasticsearch 新增字段匹配查询的问题 - V2EX 请教一个 elasticsearch 的模糊查询语法 。 - V2EX ES 高频词怎么优化 - V2EX logstash 使用 redis input 插件时,要如何支持 redis cluster? - V2EX Elasticsearch 底层日期存储格式疑问? - V2EX 100G 8000 万条信息全文检索, Elasticsearch 是最优选择吗? - V2EX elasticsearch 首次搜索过慢的问题, 4 千万数据 - V2EX 求教,是否可以把所有高亮的结果合并成一個结果? - V2EX 为什么 ELK 都不提供一个在命令行停止/关机的命令? - V2EX ES 如何让中文词条排序靠前? - V2EX ES 从 File System Cache 到 Segment 大概会耗时多少呢 - V2EX elasticsearch query url path 语法请教 - V2EX elk 后台 discover 怎么展示新增的字段 - V2EX 有关 es 中 scroll 的疑问 - V2EX 请教 Elasticsearch 使用什么 ETL 工具 - V2EX es 插入索引的正常性能应该是多少? - V2EX Elasticsearch 类 top_hits 复杂搜索问题 - V2EX ES 如何实现这种多维度多条件的搜索? elasticsearch 索引备份
关于 elasticsearch 机器的选择 - V2EX
Q9K · 2023-11-29 · via Elasticsearch

这是一个创建于 928 天前的主题,其中的信息可能已经有所发展或是发生改变。

我们小组现在有 2000-2500 的预算购买一个服务器,我们的数据量在 1 亿到 10 亿之间, 我们需要购买一个月的云服务, 最后验收的时候需要达到秒级查询和 1000-10000qps 的要求, 我们看了一下华为云的服务器,这个预算可以让我们买 3 台 4 核 16G 的机器 或者 1 台 8 核 64G 的机器 我们想问一下 我们应该怎么选择 或者大家有没有推荐更好的选择

  • 机器
  • qps
  • 服务器
  • 预算

    29 条回复    2023-12-01 15:07:07 +08:00

    Q9K

    1

    Q9K      2023 年 11 月 29 日

    之所以是 1000-10000qps 的要求,是因为跟最后的评分有关,对我们来说,1000qps 应该也够了

    1018ji

    2

    1018ji      2023 年 11 月 29 日

    在一个生产集群中我们可以对这些节点的职责进行划分,建议集群中设置 3 台以上的节点作为 master 节点,这些节点只负责成为主节点,维护整个集群的状态。再根据数据量设置一批 data 节点,这些节点只负责存储数据,后期提供建立索引和查询索引的服务,这样的话如果用户请求比较频繁,这些节点的压力也会比较大,所以在集群中建议再设置一批 client 节点(node.master: false node.data: false),这些节点只负责处理用户请求,实现请求转发,负载均衡等功能。

    难道你要混部?

    somebody1

    3

    somebody1      2023 年 11 月 29 日

    1000-10000qps 要求非常高了。
    如果是这样的话,数据库就没那么重要了,因为数据库是扛不住这么大的 qps 的。肯定要做分流,缓存之类的。
    这么高的要求,就 2500 块钱,闹呢?

    Q9K

    5

    Q9K      2023 年 11 月 29 日

    @somebody1 我们是打算把大部分数据都放在 es 中,mysql 里只放一些用户相关的数据,qps 的要求主要是对搜索而言的,大佬按照您的意思,2500 一个月可能还是太少了吗预算

    Morriaty

    6

    Morriaty      2023 年 11 月 29 日

    你得说清楚:
    1. 具体是什么查询,单 term query 和复杂的 bool + function_score 查询,差别大了去了
    2. 数据结构是啥样的
    3. 只读还是同时读写
    4. 全靠 es 抗,还是程序层会做缓存

    nicoljiang

    7

    nicoljiang      2023 年 11 月 29 日

    云服务器的话预算明显太低了(单台预算翻倍,然后需要 3 台)。
    因为云服务的高速 IO 磁盘非常非常贵,而 ES 恰好是高性能 IO 场景。

    somebody1

    9

    somebody1      2023 年 11 月 29 日

    @Q9K #5
    你对 1000-10000qps 可能没有概念。我按 1w 给你算,这种 qps ,假设你们用户只要使用就会查询数据库。那你们大概有 10w~100w 的活跃用户,活跃用户!!!,你们的总用户量大概是在数百万到数千万之间,取决于你们业务类型。

    百万千万级的用户,2.5k 买云服务器,你闹呢!这个用户体量,搞出来个新的腾讯云都分分钟的事情。

    Q9K

    10

    Q9K      2023 年 11 月 29 日

    @Morriaty 大佬你好,数据是 openalex 的那种论文数据源数据,每一条数据记录了论文的标题,概要,作者相关信息等等,导入完数据后我们是只读的,查询只是会涉及到按照论文某些字段比如发表时间有 bool 查询,我们测试的时候发现 es 本身会有做缓存的情况,有可能是我们用的 elasticsearch_dsl 做了缓存,我们自己还会用 redis 做一些缓存

    Q9K

    11

    Q9K      2023 年 11 月 29 日   ❤️ 1

    大佬你好,不好意思我没有说清楚我们这个项目背景,我们这个是一个软工的团队大作业,所以并没有那么多用户,对 qps 的要求应该是需要我们最后用 jmeter 做压力测试需要达到一定的指标,怎么说呢,就是我们也不太懂生产方面相关的东西。

    Q9K

    12

    Q9K      2023 年 11 月 29 日

    @Q9K 之所以是 2000-2500 的预算,是因为学院只给发了一个 2000 的优惠券,我们小组 10 个人,我问了一下大家大概就是说能接受一起添点但不是特别多,另外我还想问一下 1000qps 可能大概需要多大的带宽对我们这个场景来说,我们这个项目大概就是说通过关键词查询论文和作者信息等等

    Q9K

    13

    Q9K      2023 年 11 月 29 日

    @1018ji 您好,应该不是,我们都没有听说过混部这个名词

    Q9K

    14

    Q9K      2023 年 11 月 29 日

    @nicoljiang 大佬按照你的意思,就是我们可能需要 3 台 16 核 64G 的服务器吗

    ntedshen

    15

    ntedshen      2023 年 11 月 29 日

    2500 预算如果就个大作业,要不直接装一台算了,esxi 或者物理机都行。。。
    可能都不需要搞破解毕竟你可能都用不满试用期。。。
    但是你租 vps 可是从你购入开始就算钱的,就这数据量可能部署还没完千把块已经下去了。。。

    liuhan907

    16

    liuhan907      2023 年 11 月 29 日

    1000qps ,根据你的查询复杂度和数据量,从一个 4c32g 小机器就能绰绰有余,到一个 10 节点集群都扛不住。一切皆有可能

    blackeeper

    17

    blackeeper      2023 年 11 月 29 日

    业务数据量在 1 亿到 10 亿之间,要达到秒级查询,而且最低 1000qps ,2500 块怕不是在开玩笑?在加两个 0 说不定可以搞定

    给你的建议:鉴于 es 是高性能的 IO Java 应用程序,把 2000 买一台 CPU:内存比是 1:2 的 SSD vps 服务器,运行单节点 es
    验收的时候,不走真实的业务数据的 es 查询,随便造一点数据作为验收就可以了
    另外 500 块,小组的人一起吃个饭,(逃~

    iomect

    18

    iomect      2023 年 11 月 29 日

    按最小的 1000qps 来算 每秒查询 1000 次
    一分钟 6 万次
    一小时 360 万次
    一天 8640 万次
    2.5k 解决这个?

    Q9K

    19

    Q9K      2023 年 11 月 29 日

    @iomect 啊这,还是我们太天真了吗,我们想的是大部分没有那么大的压力,只有压测的时候需要达到这样的要求

    neoblackcap

    20

    neoblackcap      2023 年 11 月 29 日

    @Q9K 一般校园系统,不是什么选课之类的活动,100qps 差不多了。而且很多时候是可以在前端人为控制速率的。还能加队列慢慢处理。
    而且 es 也要看索引以及分词做得好不好,不是说你们上了就能做到 10000qps 。腾讯他们自己分享过,他们的 QQ 登录服务器也是 1000qps 这个量级

    neoblackcap

    21

    neoblackcap      2023 年 11 月 29 日

    @Q9K 当然了,腾讯那边是每台是 1000qps 这样子,不过他们是有做分流

    cctv6

    22

    cctv6      2023 年 11 月 29 日

    如果内存能一次性放下所有的文档索引,磁盘 io 就算不用高配的,也没啥问题。数据量在几亿条,内存应该是够的。
    如果是我的话,大概率会选几个 4C/32G ,700 一块钱/月。3 台正好 2100 。

    我的建议是 ,可以开几个 按量计费/竞价实例 的 ECS 实例,把服务搭起来,数据导入进去,一天时间够测试完了,总费用不会超过 50 块钱。这样测试完了就知道该买什么配置的了。

    cctv6

    23

    cctv6      2023 年 11 月 29 日

    基本上,遇到选机器配置的情况,我都是建议开 按量计费/竞价实例 实际测试一下,什么配置能选,什么配置不能选,基本上测试一下心里就有数了,开按量付费/竞价实例基本上也花不了多少钱。

    nicoljiang

    24

    nicoljiang      2023 年 11 月 29 日

    @Q9K 还得看你查询的复杂度。因为上亿的数据是个非常大的量级,但是看你的数据量也可大可小。但基本上不太可能都是内存可以容纳的级别。

    mjikop1231

    26

    mjikop1231      2023 年 11 月 30 日

    #25 先按查询场景去 banchmark 上对照一下呗,然后抗 1000 qps 你让缓存去抗,es 自己单机是不太好抗的

    Q9K

    28

    Q9K      2023 年 12 月 1 日

    @cdlnls 也想过按量付费,但是担心自己短时间内搞不定就多花很多钱 555

    Q9K

    29

    Q9K      2023 年 12 月 1 日

    @neoblackcap emmm ,我们这个就是学校的软工大作业项目,好多东西也不懂,1000qps 其实对我们来说还不知道意味着生产是怎样的一个级别