惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

酷 壳 – CoolShell
酷 壳 – CoolShell
G
Google Developers Blog
L
LangChain Blog
Y
Y Combinator Blog
Vercel News
Vercel News
WordPress大学
WordPress大学
大猫的无限游戏
大猫的无限游戏
博客园 - Franky
V
Visual Studio Blog
小众软件
小众软件
月光博客
月光博客
A
About on SuperTechFans
H
Hackread – Cybersecurity News, Data Breaches, AI and More
T
The Blog of Author Tim Ferriss
有赞技术团队
有赞技术团队
M
MIT News - Artificial intelligence
阮一峰的网络日志
阮一峰的网络日志
Last Week in AI
Last Week in AI
博客园 - 【当耐特】
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
MongoDB | Blog
MongoDB | Blog
Jina AI
Jina AI
美团技术团队
量子位

Elasticsearch

es 过亿数据查询咨询 DocKit 首个稳定版 v1.0 - 更现代化的开源 NoSQL 桌面客户端 支持 DynamoDB, Elasticsearch 和 OpenSearch 大家好 Manticore Search 团队征询社区意见 欢迎反馈 ElasticSearch 查询时如果不确定字段名如何进行搜索? es 适合模糊查询吗? opensearch data 节点,分片数均匀,磁盘存储不均匀, CPU 有些很高有些很低 关于 Elasticsearch 和 springboot 版本的依赖关系 IK 分词器里自带的.dic 文件会被默认加载吗 ‌Elasticsearch 怎么检索 oss 里面的文件 大量短记录字段的模糊查询如何实现? es 的分词器如何实现多语种记录的转换和分词呢? CVE-2023-31419 es 漏洞除了升级版本还有其他解决方式吗? ES 新人请教大佬精确查询的问题 一个月写了一个 ES GUI 客户端(笑) 现在用 ES 还推荐通过分词插件的方式对 query 和 doc 进行处理吗? 旧的 elasticsearch 集群能直接加到新的吗? elasticsearch-analysis-ik 远程扩展词典最佳实践是? 有没有精通 es 搜索的,可付费咨询 es 相似度查询 商城项目中 ES 搜索怎么进行分词优化? 基于 casdoor 的 ELK 开源登录认证解决方案: elk-auth-casdoor 请教一个 ElasticSearch 相关的业务问题 elasticsearch 查询、新增、更新数据都时快时慢怎么办? 请教 ES 怎么实现如下聚合查询: 按某关键字分组,每个分组找到最近的一条记录,筛选这条"最近记录"中状态字段为"特定状态" 除了 kibana 还有哪些可视化的 es 镜像恢复方案? 请教下各位大佬,如何在固定的 index 实施 ILM? es8.11.x 是否可以可视化接入 LDAP 呢? es 比如京东搜索商品的时候,如果输入是数字直接搜索,会直接按照分词查询还是通过正则等其他方式进行搜索了 请教并发问题(Elasticsearch 请求高峰) 关于 elasticsearch 机器的选择 elasticsearch 从 5.x 版本后就不允许使用 _id 字段进行排序了. 想问问新版本有什么办法?
请教个 es 向量查询的问题
wueryi · 2024-06-19 · via Elasticsearch

背景:

  • 根据一段文案(假设为商品标题)的向量值在 es 中查询出相似的文案(商品) knn_search
  • 向量维度是 1024 维度 余弦函数计算距离
  • 目前已有数据是 600w 左右 整体 es 数据量在 250g 左右
  • es 节点 8c32g *3

问题

目前想前台使用这种向量查询的结果 但是问题是目前单次查询的效率很低基本上得 60s 左右才能返回。

  • 有大佬有经验这种量级的查询大概需要升配到什么配置吗?
  • 或者有什么其他的查询优化方案吗?

其他

  • 为啥非得用 es 不用其他向量库 例如 milvus ?:因为存量数据在这儿,所以暂时没有迁移。
  • 另外我看到的有限的返回结果中,很多文案相近但是不是同一个商品的也会被查询出来,准确率其实有待考证。