惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

N
News and Events Feed by Topic
WordPress大学
WordPress大学
Vercel News
Vercel News
CTFtime.org: upcoming CTF events
CTFtime.org: upcoming CTF events
小众软件
小众软件
L
LangChain Blog
雷峰网
雷峰网
D
DataBreaches.Net
博客园 - 三生石上(FineUI控件)
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
T
Tor Project blog
NISL@THU
NISL@THU
Scott Helme
Scott Helme
量子位
S
Security Affairs
T
Threat Research - Cisco Blogs
博客园_首页
云风的 BLOG
云风的 BLOG
D
Docker
AWS News Blog
AWS News Blog
腾讯CDC
博客园 - 聂微东
The GitHub Blog
The GitHub Blog
U
Unit 42
Recent Announcements
Recent Announcements
Apple Machine Learning Research
Apple Machine Learning Research
G
Google Developers Blog
T
The Exploit Database - CXSecurity.com
MongoDB | Blog
MongoDB | Blog
Stack Overflow Blog
Stack Overflow Blog
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
L
LINUX DO - 热门话题
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
The Last Watchdog
The Last Watchdog
C
Cybersecurity and Infrastructure Security Agency CISA
IT之家
IT之家
W
WeLiveSecurity
P
Privacy & Cybersecurity Law Blog
F
Full Disclosure
L
Lohrmann on Cybersecurity
The Hacker News
The Hacker News
Exploit-DB.com RSS Feed
Exploit-DB.com RSS Feed
Y
Y Combinator Blog
S
Security @ Cisco Blogs
C
Cyber Attacks, Cyber Crime and Cyber Security
C
Check Point Blog
C
CXSECURITY Database RSS Feed - CXSecurity.com
N
News and Events Feed by Topic
PCI Perspectives
PCI Perspectives
I
InfoQ

数据库

SQL 查不到数据,数据却明明存在——MySQL 降序主键与 index_merge intersect 的一次诡异排查 - V2EX 各位现在还手写 sql 吗? [翻译] 为什么我要用 C# 构建数据库引擎 向量数据库的正确用法是什么? 明天就要软考了,我发现了数据库三范式之第一范式好像过时了 WM 到 IOS 用了二十年的数据表格软件 Listpro 准备退休了 异机备份方案 Oracle 裁员裁到大动脉了?官方软件 Oacle SQL Developer 居然出现恶性 BUG 了。 ubuntu 中 DataGrip 从数据表中复制的中文成了乱码 你们在用什么数据库管理软件? 大佬们,生产环境的 Mysql 和 Redis 都是部署在哪里的呢 不知道全国有多少数据系统被 Oracle 数据库的 VARCHAR2(X) 的默认单位给坑了 海量数据访问 刚问 AI 解了一个去年看书的一个疑惑:数据存储选择 lklv, llkv 有没有好用 GUI client 可以方便管理多个 Postgre 数据库 你们现在设计系统数据库的时候还在数据库层面搞外键约束吗? - V2EX 有没有类似阿里云 mysql 数据库这样的数据恢复工具? 刚接触后端不久,帮忙推荐一个免费的数据库可视化工具 2026 年了,公司搞了一大堆没用的 Tracing 数据,存 ES 都快卡炸了 请教 oracle, mysql 不停机同步到达梦数据库实际工作中有什么方案吗 datagrip 切换查询界面的时候,结果集不随着跳转 我发现 TiDB Cloud 比较牛逼啊 请问有做过时序数据库的大佬么? - V2EX 程序员玩具多系列:有什么 navicat/datagrip 替代品推荐 - V2EX grafana 中 dashboard 里的数据显示为空,实际通过 Queries 查询是有数据的? 数据库性能测试的要点有哪些? 2025 年了, select *是否仍然禁止使用? - V2EX AI 给我写了一个 SQL DB 模糊测试工具,求 star [讨论] 大家的项目中会使用外键约束吗? - V2EX 帮忙看看是不是太垃圾,断断续续搞了几个月数据库监控工具,一个用户都没有 - V2EX 有能把 navicat 连接转为 datagrip 的工具吗 内存数据库 h2 与 mysql 兼容性太差了,能把 PostgreSQL 整成单测环境启动吗 [讨论] 免费的数据库工具中大家喜欢哪款 怎么评价 order by rand() limit 1 这条 sql 大佬们,请教一个数据库设计的问题 你们用过数据库联合索引优化排序功能吗 靓仔们, DataGrip 非商用免费了 - V2EX PgSQL 和 Sqlserver 哪个好?哪个资源占用小?哪个性能好速度快? 有没有公开的、靠谱的美妆品牌&产品库数据源 - V2EX 有个关于 mongodb 的问题,求大神来解答一下 sql server where 查询时 字段是 nvarchar 类型的保存的数字 但是可以用 int 类型的数字去匹配,这是什么原理? 你们平时手撸 SQL 多吗?还是 ORM 优先 postgres vs mysql - Why Uber Engineering Switched from Postgres to MySQL 信创, Mongo、redis 可以用到信创项目里吗 团队日志要存几年,怎么找一个便宜又能查的地方? - V2EX 数据表和字段取名太难了,有没有工具可以根据描述生成表名? 不限语言,你觉得最好用的框架和 ORM 是什么? 2025 年了,贵司的可观测技术栈用的是什么?监控怎么存,日志怎么存,追踪怎么存?想知道新的趋势都有什么? 小白求教:图数据库和关系型数据最大的区别是什么 VictoriaMetrics 开发者笔记: Traces 的查询性能与优化倾向 [新手求建议] 结构化数据,波形图为主,用于识别模型训练有没有推荐的数据库? SQL 数据库咨询 DMS 客户端已经很久没有更新了,后面也不会维护 新系统做大数据解析是否需要上 hadoop sql 占位符替换 TUI 工具 pebble kv 数据库,在查询过程中是怎么处理的。(针对存放在不同地方的的数据库) 阿里云的各种云数据库同步功能就是个大坑。。 数据库操作,如何在多个不同的库里筛选数据 关于数据库索引的一个问题:有复合索引建立于列 a,b,c。那么 where a=1 and b like b% and c=3 命中此索引吗? where a=1 and b > 2 and c=3 命中此索引吗? 项目 MYSQL 数据库,要改造成信创国产数据库,有没有改造最小的方案; 有没有异构数据库对比的软件? TIDB 在 LEFT JOIN 时,为什么不使用被关联表的索引,而是全表扫描?
标签系统内容最大标签数放开到很大(比如三万)对性能影响有多大?
shendaowu · 2025-11-19 · via 数据库

目标

为了防止出现 XY 问题,先说一下目标。要是有人感觉我的解决方案不对,可以指出来。

我并不是为了给内容添加标签,而是为了用标签这个技术实现用很多现象(就是一段描述性的没有主语的话,主语就是用户,比如喜欢猫,大五开放性为很高等)来尽量详尽地描述一个人,以更好地实现个性化推荐。现象一般都是用户自己给自己添加的。不过我设想的网站更有特色的地方是推荐方法,而不是一般的推荐内容,虽然也能推荐内容。我假设不同方法依赖的特征可能是有限的,所以至少在知道方法依赖的特征的时候不需要匹配非常多的标签。

类比标签系统中的内容,我设想的系统中有现象箱子的概念。将不同现象放到不同现象箱子中主要是为了方便管理和搜索。比如上一段提到的有助于推荐方法的现象主要放到“我的个人成长现象箱子”中。而有助于推荐 ACG 音乐的现象放到“我喜欢的 ACG 音乐有序列表”中。这二者都保存到一个数据库表中。表模式:(主键,现象箱子 ID ,现象 ID ),然后在(现象 ID ,现象箱子 ID )上建立复合索引。

如果现象箱子的现象最大数量比较小的话,那么相关的现象就必须放到不同的现象箱子中。这样的话搜索的时候会相当麻烦,不光我写代码麻烦,用户理解起来可能也会更麻烦。如果不同的现象箱子有相同的现象的话,维护一致性也是个问题。

我估计一般不会所有人都会在现象箱子中添加三万的现象,至少初期应该不会。

基本可以确定是用 PostgreSQL 实现。

具体搜索方式

我计划一次只搜索五个现象以下可以立即返回结果。至于更多的,则需要排队,在半夜没人的时候集中批量搜索。大概最多不可以超过一百个现象。

还有搜索的时候我会对标签进行或组合,我记得 DeepSeek 好像说过或比与更耗时。就是搜索设置了现象 1 或现象 2 或现象 3 的用户。与组合也会用,还有与和或组合。

为什么不自己去测试性能

我自己试过,好像一万个标签性能也没差到哪去,对我来说可以接受。但是我不知道这里还会有什么其他的问题。要是没人理我我只能自己去测试了。还有自己测试太费劲了。

通过推理来证明我也基本能接受

比如既然 ElasticSearch 能做到,规模大了之后应该也不会是问题吧?不过我问了一下 DeepSeek ,它说 ElasticSearch 对文章长度很长的数据集索引和搜索效率都会降低,最好是拆分成小文档。当然最好还是有谁实际搞过,没遇到什么大问题。

我知道的实现我的目标的据说更好的实现方法

向量数据库。这个应该是需要选出一个子集,因为动态添加维度好像不容易。

位图索引数据库。好像也要选出一个子集,也是因为好像动态添加列不方便。

ElasticSearch 。吃内存。据说至少要 4 GB 到 8 GB 的内存。我初期估计也就能用个 2 GB 到 4 GB 的服务器。

为什么是三万

这节很玄乎,没坚实的根据,没兴趣别看。

我搜过基因最多的生物,其基因大概是三万左右。另外 DeepSeek 说一个复杂系统的子系统的类型的数量一般是存在最优值的,更多更少可能都会降低适应性。然后我感觉三万没准是子系统类型的上限。很二的逻辑是吧?我也感觉很二。我其实也想过怎么才能把现象盒子分层,不过没什么比较好的点子。目前感觉还凑合的方法是将现象箱子相互关联起来。搜索的时候会自动探索相关的现象箱子。不过实现起来没什么头绪。还有就是按身份、目标、难以改变的现象、容易改变的现象给现象箱子分类,并通过这个优化搜索。但是实现还是很麻烦。如果三万没什么特别大的问题我还是想以后再优化。初期先凑合着,反正我设想的这个网站也不一定真有用。