惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

CTFtime.org: upcoming CTF events
CTFtime.org: upcoming CTF events
V
Visual Studio Blog
阮一峰的网络日志
阮一峰的网络日志
W
WeLiveSecurity
Google DeepMind News
Google DeepMind News
Help Net Security
Help Net Security
WordPress大学
WordPress大学
博客园_首页
大猫的无限游戏
大猫的无限游戏
Jina AI
Jina AI
The Cloudflare Blog
Hacker News - Newest:
Hacker News - Newest: "LLM"
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
T
Tenable Blog
Google Online Security Blog
Google Online Security Blog
PCI Perspectives
PCI Perspectives
博客园 - 三生石上(FineUI控件)
Recent Commits to openclaw:main
Recent Commits to openclaw:main
宝玉的分享
宝玉的分享
T
Tailwind CSS Blog
Forbes - Security
Forbes - Security
C
CERT Recently Published Vulnerability Notes
罗磊的独立博客
Security Latest
Security Latest
小众软件
小众软件
T
The Exploit Database - CXSecurity.com
C
Cisco Blogs
量子位
P
Privacy & Cybersecurity Law Blog
Schneier on Security
Schneier on Security
N
News and Events Feed by Topic
Apple Machine Learning Research
Apple Machine Learning Research
S
SegmentFault 最新的问题
V2EX - 技术
V2EX - 技术
C
Cyber Attacks, Cyber Crime and Cyber Security
Scott Helme
Scott Helme
Cisco Talos Blog
Cisco Talos Blog
S
Schneier on Security
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
V
Vulnerabilities – Threatpost
N
News and Events Feed by Topic
U
Unit 42
腾讯CDC
博客园 - 聂微东
博客园 - 【当耐特】
B
Blog
P
Proofpoint News Feed
B
Blog RSS Feed
www.infosecurity-magazine.com
www.infosecurity-magazine.com

MongoDB

求助,谁会用那个 mongoDB 的云数据库啊,帮看看咋链接报错呢 - V2EX mongodb 自托管到底支持 vector 搜索吗 大佬们,急需请教,遇到大困难 - V2EX 有啥好用的 mongodb GUI 工具 - V2EX 大佬们,大问题请教,内存占满 - V2EX mongodump 出来的文件为什么比数据库本身大了一倍多?数据库大小只有 100GB, dump 出来的 bson 有 242GB,硬盘放不下了,怎么不占用硬盘空间备份数据到其它机器? - V2EX 想请教一下, mongoDB 是否适合海量数据存储 - V2EX MongoDB 如何优化到跟 MySQL 资源占用一样低? - V2EX 新人小白求教 - V2EX mongodb 新手虚心请教大佬们 - V2EX 请教大家一个 mongodb 大数据量下, count 优化的问题 - V2EX MongoDB 的 findOneAndUpdate 并发问题 - V2EX 求助大佬们: Mongo DB Compass 加 socks5 代理连不上 MongoDB Atlas 上的库 - V2EX mongodb 日志文件巨大,怎么读取,以及怎么限制其大小? 江湖救急,冷备数据恢复 - V2EX 感觉 Mongodb 的权限管理有点复杂 - V2EX MongoDB 有什么比较新的入门教程吗? - V2EX 有没有觉得用 typescript 写 mongoose 好蛋疼 - V2EX mongodb 生产环境创建索引 - V2EX 刚用 mongodb,请教下类似 MySQL 的「select ... for update」大伙都是如何替代? - V2EX 求一个好用的 MongoDB 管理工具~ - V2EX mongodb 只剩硬盘上的数据库文件要怎么恢复 - V2EX 用不存在的字段的子字段 lookup 时,分组后该字段值会变成空对象,如何变成 null - V2EX 各位 javaer MongoDB 用的什么 orm - V2EX mongodb lookup 使用请教 - V2EX monodb 内存占满,进程退出 - V2EX 12 月 14 日上海新天地朗廷酒店,我司赞助的 MongoDB Day 上海站,欢迎大家联系我注册报名。 - V2EX mongoose 外键查询问题 - V2EX MongDB upsert 时新增的字段不能更新值 - V2EX 大佬们,请问如何通过 go.mongodb.org 的驱动允许集合分片啊,他的驱动不支持运行脚本吗? - V2EX nodejs mongodb - V2EX MongoDB 什么量子数据库 - V2EX 求助, Failed with error 'aborted',是什么情况,应该怎么处理 - V2EX 请教大佬: mongo4.2 多个事务修改 document 报 WriteConflict - V2EX mongodb 数据全量加载到 redis,怎样提升速度? - V2EX 请教一个查询统计的语句 - V2EX Mongodb 怎样对 key 进行模糊查询? - V2EX 请教 mongo 连接问题 - V2EX Mongodb 字符串转 ObjectId - V2EX 问个增量更新的办法。 - V2EX 求助, MongoDB 中查找如何做到完全匹配 - V2EX MongoDB 事务 + Promise.all(),会有部分数据操作失败。这是为啥? - V2EX mongodb 中的递归查找子目录 - V2EX 求助 启动服务后执行程序就自动退出 - V2EX 列了 MongoDB 的 Golang 使用,注入攻击防范需要注意的点,请大家看看还有其他需要注意的没? - V2EX 求助帖 - V2EX mongodb 查询问题 - V2EX mongodb 连接加上 auth 认证后,数据库切换会花掉 0.5 秒 ,多个数据库间切换时会很慢。
关于远程 mongodb 数据同步到本地 Elasticsearch 问题 - V2EX
nleg · 2024-01-28 · via MongoDB
Mithril

2

Mithril      2024 年 1 月 29 日

MongoDB 有 Change Stream ,你可以理解为 bin log 。实际上是一部分的 oplog 。

他有个 token ,你可以拿到从这个 token 以后的所有数据库变更。

但实际上是基于 oplog 的,你如果太长时间没同步,或者那个 oplog 设置很少,操作太多的话可能就给顶掉了。如果你数据的变更不太多,或者你可以大部分时间实时同步下来,那就没问题。

也有很多方案是基于全量扫描然后自己找变更的,你如果数据量不太大倒还行,数据量大了这么搞相当于增加了额外的负担。

或者你数据库本身设计的很好,每个记录都有变更时间,那你每次只刷上次变更以后的就行,比刷那个 change stream 还要靠谱一些。只是删除需要额外处理,比如并不真的删除数据,而是给个 flag ,或者移到另一个 collection 里,那用这个方法倒也能同步了。