惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

F
Fortinet All Blogs
Attack and Defense Labs
Attack and Defense Labs
V2EX - 技术
V2EX - 技术
O
OpenAI News
S
Secure Thoughts
H
Heimdal Security Blog
Application and Cybersecurity Blog
Application and Cybersecurity Blog
Schneier on Security
Schneier on Security
H
Hacker News: Front Page
S
Security Affairs
Exploit-DB.com RSS Feed
Exploit-DB.com RSS Feed
cs.CV updates on arXiv.org
cs.CV updates on arXiv.org
Vercel News
Vercel News
Microsoft Security Blog
Microsoft Security Blog
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
P
Proofpoint News Feed
The Register - Security
The Register - Security
GbyAI
GbyAI
Cloudbric
Cloudbric
MongoDB | Blog
MongoDB | Blog
D
Darknet – Hacking Tools, Hacker News & Cyber Security
K
Kaspersky official blog
Forbes - Security
Forbes - Security
Y
Y Combinator Blog
C
CXSECURITY Database RSS Feed - CXSecurity.com
Scott Helme
Scott Helme
Hacker News - Newest:
Hacker News - Newest: "LLM"
The Cloudflare Blog
Recorded Future
Recorded Future
人人都是产品经理
人人都是产品经理
Cyberwarzone
Cyberwarzone
C
CERT Recently Published Vulnerability Notes
Webroot Blog
Webroot Blog
C
Cyber Attacks, Cyber Crime and Cyber Security
L
LangChain Blog
T
Tor Project blog
Microsoft Azure Blog
Microsoft Azure Blog
博客园_首页
Hacker News: Ask HN
Hacker News: Ask HN
Blog — PlanetScale
Blog — PlanetScale
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
B
Blog RSS Feed
N
News and Events Feed by Topic
阮一峰的网络日志
阮一峰的网络日志
I
Intezer
V
V2EX
T
Tailwind CSS Blog
SecWiki News
SecWiki News
NISL@THU
NISL@THU
C
Check Point Blog

博客园 - 尚書

类似于GROUP BY SUM() 用于字符串连接的语句 UBUNTU 14.04 INSTALL nsenter UBUNTU 14.04 DOCKER 1.4.1 Redis On Windows Run Redis On Windows C#.NET 加密解密:AES/DES/Base64/RSA/MD5/SHA256 Random Mongodb 更多操作 Mongodb的备份/还原 mongodump/mongorestore itextsharp多语言(中日韩等)填表解决 [C#]HttpWebRequest、HttpWebRespoonse、WebRequest and WebResponse、WebClient差异 [筆記] string.Format 格式整理 微软放出五大语种Windows 8消费者预览版ISO镜像 [MVC] 获取请求时缺少"+"的处理办法 How to fix the bug that missing plus in Request.QueryString/Form [SQL SERVER] 数字补0 [SQL SERVER] 用SQL语句读取Execl数据 [SQL SERVER] 跨库查询--分布式查询 CSharpJExcel Read/Write Excel Install MongoDB as a windows service
Mongo的主从同步,以及备份与恢复
尚書 · 2012-04-03 · via 博客园 - 尚書

官方API:http://www.mongodb.org/pages/viewpage.action?pageId=6750283

主从同步:

1.建立数据库目录


mkdir
 
 /mongodb/masterdb
mkdir
 
/mongodb/
slavedb_1
mkdir
 
/mongodb/
slavedb_2
2.分别启动主从服务器
启动主服务器监听10000端口
.
/bin/mongod
 
-dbpath
/mongodb/masterdb/
 
--port 10000 --master
 
启动两个从服务器  分别用10001 和 10002 端口  也可以使用 master master-> slave 的设置
.
/bin/mongod
 
-dbpath
/mongodb/
slavedb_1
 
--
source
 
localhost:10000 --slave --port 10001
.
/bin/mongod
 
-dbpath
/mongodb/
slavedb_2
 
--
source
 
localhost:10000 --slave --port 10002
#启动后  就会看到有日志 显示从主服务器复制内容了
相关参数:./mongod --help
--autoresync 当发现从服务器的数据不是最新时,开始从主服务器请求同步数据
--slavedelay 同步延迟,单位:秒
3.测试主从
a、在主服务器新建数据库
.
/bin/mongo
 
--port 10001
show dbs
#里面只有系统数据库,同时如果做插入数据的操作 会提示 not master
use testdb
db.blog.save({title:
"new article"
})
b、在从服务器上查看同步数据
.
/bin/mongo
 
--port 10001
MongoDB shell version: 1.6.0
connecting to: 127.0.0.1:10001
/test
> show dbs
admin
local
testdb
> use testdb
switched to db testdb
> db.blog.
find
()
{
"_id"
 
: ObjectId(
"4c776ccce7af0727ce4b6234"
),
"title"
 
:
"new article"
 
} #此为同步过来的数据,测试成功
备份与恢复:
mongodump -h 192.168.0.39:10001 -d csf -o /backup/mongodb
将/tmp/backup 下面的文件导入数据库:
mongorestore -h 192.168.0.39:10001 -d csf -drop --directoryperdb /backup/mongodb/csf/
mongodb提供了两个命令来备份(mongodump )和恢复(mongorestore )数据库。
1、备份数据库
语法:mongodump -h host -d database -o dir_to_store_backup
mongodump -h 127.0.0.1 -d jtxm -o /home/backup/
出现此提示说明备份成功
2、恢复数据库
语法:mongorestore -h 主机 -d 目标库 -drop  --directoryperdb 源文件
【注释】--drop参数,有此参数,则表示,先删除所有的记录,然后恢复。如无此参数,则恢复备份时候的数据,备份之后新增加的数据依然存在;/backup/mongodb则是备份文件存放路径
./mongorestore -h 127.0.0.1 --directoryperdb /data/dump    
3.另外mongodb还提供了mongoexport 和 mongoimport 这两个命令来导出或导入数据,导出的数据是json格式的。也可以实现备份和恢复的功能。
例:

mongoexport -d mixi_top_city_prod -c building_45 -q '{ "uid" : "10832545" }' > mongo_10832545.bson


mongoimport -d mixi_top_city -c building_45 --file mongo_10832545.bson
公共参数:
--port arg    指定端口
-h arg    指定主机
-d arg    指定database
-c arg    指定collection
--dbpath arg    指定mongod的数据库文件所在路径
备份:
bsondump
命令用法:bsondump [options] <bson fileName>
特别参数:
--type arg 输出文件的格式,arg= json,debug
在xp下不能用,没测试
mongodump
命令用法:mongodump [options]
特别参数:
-o arg 输出的"目录",不指定时,默认在执行命令的路径下创建dump目录导出
-q arg json query,此处可通过json查询,有选择性的导出数据
说明:
1.与mongorestore构成一对工具集,即由Mongodump导出的数据可由mongrestore恢复
2.mongodump可用于“热备份”
3.导出的数据是bson格式
性能:数据库中1g的数据导出后变成285M,大概8秒
mongoexport
命令用法:mongoexport [options]
特别参数:
-q arg 查询过滤器,json string
-f args 输出的域,例如-f name,age,address
--csv 输出csv,不写此参数,默认为json
-o arg 输出的文件,默认为stdout
说明:
1.可以导出json或csv格式的文件
2.可以指定查询过滤器或指定输出的域
3.此工具导出的json,csv可能对某些数据类型不兼容,因此可能不能全部数据导出,mongodump就可以全部兼容。
性能:1g数据,约1分40秒,导出大小为380M
恢复:
mongoimport
命令用法:mongoimport [options]
特别参数:
--file args 导入的文件,若无此参数,以stdin为标准
-f args 导入的数据域
--fieldFile arg 带域名称的文件
--ignoreBlanks 在csv,tsv文件中忽略空域
--type arg 导入文件的类型,默认为json,还可以为csv,tsv
--drop 插入前先删除原collection
--upsert 插入或更新已存在的对象
--jsonArray 导入json array,目前每个array的限制是4M
--headerline 只能用于csv,tsv文件中,用第一行作为文件头
说明:
接受json,csv,tsv格式的文件,每行为一个对象
{"somefield" : 123456, "created_at" : {"$date" : 1285679232000}}此格式可解析日期。
性能:导入1g数据,2分20秒,失败33个对象
mongorestore
命令用法:mongorestore [options] [file or dir to restore]
特别参数:
--drop 导入前先drop collection
--objcheck 插入前检测对象的合法性
--filter arg 插入前的过滤器
--indexesLast 插入完数据后再建立索引(此参数可提供更高的性能,建议选用)
说明:
1.与mongodump合用,在restore过程中,索引会重新创造
性能:1g数据,约6分钟
小结:
备份方面:mongodump的速度和压缩率都最好,每秒125M的数据,压缩率达28%
恢复方面:
mongoimport速度较快,但不保证数据完整导入
mongorestore,速度较慢,比mongoimport慢2.5倍左右,但是根据mongodump导出的数据,可以完整导入数据。