惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

Recorded Future
Recorded Future
爱范儿
爱范儿
Y
Y Combinator Blog
cs.CV updates on arXiv.org
cs.CV updates on arXiv.org
腾讯CDC
罗磊的独立博客
阮一峰的网络日志
阮一峰的网络日志
Know Your Adversary
Know Your Adversary
P
Proofpoint News Feed
T
Tailwind CSS Blog
Attack and Defense Labs
Attack and Defense Labs
G
GRAHAM CLULEY
大猫的无限游戏
大猫的无限游戏
博客园 - Franky
C
Cyber Attacks, Cyber Crime and Cyber Security
T
The Blog of Author Tim Ferriss
T
The Exploit Database - CXSecurity.com
博客园 - 叶小钗
Latest news
Latest news
H
Hackread – Cybersecurity News, Data Breaches, AI and More
The Hacker News
The Hacker News
量子位
S
Security @ Cisco Blogs
Microsoft Security Blog
Microsoft Security Blog
Stack Overflow Blog
Stack Overflow Blog
美团技术团队
GbyAI
GbyAI
Google DeepMind News
Google DeepMind News
IT之家
IT之家
U
Unit 42
Project Zero
Project Zero
B
Blog
博客园 - 【当耐特】
D
DataBreaches.Net
CTFtime.org: upcoming CTF events
CTFtime.org: upcoming CTF events
Hugging Face - Blog
Hugging Face - Blog
宝玉的分享
宝玉的分享
The Register - Security
The Register - Security
F
Full Disclosure
Vercel News
Vercel News
NISL@THU
NISL@THU
AWS News Blog
AWS News Blog
MongoDB | Blog
MongoDB | Blog
小众软件
小众软件
T
Threatpost
Martin Fowler
Martin Fowler
Engineering at Meta
Engineering at Meta
T
Tor Project blog
M
MIT News - Artificial intelligence
V
V2EX

博客园 - 岁月无声

Spring Boot(3)---自定义spring boot starter 问题 那就开始吧---写在2014年8月 基于CXF Java 搭建Web Service (Restful Web Service与基于SOAP的Web Service混合方案) 从操作系统机制浅谈服务器及服务平台方案的选择 Node.JS平台上的数据库Redis,MongoDB,HBASE,MySQL Node.JS 模块,包管理与开发 Node.JS进行简单新技术分析及环境搭建 MongoDB (5)---不仅仅是数据库 MongoDB (0)---写在前面 NoSQL--MongoDB选择 云平台综述 物联网(1)----手机NFC识别方案平台 快速建立一个手机网站 基于HTML5手机技术方案(如Phonegap)的调试方案 由NodeJS浅谈无敌的前端开发工程师 PHP调试环境 大话网站---从Hello World到高并发网站 浅谈预演框架选择 最后的绝唱-----Symbian 最新的IDE开发环境搭建(Updated on 2011-03-07)
MongoDB (1)---复制集与sharding安装配置
岁月无声 · 2013-02-22 · via 博客园 - 岁月无声

MongoDB的官方文档相当不错,而且还有中文手册,虽然有些还没有被翻译完整:)建议大家多阅读在线手册,省掉一些网上信息不准确产生的痛苦,呵呵

一,安装:

    在各种操作系统上的安装非常简单,从网上下载相应操作系统上的MongoDB的Binaries然后直接就可以运行,这里不会浪费笔墨,请参考官方中文安装文档http://cn.docs.mongodb.org/manual/tutorial/install-mongodb-on-linux/

   FQA:

    1.注意各操作系统的OS Architecture也就是是多少位的操作系统。要下载对应的MongoDB程序运行文件。Widows上可以用 wmic os get osarchitecture命令查看

二,复制集(Replica Sest):

    a.安装配置:

    创建测试环境下的三个MongoDB的存贮数据的目录:

    mkdir -p /var/database/mongodb/rs0-0 /var/database/mongodb/rs0-1 /var/database/mongodb/rs0-2

    起动三个数据库服务Instances(约定为一个复制集合)   

    mongod --port 27017 --dbpath /var/database/mongodb/rs0-0 --replSet rs0
    mongod --port 27018 --dbpath /var/databasemongodb/rs0-1 --replSet rs0
    mongod --port 27019 --dbpath /var/database/mongodb/rs0-2 --replSet rs0

    用Mongodb的管理客户端,并联接到在27017端口的Mongodb服务,启动后进行复制集操作:

    mongo --port 27017  

    >rsconf = {
           _id: "rs0",
           members: [
                      { _id: 0,
                       host: "<hostname>:27017"
                      }
                    ]
         }

     >rs.initiate( rsconf )

    >rs.add("<hostname>:27018")
    >rs.add("<hostname>:27019")

当然也可以直接用configuration方式创建:

   >config={_id: 'setA', members:[{_id: 0,host:'127.0.0.1:10000'},{_id:1,host:'127.0.0.1:10001'},{_id:2,host:'       127.0.0.1:10002'}]}

  >rs.initiate( rsconf )

    配置完成后,验证查看一下当前复制集的状态:

   >rs.status()

   如果你在代码中使用,在创建MongoDB的对象时,把这三个MongoDB全部做为实例化参数即可,MongoDB的driver会自动判断哪个为Primiary 节点,哪几个为Slave 节点,Driver缺省情况下,会让connection读写同一个节点(一般为Primary),同时也可以设置这个复制集的读写分离,或者设置复制集的读写严格一致性:)。这里提供Java的代码例子:

   MongoClient mongoClient = new MongoClient(Arrays.asList(
   new ServerAddress("localhost", 27017),
   new ServerAddress("localhost", 27018),
   new ServerAddress("localhost", 27019)));

  或者:

   Mongo mongo = new Mongo(Arrays.asList(
   new ServerAddress("localhost", 27017),
   new ServerAddress("localhost", 27018),
   new ServerAddress("localhost", 27019)));

 建议大家使用第一种MongoClient类,因为Mongo类将来会被MongoClient所替代。

    b.FAQ:

    复制集合中的节点选举策略

    复制集中的集点属性。

   对读写分离(Tag定向/非定向),写关注(Write concern)即读写一致性

    c.工作机制:

    MongoDB的客户端识别这个集群的主节点(Primary Node)然后进行读写到主节点上,如果想分离读写,可以进行设置,进行读写分离,但写一直是写到PrimaryNode上,在写到的主节点同时,其它Slave节点通过oplog复制主节点数据,当然,也可以设置Chained Replica 模式,一个slave从主节点复节数据,另一个slave节点从这个slave节点再复制数据,一般建议一个replica set上不少于3台节点,因为如果一台失败,另一台就要作为恢复的数据源,影响正常数据访问,所以至少有三台。

三,分片(Sharding)

   a.安装配置:

   1.首先创建复制集,但每一台数据库要以sharding srever 方式启动。如下:

    $mongod  --shardsvr --port 27017 --dbpath /srv/mongodb/rs0-0 --replSet rs0
    $mongod --shardsvr --port 27018 --dbpath /srv/mongodb/rs0-1 --replSet rs0
    $mongod --shardsvr --port 27019 --dbpath /srv/mongodb/rs0-2 --replSet rs0

    $mongo --port 27017  

    >rsconf = {            _id: "rs0",            members: [ {_id: 0, host: "<hostname>:27017"                       }                     ]          }

     >rs.initiate( rsconf )

    >rs.add("<hostname>:27018")     >rs.add("<hostname>:27019")

    2.再创建同个类似的复制集

     $mongod  --shardsvr --port 37017 --dbpath /srv/mongodb/rs1-0 --replSet rs1     $mongod --shardsvr --port 37018 --dbpath /srv/mongodb/rs1-1 --replSet rs1     $mongod --shardsvr --port   37019 --dbpath /srv/mongodb/rs1-2 --replSet rs1

    $mongo --port 27017 

    >rsconf = {            _id: "rs1",            members: [ {_id: 0, host: "<hostname>:37017"                       }                     ]          }

     >rs.initiate( rsconf )

    >rs.add("<hostname>:37018")     >rs.add("<hostname>:37019")

   3.启动三个配置服务节点Configsvr

从命令行分别执行如下命令,配置三个Configsvr

 mongod.exe --configsvr  --dbpath d:/data/configsvr/r0 --port 40000 --shardsvr

 mongod.exe --configsvr  --dbpath d:/data/configsvr/r0 --port 40001 --shardsvr

 mongod.exe --configsvr  --dbpath d:/data/configsvr/r0 --port 40002 --shardsvr

 4.启动两个路由节点mongos

 mongos.exe --configdb 127.0.0.1:40000,127.0.0.1:40001,127.0.0.1:40002 --port 50000

mongos.exe --configdb  127.0.0.1:40000,127.0.0.1:40001,127.0.0.1:40002 --port 60000

5.配置分片

call mongo.exe 127.0.0.1:50000
MongoDB shell version: 1.8.0
connecting to: 127.0.0.1:50000

> use admin
switched to db admin
> db.runCommand({addshard:"rs0/127.0.0.1:27017,127.0.0.1:27018,127.0.0.1:27019",name:"ShardSetA"})
{ "shardAdded" : "ShardSetA", "ok" : 1 }
> db.runCommand({addshard:"rs1/127.0.0.1:37017,127.0.0.1:37018,127.0.0.1:37019",name:"ShardSetB"})
{ "shardAdded" : "ShardSetB", "ok" : 1 }

集群到此已配置完成。

你可以通过客户端使用这个集群了这里只列出Java客户端代码:

 MongoClient mongoClient = new MongoClient(Arrays.asList(
   new ServerAddress("localhost", 50000),
   new ServerAddress("localhost", 60000)));

这里你会发现用的是两个mongos路由服务器的端口

在用这个集群之前,你要对你打算Sharding的数据库进行enable一下。

用客户端连接Mongos

Mongo --port 50000

>sh.enableSharding("database name")

或者

>db.runCommand( { enableSharding: <database> } )

这样即可。

如果你想对一个大的collection进行sharding可以执行如下命令

sh.shardCollection("people.addresses", { "state": 1, "_id": 1 } )

一切OK可以使用了,不过我拷贝的仓促,有的地方如果有漏copy的地方,大家不要骂我,可以在线问我,也可以加我QQ一齐探讨。

   b.FAQ:

   c.工作机制:

   工作机制,客户端代码,通过mongodb的driver连接mongos(一个connection(一般是源于driver提供的一个连接池)选一个mongos服务)mongos只是一个路由服务器,相当于访问代理

  当一个操作到达mongos时,mongos会根据config server上的信息,把操作转发给对应的mongod服务器,为了提高效率,mongos配置完成后,mongo configservers上的信息已缓存在mongs

 服务器上,所以你此时关掉mongo config server也暂时影响不大,除非集群进行了balance 操作,或者有新的trunck变化。