NoSQL之MongoDB

mongodb介绍
mongodb安装
连接mongodb
mongodb用户管理
mongodb创建集合、数据管理
php的mongodb扩展
php的mongo扩展
mongodb副本集介绍
mongodb副本集搭建
mongodb副本集测试
mongodb分片介绍
mongodb分片搭建
mongodb分片测试
mongodb备份恢复

1. mongodb介绍

文档型数据库
官网www.mongodb.com，当前最新版3.4
C++编写，基于分布式的，属于NoSQL的一种
在NoSQL中是最像关系型数据库的
MongoDB 将数据存储为一个文档，数据结构由键值(key=>value)对组成。MongoDB 文档类似于 JSON 对象。字段值可以包含其他文档、数组及文档数组。
关于JSON
http://www.w3school.com.cn/json/index.asp
因为基于分布式，所以很容易扩展
MongoDB和关系型数据库对比
关系型数据库数据结构
MongoDB数据结构

2. mongodb安装

1epel自带的mongodb版本为2.6，我们需要安装3.4版本
2 官方安装文档https://docs.mongodb.com/manual/tutorial/install-mongodb-on-red-hat/
3 cd /etc/yum.repos.d/
4 vim mongodb-org-3.4.repo//加入如下内容
5[mongodb-org-3.4]
6name=MongoDB Repository
7baseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/3.4/x86_64/
8gpgcheck=1
9enabled=1
10gpgkey=https://www.mongodb.org/static/pgp/server-3.4.asc

yum list |grep mongodb //可以看到mongodb相关的rpm包
yum install -y mongodb-org
systemctl start mongod
ps aux |grep mongo
netstat -ntlp |grep mongo
yum -y install net-tools

3. 连接mongodb

在本机可以直接运行命令mongo进入到mongodb shell中
如果mongodb监听端口并不是默认的27017，则在连接的时候需要加--port 选项，例如
mongo --port 27018
连接远程mongodb，需要加--host，例如
mongo --host 127.0.0.1
如果设置了验证，则在连接的时候需要带用户名和密码
mongo -uusername -ppasswd --authenticationDatabase db #这个和MySQL挺像
name：用户名 passwd：密码 db库名

4. mongodb用户管理

创建用户是针对一个库，登录的时候也是针对这个库来登录

1use admin//需要切换到admin库
2db.createUser( { user: "admin", customData: {description: "superuser"}, pwd: "admin122", roles: [ { role: "root", db: "admin" } ] } )
3user指定用户，customData为说明字段，可以省略，pwd为密码，roles指定用户的角色，db指定库名 
4use admin //切换到admin库
5db.system.users.find()  //列出所有用户，需要切换到admin库
6show users  //查看当前库下所有的用户
7db.dropUser('admin') //删除用户
8若要用户生效，还需要编辑启动脚本vim /usr/lib/systemd/system/mongod.service,在OPTIONS=后面增--auth
9重启服务systemctl restart mongod
10mongo -u "admin" -p "admin122" --authenticationDatabase "admin"
11use db1
12db.createUser( { user: "test1", pwd: "123aaa", roles: [ { role: "readWrite", db: "db1" }, {role: "read", db: "db2" } ] } )
13 test1用户对db1库读写，对db2库只读。
14 之所以先use db1,表示用户在 db1 库中创建，就一定要db1库验证身份，即用户的信息跟随随数据库。
15 比如上述 test1虽然有 db2 库的读取权限，但是一定要先在db1库进行身份验证，直接访问会提示验证失败。
16 use db2
17 db.auth("test1", "123aaa")

用户角色

1Read：允许用户读取指定数据库
2readWrite：允许用户读写指定数据库
3dbAdmin：允许用户在指定数据库中执行管理函数，如索引创建、删除，查看统计或访问system.profile
4userAdmin：允许用户向system.users集合写入，可以找指定数据库里创建、删除和管理用户
5clusterAdmin：只在admin数据库中可用，赋予用户所有分片和复制集相关函数的管理权限。
6readAnyDatabase：只在admin数据库中可用，赋予用户所有数据库的读权限
7readWriteAnyDatabase：只在admin数据库中可用，赋予用户所有数据库的读写权限
8userAdminAnyDatabase：只在admin数据库中可用，赋予用户所有数据库的userAdmin权限
9dbAdminAnyDatabase：只在admin数据库中可用，赋予用户所有数据库的dbAdmin权限。
10root：只在admin数据库中可用。超级账号，超级权限

MongoDB库管理

1db.version()  //查看版本
2use userdb  //如果库存在就切换，不存在就创建
3show dbs //查看库，此时userdb并没有出现，这是因为该库是空的，还没有任何集合，只需要创建一个集合就能看到了 
4db.createCollection('clo1') //创建集合clo1，在当前库下面创建
5db.dropDatabase() //删除当前库，要想删除某个库，必须切换到那个库下
6db.stats()  //查看当前库的信息
7db.serverStatus()   //查看mongodb服务器的状态

5. mongodb创建集合、数据管理

1db.createCollection("mycol", { capped : true, size : 6142800, max : 10000 } )  //语法：db.createCollection(name,options)
2name就是集合的名字，options可选，用来配置集合的参数，参数如下
3capped true/false （可选）如果为true，则启用封顶集合。封顶集合是固定大小的集合，当它达到其最大大小，会自动覆盖最早的条目。如果指定true，则也需要指定尺寸参数。
4autoindexID  true/false （可选）如果为true，自动创建索引_id字段的默认值是false。
5size （可选）指定最大大小字节封顶集合。如果封顶如果是 true，那么你还需要指定这个字段。单位B
6max （可选）指定封顶集合允许在文件的最大数量。
7
8
9show collections //查看集合，或者使用show  tables
10db.Account.insert({AccountID:1,UserName:"123",password:"123456"})  //如果集合不存在，直接插入数据，则mongodb会自动创建集合
11db.Account.update({AccountID:1},{"$set":{"Age":20}}) //更新
12db.Account.find()   //查看所有文档
13db.Account.find({AccountID:1})   //根据条件查询
14db.Account.remove({AccountID:1})  //根据条件删除
15db.Account.drop() //删除所有文档，即删除集合
16use dbname  //先进入对应的库
17db.printCollectionStats()  // 然后查看集合状态

6. php的mongodb扩展

第一种方法

1cd /usr/local/src/
2git clone https://github.com/mongodb/mongo-php-driver
3cd mongo-php-driver
4git submodule update --init
5/usr/local/php/bin/phpize
6./configure --with-php-config=/usr/local/php/bin/php-config
7make && make install
8vi /usr/local/php/etc/php.ini //增加 extension = mongodb.so
9/usr/local/php/bin/php -m

第二种方法

1到pecl官网上下载mongo的扩展源码包
2cd /usr/local/src/
3wget https://pecl.php.net/get/mongo-1.6.16.tgz 
4tar zxvf mongodb-1.6.16.tgz
5cd mongodb-1.6.16
6/usr/local/php/bin/phpize
7./configure --with-php-config=/usr/local/php/bin/php-config
8make && make install
9vi /usr/local/php/etc/php.ini //增加 extension = mongo.so
10/usr/local/php/bin/php -m

7. php的mongo扩展

1到pecl官网上下载mongo的扩展源码包
2cd /usr/local/src/
3wget https://pecl.php.net/get/mongo-1.6.16.tgz 
4tar zxvf mongodb-1.6.16.tgz
5cd mongodb-1.6.16
6/usr/local/php/bin/phpize
7./configure --with-php-config=/usr/local/php/bin/php-config
8make && make install
9vi /usr/local/php/etc/php.ini //增加 extension = mongo.so
10/usr/local/php/bin/php -m

测试momgo扩展

1参考文档 https://docs.mongodb.com/ecosystem/drivers/php/
2 http://www.runoob.com/mongodb/mongodb-php.html
3 vi /usr/local/apache2/htdocs/1.php //增加
4 <?php
5$m = new MongoClient(); // 连接
6$db = $m->test; // 获取名称为 "test" 的数据库
7$collection = $db->createCollection("runoob");
8echo "集合创建成功";
9?>
10 curl  localhost/1.php

8. mongodb副本集介绍

早期版本使用master-slave，一主一从和MySQL类似，但slave在此架构中为只读，当主库宕机后，从库不能自动切换为主
目前已经淘汰master-slave模式，改为副本集，这种模式下有一个主(primary)，和多个从(secondary)，只读。支持给它们设置权重，当主宕掉后，权重最高的从切换为主
在此架构中还可以建立一个仲裁(arbiter)的角色，它只负责裁决，而不存储数据
再此架构中读写数据都是在主上，要想实现负载均衡的目的需要手动指定读库的目标server

9. mongodb副本集搭建

1三台机器： 192.168.133.130(primary)   192.168.133.132(secondary) 192.168.133.133(secondary)
2编辑三台机器的配置文件vim /etc/momgod.conf，更改或增加：
3replication://把此行前面的#删除
4##oplog大小
5oplogSizeMB: 20//前面有两个空格
6##复制集名称
7replSetName: aminglinux//前面有两个空格
8示例：
9replication:
10   oplogSizeMB: 20
11   replSetName: aminglinux
12分别重启三台机器
13iptables关闭否则阻断通讯很可能不成功
14连接主，在主上运行命令mongo
15>use admin
16>config={_id:"aminglinux",members:[{_id:0,host:"192.168.133.130:27017"},{_id:1,host:"192.168.133.132:27017"},{_id:2,host:"192.168.133.133:27017"}]}
17>rs.initiate(config)
18 rs.status() //查看状态
19 如果两个从上的状态为"stateStr" : "STARTUP", 则需要进行如下操作
20> var config={_id:"aminglinux",members:[{_id:0,host:"192.168.133.130:27017"},{_id:1,host:"192.168.133.132:27017"},{_id:2,host:"192.168.133.133:27017"}]}
21 >rs.reconfig(config)
22 此时再次查看rs.status()会发现从的状态变为SECONDARY
23 哪台服务器做这个操作随后会自动成为主（）

10. mongodb副本集测试

1主上建库，建集合
2>use mydb
3>db.acc.insert({AccountID:1,UserName:"123",password:"123456"})
4>show dbs
5从上查看
6>show dbs   
7若出现错误Error: listDatabases failed:{ "note" : "from execCommand", "ok" : 0, "errmsg" : "not master" }，需要执行
8>rs.slaveok() 
9默认三台机器权重都为1，如果任何一个权重设置为比其他的高，则该台机器马上切换为primary角色，所以我们预设三台机器的权重分别为：130:3,132:2,133:1
10在主上执行
11cfg = rs.conf()
12cfg.members[0].priority = 3
13cfg.members[1].priority = 2
14cfg.members[2].priority = 1
15rs.reconfig(cfg)
16这样的话，第二个节点将会成为候选主节点。
17主上执行 iptables -I INPUT -p tcp --dport 27017 -j DROP

11. mongodb分片介绍

分片就是将数据库进行拆分，将大型集合分隔到不同服务器上。比如，本来100G的数据，可以分割成10份存储到10台服务器上，这样每台机器只有10G的数据。
通过一个mongos的进程（路由）实现分片后的数据存储与访问，也就是说mongos是整个分片架构的核心，对客户端而言是不知道是否有分片的，客户端只需要把读写操作转达给mongos即可。
虽然分片会把数据分隔到很多台服务器上，但是每一个节点都是需要有一个备用角色的，这样能保证数据的高可用。
当系统需要更多空间或者资源的时候，分片可以让我们按需方便扩展，只需要把mongodb服务的机器加入到分片集群中即可

mongos: 数据库集群请求的入口，所有的请求都通过mongos进行协调，不需要在应用程序添加一个路由选择器，mongos自己就是一个请求分发中心，它负责把对应的数据请求请求转发到对应的shard服务器上。在生产环境通常有多mongos作为请求的入口，防止其中一个挂掉所有的mongodb请求都没有办法操作。
config server: 配置服务器，存储所有数据库元信息（路由、分片）的配置。mongos本身没有物理存储分片服务器和数据路由信息，只是缓存在内存里，配置服务器则实际存储这些数据。mongos第一次启动或者关掉重启就会从 config server 加载配置信息，以后如果配置服务器信息变化会通知到所有的 mongos 更新自己的状态，这样 mongos 就能继续准确路由。在生产环境通常有多个 config server 配置服务器，因为它存储了分片路由的元数据，防止数据丢失！
shard: 存储了一个集合部分数据的MongoDB实例，每个分片是单独的mongodb服务或者副本集，在生产环境中，所有的分片都应该是副本集。

12. mongodb分片搭建

分片搭建 -服务器规划

1三台机器 A B C
2A搭建：mongos、config server、副本集1主节点、副本集2仲裁、副本集3从节点
3B搭建：mongos、config server、副本集1从节点、副本集2主节点、副本集3仲裁
4C搭建：mongos、config server、副本集1仲裁、副本集2从节点、副本集3主节点
5端口分配：mongos 20000、config 21000、副本集1 27001、副本集2 27002、副本集3 27003
6三台机器全部关闭firewalld服务和selinux，或者增加对应端口的规则

分片搭建 – 创建目录

1分别在三台机器上创建各个角色所需要的目录
2mkdir -p /data/mongodb/mongos/log
3mkdir -p /data/mongodb/config/{data,log}
4mkdir -p /data/mongodb/shard1/{data,log}
5mkdir -p /data/mongodb/shard2/{data,log}
6mkdir -p /data/mongodb/shard3/{data,log}

分片搭建–config server配置

1mongodb3.4版本以后需要对config server创建副本集
2 添加配置文件(三台机器都操作)
3 mkdir /etc/mongod/
4 vim /etc/mongod/config.conf //加入如下内容
5pidfilepath = /var/run/mongodb/configsrv.pid
6dbpath = /data/mongodb/config/data
7logpath = /data/mongodb/config/log/congigsrv.log
8logappend = true
9bind_ip = 0.0.0.0
10port = 21000
11fork = true
12configsvr = true #declare this is a config db of a cluster;
13replSet=configs #副本集名称
14maxConns=20000 #设置最大连接数

分片搭建–config server配置

1启动三台机器的config server
2mongod -f /etc/mongod/config.conf  //三台机器都要操作
3登录任意一台机器的21000端口，初始化副本集
4mongo --port 21000
5config = { _id: "configs", members: [ {_id : 0, host : "192.168.133.130:21000"},{_id : 1, host : "192.168.133.132:21000"},{_id : 2, host : "192.168.133.133:21000"}] }
6rs.initiate(config)
7{ "ok" : 1 }

分片搭建–分片配置

1添加配置文件(三台机器都操作)
2vim /etc/mongod/shard1.conf //加入如下内容
3pidfilepath = /var/run/mongodb/shard1.pid
4dbpath = /data/mongodb/shard1/data
5logpath = /data/mongodb/shard1/log/shard1.log
6logappend = true
7bind_ip = 0.0.0.0
8port = 27001
9fork = true
10httpinterface=true #打开web监控
11rest=true
12replSet=shard1 #副本集名称
13shardsvr = true #declare this is a shard db of a cluster;
14maxConns=20000 #设置最大连接数
15
16添加配置文件(三台机器都操作)
17vim /etc/mongod/shard2.conf //加入如下内容
18pidfilepath = /var/run/mongodb/shard2.pid
19dbpath = /data/mongodb/shard2/data
20logpath = /data/mongodb/shard2/log/shard2.log
21logappend = true
22bind_ip = 0.0.0.0
23port = 27002
24fork = true
25httpinterface=true #打开web监控
26rest=true
27replSet=shard2 #副本集名称
28shardsvr = true #declare this is a shard db of a cluster;
29maxConns=20000 #设置最大连接数
30
31添加配置文件(三台机器都操作)
32vim /etc/mongod/shard3.conf //加入如下内容
33pidfilepath = /var/run/mongodb/shard3.pid
34dbpath = /data/mongodb/shard3/data
35logpath = /data/mongodb/shard3/log/shard3.log
36logappend = true
37bind_ip = 0.0.0.0
38port = 27003
39fork = true
40httpinterface=true #打开web监控
41rest=true
42replSet=shard3 #副本集名称
43shardsvr = true #declare this is a shard db of a cluster;
44maxConns=20000 #设置最大连接数

分片搭建–分片配置启动

1启动shard1
2mongod -f /etc/mongod/shard1.conf //三台机器都要操作
3登录130或者132任何一台机器的27001端口初始化副本集，133之所以不行，
4是因为shard1我们把133这台机器的27001端口作为了仲裁节点
5mongo --port 27001
6use admin
7config = { _id: "shard1", members: [ {_id : 0, host : "192.168.133.130:27001"}, {_id: 1,host : "192.168.133.132:27001"},{_id : 2, host : "192.168.133.133:27001",arbiterOnly:true}] }
8rs.initiate(config)
9
10启动shard2
11mongod -f /etc/mongod/shard2.conf //三台机器都要操作
12登录132或者133任何一台机器的27002端口初始化副本集，130之所以不行，
13是因为shard2我们把130这台机器的27002端口作为了仲裁节点
14mongo --port 27002
15use admin
16config = { _id: "shard2", members: [ {_id : 0, host : "192.168.133.130:27002" ,arbiterOnly:true},{_id : 1, host : "192.168.133.132:27002"},{_id : 2, host : "192.168.133.133:27002"}] }
17rs.initiate(config)
18
19启动shard3
20mongod -f /etc/mongod/shard3.conf //三台机器都要操作
21登录130或者133任何一台机器的27003端口初始化副本集，132之所以不行，
22是因为shard3我们把132这台机器的27003端口作为了仲裁节点
23mongo --port 27003
24use admin
25config = { _id: "shard3", members: [ {_id : 0, host : "192.168.133.130:27003"},  {_id : 1, host : "192.168.133.132:27003", arbiterOnly:true}, {_id : 2, host : "192.168.133.133:27003"}] }
26rs.initiate(config)

分片搭建–配置路由服务器

1添加配置文件(三台机器都操作)
2vim /etc/mongod/mongos.conf //加入如下内容
3pidfilepath = /var/run/mongodb/mongos.pid
4logpath = /data/mongodb/mongos/log/mongos.log
5logappend = true
6bind_ip = 0.0.0.0
7port = 20000
8fork = true
9configdb = configs/192.168.133.130:21000, 192.168.133.132:21000, 192.168.133.133:21000 
10#监听的配置服务器,只能有1个或者3个，configs为配置服务器的副本集名字
11maxConns=20000 #设置最大连接数
12启动mongos服务，注意命令，前面都是mongod，这里是mongos
13mongos -f /etc/mongod/mongos.conf

分片搭建–启用分片

1登录任何一台20000端口
2 mongo --port 20000  
3 把所有分片和路由器串联
4sh.addShard("shard1/192.168.133.130:27001,192.168.133.132:27001,192.168.133.133:27001")
5sh.addShard("shard2/192.168.133.130:27002,192.168.133.132:27002,192.168.133.133:27002")
6sh.addShard("shard3/192.168.133.130:27003,192.168.133.132:27003,192.168.133.133:27003")
7查看集群状态
8sh.status()

13. mongodb分片测试

登录任何一台20000端口
mongo --port 20000
use admin
db.runCommand({ enablesharding : "testdb"}) 或者
sh.enableSharding("testdb") //指定要分片的数据库
db.runCommand( { shardcollection : "testdb.table1",key : {id: 1} } ) 或者
sh.shardCollection("testdb.table1",{"id":1} ) //#指定数据库里需要分片的集合和片键
use testdb
for (var i = 1; i <= 10000; i++) db.table1.save({id:i,"test1":"testval1"})//插入测试数据
db.table1.stats()//查看table1状态

14. mongodb备份恢复

MongoDB备份

1备份指定库
2 mongodump --host 127.0.0.1 --port 20000  -d mydb -o /tmp/mongobak
3 它会在/tmp/目录下面生成一个mydb的目录
4 备份所有库
5 mongodump --host 127.0.0.1 --port 20000 -o /tmp/mongobak/alldatabase
6 指定备份集合
7 mongodump --host 127.0.0.1 --port 20000 -d mydb -c c1 -o /tmp/mongobak/
8 它依然会生成mydb目录，再在这目录下面生成两个文件
9 导出集合为json文件
10 mongoexport --host 127.0.0.1 --port 20000 -d mydb -c c1 -o /tmp/mydb2/1.json

MongoDB恢复

1恢复所有库
2 mongorestore -h 127.0.0.1 --port 20000 --drop dir/ //其中dir是备份所有库的目录名字，
3 其中--drop可选，意思是当恢复之前先把之前的数据删除，不建议使用
4 恢复指定库
5 mongorestore -d mydb dir/  //-d跟要恢复的库名字，dir就是该库备份时所在的目录
6 恢复集合
7mongorestore -d mydb -c testc dir/mydb/testc.bson // -c后面跟要恢复的集合名字，
8dir是备份mydb库时生成文件所在路径，这里是一个bson文件的路径
9 导入集合
10 mongoimport -d mydb -c testc --file /tmp/testc.json

扩展内容
mongodb安全设置 http://www.mongoing.com/archives/631
mongodb执行js脚本 http://www.jianshu.com/p/6bd8934bd1ca

1. mongodb介绍

2. mongodb安装

3. 连接mongodb

4. mongodb用户管理

用户角色

MongoDB库管理

5. mongodb创建集合、数据管理

6. php的mongodb扩展

7. php的mongo扩展

测试momgo扩展

8. mongodb副本集介绍

9. mongodb副本集搭建

10. mongodb副本集测试

11. mongodb分片介绍

12. mongodb分片搭建

13. mongodb分片测试

14. mongodb备份恢复

评论区

相关推荐