1、准备数据
1from pymongo import MongoClient 2import datetime 3 4client=MongoClient('mongodb://localhost:27017') 5table=client['db1']['emp'] 6 7l=[ 8('张飞','male',18,'20170301','teacher',7300.33,401,1), #以下是教学部 9('张云','male',78,'20150302','teacher',1000000.31,401,1), 10('刘备','male',81,'20130305','teacher',8300,401,1), 11('关羽','male',73,'20140701','teacher',3500,401,1), 12('曹操','male',28,'20121101','teacher',2100,401,1), 13('诸葛亮','female',18,'20110211','teacher',9000,401,1), 14('周瑜','male',18,'19000301','teacher',30000,401,1), 15('司马懿','male',48,'20101111','teacher',10000,401,1), 16 17('袁绍','female',48,'20150311','sale',3000.13,402,2),#以下是销售部门 18('张全蛋','female',38,'20101101','sale',2000.35,402,2), 19('鹌鹑蛋','female',18,'20110312','sale',1000.37,402,2), 20('王尼玛','female',18,'20160513','sale',3000.29,402,2), 21('我尼玛','female',28,'20170127','sale',4000.33,402,2), 22 23('杨过','male',28,'20160311','operation',10000.13,403,3), #以下是运营部门 24('小龙女','male',18,'19970312','operation',20000,403,3), 25('郭靖','female',18,'20130311','operation',19000,403,3), 26('黄蓉','male',18,'20150411','operation',18000,403,3), 27('梅超风','female',18,'20140512','operation',17000,403,3) 28] 29 30for n,item in enumerate(l): 31 d={ 32 "_id":n, 33 'name':item[0], 34 'sex':item[1], 35 'age':item[2], 36 'hire_date':datetime.datetime.strptime(item[3],'%Y%m%d'), 37 'post':item[4], 38 'salary':item[5] 39 } 40 table.save(d) 41 42# 准备数据
View Code
分组的概念与mysql相同,以某个字段作为依据进行归类,其目的是为了统计
2、$match
1#match 用于对数据进行筛选 2{"$match":{"字段":"条件"}},可以使用任何常用查询操作符$gt,$lt,$in等 3 4#例1、select * from db1.emp where post='teacher'; # mysql的查询语句 5db.emp.aggregate({"$match":{"post":"teacher"}}) #mongo的查询语句 6 7#例2、select * from db1.emp where id > 3; 8db.emp.aggregate( 9 {"$match":{"_id":{"$gt":3}}}, 10)
View Code
3、$project
1#1、 project翻译为投射 ,即将一个数据结果映射为另一个结果 过程中可以对某些数据进行修改 控制其最终显示的结果， 1表示显示，0不显示；_id默认是1，其余默认是0。 2{"$project":{"要保留的字段名":1,"要去掉的字段名":0,"新增的字段名":"表达式"}} 3 4#1、select name,post,(age+1) as new_age from db1.emp; 5db.emp.aggregate( 6 {"$project":{ 7 "name":1, 8 "post":1 9 }}) 10 11#2、表达式之数学表达式 12{"$add":[expr1,expr2,...,exprN]} #相加 13{"$subtract":[expr1,expr2]} #第一个减第二个 14{"$multiply":[expr1,expr2,...,exprN]} #相乘 15{"$divide":[expr1,expr2]} #第一个表达式除以第二个表达式的商作为结果 16{"$mod":[expr1,expr2]} #第一个表达式除以第二个表达式得到的余数作为结果 17 18#例:所有人年龄加1显示 19db.emp.aggregate( 20 {"$project":{ 21 "name":1, 22 "post":1, 23 "new_age":{"$add":["$age",1]} 24 }}) 25# 错误示范: 原因:参加运算的字段不能被隐藏 26db.emp.aggregate( 27 {"$project":{ 28 "name":1, 29 "salary":1, 30 "age":0, 31 "new_age":{"$add":["$age",1]} 32 }}) 33 34 35#3、表达式之日期表达式:$year,$month,$week,$dayOfMonth,$dayOfWeek,$dayOfYear,$hour,$minute,$second 36#例如：select name,date_format("%Y") as hire_year from db1.emp 37db.emp.aggregate( 38 {"$project":{"name":1,"hire_year":{"$year":"$hire_date"}}} 39) 40 41#例如查看每个员工的工作多长时间 42db.emp.aggregate( 43 {"$project":{"name":1,"hire_period":{ 44 "$subtract":[ 45 {"$year":new Date()}, 46 {"$year":"$hire_date"} 47 ] 48 }}} 49) 50 51 52 53#4、字符串表达式 54{"$substr":[字符串/$值为字符串的字段名,起始位置,截取几个字节]} 55{"$concat":[expr1,expr2,...,exprN]} #指定的表达式或字符串连接在一起返回,只支持字符串拼接 56{"$toLower":expr} 57{"$toUpper":expr} 58 59 60db.emp.aggregate( {"$project":{"NAME":{"$toUpper":"$name"}}}) 61 62#5、逻辑表达式 63$and 64$or 65$not 66其他见Mongodb权威指南
View Code
4、$group
1# $group用于分组 2# 分组后具体信息被影藏 3db.emp.aggregate( 4 {"$match":{"_id":{"$gt":3}}}, 5 {"$group":{"_id":"$post"}} 6) 7 8# 通常我们要对分组后的内容进行统计这就需要对应的几个聚合函数 9 10# select id,avg(salary) from db1.emp where id > 3 group by post; 11db.emp.aggregate( 12 {"$match":{"_id":{"$gt":3}}}, 13 {"$group":{"_id":"$post",'avg_salary':{"$avg":"$salary"}}}, 14) 15# math用于匹配 与mysql不同的是没有顺序限制 每一个操作像是一个管道接收上一个的数据进行处理再传给下一个 16 17# select id,avg(salary) from db1.emp where id > 3 group by post having avg(salary) > 10000; 18db.emp.aggregate( 19 {"$match":{"_id":{"$gt":3}}}, 20 {"$group":{"_id":"$post",'avg_salary':{"$avg":"$salary"}}}, 21 {"$match":{"avg_salary":{"$gt":10000}}} 22) 23 24 25# 对应的聚合函数 $sum、$avg、$max、$min、$first、$last 26 27 28#1、将分组字段传给$group函数的_id字段即可 29{"$group":{"_id":"$sex"}} #按照性别分组 30{"$group":{"_id":"$post"}} #按照职位分组 31{"$group":{"_id":{"state":"$state","city":"$city"}}} #按照多个字段分组，比如按照州市分组 32 33#2、分组后聚合得结果,类似于sql中聚合函数的聚合操作符：$sum、$avg、$max、$min、$first、$last 34#例1：select post,max(salary) from db1.emp group by post; 35db.emp.aggregate({"$group":{"_id":"$post","max_salary":{"$max":"$salary"}}}) 36 37#例2：去每个部门最大薪资与最低薪资 38db.emp.aggregate({"$group":{"_id":"$post","max_salary":{"$max":"$salary"},"min_salary":{"$min":"$salary"}}}) 39 40#例3：如果字段是排序后的，那么$first,$last会很有用,比用$max和$min效率高 41db.emp.aggregate({"$group":{"_id":"$post","first_id":{"$first":"$_id"}}}) 42 43#例4：求每个部门的总工资 44db.emp.aggregate({"$group":{"_id":"$post","count":{"$sum":"$salary"}}}) 45 46#例5：求每个部门的人数 47db.emp.aggregate({"$group":{"_id":"$post","count":{"$sum":1}}}) 48 49 50#3、数组操作符 51{"$addToSet":expr}：不重复 52{"$push":expr}：重复 53# 等同于group_concat 54#例：查询岗位名以及各岗位内的员工姓名:select post,group_concat(name) from db1.emp group by post; 55db.emp.aggregate({"$group":{"_id":"$post","names":{"$push":"$name"}}}) 56db.emp.aggregate({"$group":{"_id":"$post","names":{"$addToSet":"$name"}}})
View Code
5、$sort ,limit,skip
1{"$sort":{"字段名":1,"字段名":-1}} #1升序，-1降序 2{"$limit":n} 3{"$skip":n} #跳过多少个文档 4#例1、取平均工资最高的前两个部门 5 6db.emp.aggregate( 7{ 8 "$group":{"_id":"$post","平均工资":{"$avg":"$salary"}} 9}, 10{ 11 "$sort":{"平均工资":-1} 12}, 13{ 14 "$limit":2 15} 16) 17#例2、 18db.emp.aggregate( 19{ 20 "$group":{"_id":"$post","平均工资":{"$avg":"$salary"}} 21}, 22{ 23 "$sort":{"平均工资":-1} 24}, 25{ 26 "$limit":2 27}, 28{ 29 "$skip":1 30} 31) 32排序：$sort、限制：$limit、跳过：$skip
View Code
6、$sample
1# 随机取出n条记录 2#集合users包含的文档如下 3{ "_id" : 1, "name" : "dave123", "q1" : true, "q2" : true } 4{ "_id" : 2, "name" : "dave2", "q1" : false, "q2" : false } 5{ "_id" : 3, "name" : "ahn", "q1" : true, "q2" : true } 6{ "_id" : 4, "name" : "li", "q1" : true, "q2" : false } 7{ "_id" : 5, "name" : "annT", "q1" : false, "q2" : true } 8{ "_id" : 6, "name" : "li", "q1" : true, "q2" : true } 9{ "_id" : 7, "name" : "ty", "q1" : false, "q2" : true } 10 11#下述操作时从users集合中随机选取3个文档 12db.users.aggregate({"$sample":{"size":3}}) 13随机选取n个：$sample
View Code