一篇长文带你在python里玩转Json数据

↑一个宝藏公众号,长的好看的人都关注了

Json简介

Json(JavaScript Object Notation)

很多网站都会用到Json格式来进行数据的传输和交换,就像上篇我提到的网易云音乐接口,它们返回的数据都是Json格式的。

这因为Json是一种轻量级的数据交换格式,具有数据格式简单,读写方便易懂等很多优点。用它来进行前后端的数据传输,大大的简化了服务器和客户端的开发工作量。

而且相对于XML来说,更加的轻量级,更方便解析。

今天我们讲讲如何在python里玩转Json数据?

在Json中,遵循“key-value”的这样一种方式。

比如最简单的这种:“{"name" : "zhuxiao5"}”,跟python 里的字典似的,也是一个Json格式的数据。

复杂一点的比如这种(后文会多次使用到这个例子):

1{ 2    "animals": { 3        "dog": [ 4            { 5                "name": "Rufus", 6                "age":15 7            }, 8            { 9                "name": "Marty", 10                "age": null 11            } 12        ] 13    } 14}

以上图为例,再多说几句Json格式的特点

  • 对象通过键值对表现;

  • 键通过双引号包裹,后面跟冒号“:”,然后跟该键的值;

  • 值可以是字符串、数字、数组等数据类型;

  • 对象与对象之间用逗号隔开;

  • “{}”用来表达对象;

  • “[]”用来表达数组;

Python中的Json模块

Python中也自带了Json模块,其中json.dumps()、json.loads()较为常用。

json.dumps() 是将 python 对象转化为 json。

json.loads() 是将 json 转化为 python 对象。

1#json.dumps(),json.loads() 2import json 3dict_data = {"a": 1, "b": 2} 4# 将dict格式数据转换成json格式字符串 5dump_data = json.dumps(dict_data) 6# 将json格式字符串转换成对应的python值 7load_data = json.loads(dump_data) 8# 打印转换结果 9print(type(dict_data),dict_data) 10print(type(dump_data),dump_data) 11print(type(load_data),load_data)

运行结果:

1<class 'dict'> {'a': 1, 'b': 2} 2<class 'str'>   {"a": 1, "b": 2} 3<class 'dict'> {'a': 1, 'b': 2}

在例子中一开始的变量 dict_data 是一个字典,json.dumps() 后,将dict格式数据转换成json格式字符串。这时候虽然都是{'a': 1, 'b': 2},但是格式却前后不一样。随后又通过 json.loads(),重新将json格式字符串转换成字典。

在线解析Json

在实际应用中,要提取json数据,就要了解返回json数据的结构。

可是Json格式的数据往往是这样的。

大家别担心,我们可以将数据复制到一些json插件或在线解析!

比如这个插件是小五常用的:

此时再打开刚才的网址

是不是清晰了很多呢?

如果用python来获取里面的数据怎么做的?

先利用 json.loads() 来将 Json 转成字典,再用 get() 函数直到得到我们想要的list 对象,那么对于 list 里面的数据我们用个 for 循环就行啦~

额,有点绕。

还是文章一开始的例子,我们想获取其中所有狗狗的名字:

1{ 2    "animals": { 3        "dog": [ 4            { 5                "name": "Rufus", 6                "age":15 7            }, 8            { 9                "name": "Marty", 10                "age": null 11            } 12        ] 13    } 14}

我们可以这样做:

1load_data = json.loads(dump_data) 2data = load_data.get("animals").get("dog") 3result1 = [] 4for i in data: 5    result1.append(i.get("name")) 6print(result1) 7

运行结果:

['Rufus', 'Marty']

这样确实可以获得我们想要的结果。

PS:类似的在线解析网站也有很多,比如 https://www.json.cn。

JsonPath

不知道大家还记不记得,在一开始介绍Json时,我提到了它相对于XML来说,更加的轻量级,更方便解析。

既然 XML 人家都有 XPATH ,那么Json有没有类似的工具呢?

JsonPath 是一种信息抽取类库,是从Json文档中抽取指定信息的工具。

JsonPath 对于 Json 来说,相当于 XPATH 对于 XML。

Json结构清晰,可读性高,复杂度低,非常容易匹配,下表是JsonPath的用法。

没错,还是这个例子,我们这次尝试用JsonPath获取其中所有狗狗的名字:

1{ 2    "animals": { 3        "dog": [ 4            { 5                "name": "Rufus", 6                "age":15 7            }, 8            { 9                "name": "Marty", 10                "age": null 11            } 12        ] 13    } 14}

我们可以这样做:

1load_data = json.loads(dump_data) 2jobs=load_data['animals']['dog'] 3result2 = [] 4for i in data: 5# 从根节点开始,匹配name节点 6 result2.append(jsonpath.jsonpath(i,'$..name')[0]) 7print(result2) 8

其中 $..name 代表从根节点开始,匹配name节点

运行结果:

['Rufus', 'Marty']

利用 JsonPath 同样可以获得我们想要的结果。

我们在后续实例演练中将继续采用 JsonPath 来抽取数据。

实例演练

示例:我们利用网易云音乐评论API来生成Json数据,并从中获取热评数据。

1http://music.163.com/api/v1/resource/comments/R_SO_4_483671599?limit=10&offset=0 2

在浏览器(已安装Json解析插件)中打开:

标红区域的数据是我们本次想要获取的。

1def get_comments(url): 2    data = [] 3    doc = get_json(url) 4    jobs=doc['hotComments'] 5    for job in jobs: 6        dic = {} 7        #从根节点开始,匹配content节点 8        dic['content']=jsonpath.jsonpath(job,'$..content')[0] #评论 9        dic['time']= stampToTime(jsonpath.jsonpath(job,'$..time')[0]) #时间 10        dic['userId']=jsonpath.jsonpath(job['user'],'$..userId')[0]  #用户ID 11        dic['nickname']=jsonpath.jsonpath(job['user'],'$..nickname')[0]#用户名 12        dic['likedCount']=jsonpath.jsonpath(job,'$..likedCount')[0] #赞数 13        data.append(dic) 14    return pd.DataFrame(data) 15 16final_result = get_comments('http://music.163.com/api/v1/resource/comments/R_SO_4_483671599?limit=10&offset=0') 17

(完整代码见文末下载地址)

运行结果:

成功获取√

希望本文能让大家以后玩转Json数据更轻松~

作者:朱小五,某互联网公司数据分析师,热衷于爬虫,数据分析,可视化,个人公众号《凹凸玩数据》,带给大家有趣好玩的文章。

本文所有案例的代码已上传github:

https://github.com/zpw1995/aotodata/tree/master/interest/Json

本文转转自微信公众号凹凸数据原创https://mp.weixin.qq.com/s/FZ23llmkiy8hCcwObZ4A0A,可扫描二维码进行关注: 如有侵权,请联系删除。

点赞
收藏

评论区

加载中...

相关推荐

MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1

文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s

Oracle 分组与拼接字符串同时使用

SELECTT.,ROWNUMIDFROM(SELECTT.EMPLID,T.NAME,T.BU,T.REALDEPART,T.FORMATDATE,SUM(T.S0)S0,MAX(UPDATETIME)CREATETIME,LISTAGG(TOCHAR(

皕杰报表之UUID

​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为

java将前端的json数组字符串转换为列表

记录下在前端通过ajax提交了一个json数组的字符串,在后端如何转换为列表。前端数据转化与请求varcontracts{id:'1',name:'yanggb合同1'},{id:'2',name:'yanggb合同2'},{id:'3',name:'yang

2020年前端实用代码段,为你的工作保驾护航

有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )

Python中JSON的基本使用_Just do it !

JSON(JavaScriptObjectNotation)是一种轻量级的数据交换格式。Python3中可以使用json模块来对JSON数据进行编解码,它主要提供了四个方法:dumps、dump、loads、load。dump和dumpsdump和dumps对python对象进行序列化。将一个Python对象