Python3编写网络爬虫10

3.CSV文件存储

CSV 全称 Comma-Separated Values 中文叫做逗号分隔值或者字符分隔值，文件以纯文本形式存储表格数据。
文件是一个字符序列 可以由任意数目的记录组成相当于一个结构化表的纯文本形式，它比Excel更加简洁，
XLS文本是电子表格，包含文本，数值，公式和格式等内容，CSV都没有 就是特定的字符分隔纯文本，结构简单清晰。

3.1 写入

示例：

1import csv
2
3with open('data.csv','w') as csvfile:
4writer = csv.writer(csvfile)#初始化写入对象
5writer.writerow(['id','name','age'])#传入每行数据
6writer.writerow(['10001','mike',20])
7writer.writerow(['10002','bod',22])
8writer.writerow(['10003','jordan',21])

更改列与列之间分隔符 可以传入 delimiter参数 记得关闭文件

示例：

1import csv
2
3with open('data.csv','w') as csvfile:
4writer = csv.writer(csvfile,delimiter=' ')#初始化写入对象
5writer.writerow(['id','name','age'])#传入每行数据
6writer.writerow(['10001','mike',20])
7writer.writerow(['10002','bod',22])
8writer.writerow(['10003','jordan',21])

同时写入多行 参数为二位列表

1import csv
2
3with open('data.csv','w') as csvfile:
4writer = csv.writer(csvfile)#初始化写入对象
5writer.writerow(['id','name','age'])#传入每行数据
6writer.writerows([['10001','mike',20],['10002','bod',22],['10003','jordan',21]])

一般情况下 爬虫爬取的都是结构化数据 一般会用字典来表示 csv库也提供了字典的写入方式

示例：

1import csv
2
3with open('data.csv','w') as csvfile:
4fieldname = ['id','name','age']#定义字段
5writer = csv.DictWriter(csvfile,fieldnames=fieldname)#初始化字典写入对象
6writer.writeheader()#写入头信息
7writer.writerow({'id':'10001','name':'mike','age':20})
8writer.writerow({'id':'10002','name':'bod','age':22})
9writer.writerow({'id':'10003','name':'jordan','age':21})

输入中文 给 open() 加入参数 encoding='utf-8'

示例：

1import csv
2
3with open('data.csv','a',encoding='utf-8') as csvfile:
4fieldname = ['id','name','age']#定义字段
5writer = csv.DictWriter(csvfile,fieldnames=fieldname)#初始化字典写入对象
6writer.writerow({'id':'10004','name':'小米','age':20})

3.2 读取

示例：

1import csv
2
3with open('data.csv','r',encoding='utf-8') as csvfile:
4reader = csv.reader(csvfile)
5for row in reader:
6print(row)

在做数据分析时此种方法用的比较多，也是一种常用的数据存储方式，需要熟练掌握。