read_html() 的基本语法及其参数：
1pandas.read_html(io,match='.+',flavor=None,header=None,index_col=None,skiprows=None, attrs=None, 2parse_dates=False, thousands=', ', encoding=None, decimal='.', converters=None, na_values=None, 3keep_default_na=True, displayed_only=True）
参数
释义
io
接收网址、文件、字符串
parse_dates
解析日期
flavor
解析器
header
标题行
skiprows
跳过的行属性，比如 attrs = {'id': 'table'}
案例1：抓取世界大学排名榜（第1页的数据）
1# 导入库 2import pandas as pd 3import csv 4 5# 传入要抓取的url 6url1 = "http://www.compassedu.hk/qs" 7 8#0表示选中网页中的第一个Table 9df1 = pd.read_html(url1)[0] 10# 打印预览 11df1 12# 导出到CSV 13df1.to_csv(r"C:\Users\QDM\Desktop\世界大学综合排名.csv",index=0,encoding = "gbk") 14 15# 或导出到Excel 16df1.to_excel(r"C:\Users\QDM\Desktop\世界大学综合排名.xlsx",index=0)
预览所要爬的数据：
示例2：抓取新浪财经基金重仓股数据（共6页数据）
1import pandas as pd 2import csv 3df2 = pd.DataFrame() 4for i in range(6): 5 url2 = "http://vip.stock.finance.sina.com.cn/q/go.php/vComStockHold/kind/jjzc/index.phtml?p={page}".format(page=i+1) 6 df2 = pd.concat([df2,pd.read_html(url2)[0]]) 7 print("第{page}页抓取完成".format(page = i + 1)) 8 9# 保存到CSV 10df2.to_csv(r"C:\Users\QDM\Desktop\新浪财经数据.csv",encoding = "gbk",index=0) 11 12# 保存到Excel 13df2.to_excel(r"C:\Users\QDM\Desktop\新浪财经数据.xlsx",index=0)
预览前10条数据：
示例3：抓取证监会披露的IPO数据（共217页数据）
1# 导入所需要用到的库 2import pandas as pd 3from pandas import DataFrame 4import csv 5import time 6 7#程序计时 8 start = time.time() 9 10#添加列名 11 df3 = DataFrame(data=None,columns=["公司名称","披露日期","上市地和板块","披露类型","查看PDF资料"]) 12 for i in range(1,218): 13 url3 = "http://eid.csrc.gov.cn/ipo/infoDisplay.action?pageNo=%s&temp=&temp1=&blockType=byTime"%str(i) 14 #必须加utf-8，否则乱码 15 df3_1 = pd.read_html(url3,encoding = "utf-8")[2] 16 #过滤掉最后一行和最后一列（NaN列） 17 df3_2 = df3_1.iloc[1:len(df3_1)-1,0:-1] 18 #新的df添加列名 19 df3_2.columns=["公司名称","披露日期","上市地和板块","披露类型","查看PDF资料"] 20 #数据合并 21 df3 = pd.concat([df3,df3_2]) 22 print("第{page}页抓取完成".format(page = i)) 23 24#保存数据到csv文件 25df3.to_csv(r"C:\Users\QDM\Desktop\上市公司IPO信息.csv", encoding = "utf-8",index=0) 26 27#保存数据到Excel文件 28df3.to_excel(r"C:\Users\QDM\Desktop\上市公司IPO信息.xlsx",index=0) 29 30end = time.time() 31print ("共抓取",len(df3),"家公司," + "用时",round((end-start)/60,2),"分钟")
可见， 1分56秒爬下217页4340条数据，完美！接下来我们来预览下爬取到的数据：
**温馨提示：**并不是所有表格都可以用read_html()来抓取，有的网站表面上看起来是表格，但在网页源代码中不是table格式，而是list列表格式。
这种表格则不适用read_html爬取，得用其他的方法，比如selenium。