上一篇讲的是如何模拟真人操作登录QQ空间,本篇主要讲述一下如何抓取QQ说说数据
继续登录空间后的操作
登陆后我们发现QQ空间的菜单其实是固定的,只需要找到对应元素就可以,继续XPath
可以得到地址
//*[@id="menuContainer"]/div/ul/li[5]/a
看来是第5个li元素,不过这个5看起来并不是索引
点击说说菜单
1//*[@id="menuContainer"]/div/ul/li[5]/a 2 var msgDom = driver.FindElementByXPath("//*[@id='menuContainer']/div/ul/li[5]/a"); 3 if (msgDom != null && msgDom.Displayed == true) 4 { 5 msgDom.Click(); 6 }
说说界面查看元素,瞧瞧,我们又发现了什么
没错,又是Iframe,机智的跳转
1//页面跳转,切换到说说页面的说说列表Iframe 2ITargetLocator t = driver.SwitchTo(); 3//这里我们换一种获取元素方法,直接使用css获取 4//xpath //*[@id="app_container"]/iframe 5//css #app_container > iframe 6IWebElement frame = driver.FindElementByCssSelector("#app_container > iframe"); 7t.Frame(frame);
这就找到了列表页,现在我们看下一个说说都有哪些内容组成的
头像,这个属于固定的,每个人单独一个,可以提取出来
QQ号码 说说内容 说说图片 说说日期 赞数量 回复 re回复 可能还有位置 等其他信息
我们定义一个简单的实体类,来存放这些数据,把这些数据先保存到一个集合中
1public class MessageInfo 2 { 3 /// <summary> 4 /// 号码 5 /// </summary> 6 public string QQ { get; set; } 7 /// <summary> 8 /// 发布内容 9 /// </summary> 10 public string Content { get; set; } 11 /// <summary> 12 /// 发布时间 13 /// </summary> 14 public DateTime? MessageTime { get; set; } 15 /// <summary> 16 /// 说说图片列表 17 /// </summary> 18 public List<string> ImageList { get; set; } 19 20 }
实体类定义了 那就开始找元素
这个说说列表是一个列表,而且还有分页,那么我们需要考虑的问题就有两个
列表读取和翻页操作了
先说列表,怎么才能知道当前页面有多少条说说呢?
有方法,我们通过li元素的数量就可以判断当前页面有多少个说说了,如下图
当然不是一个一个找,而是通过方法
1//注意这里是复数 2 var msgListDom = driver.FindElementsByXPath("//*[@id='msgList']/li");
调试可以看到
QQ空间的说说一页是20条
我们获取到这些元素,并且循环查找单个元素,并且保存到定义好的集合之中
1var msgListDom = driver.FindElementsByXPath("//*[@id='msgList']/li"); 2 //接下来就是循环取数了 3 //定义说说集合 4 var dataAll = new List<MessageInfo>(); 5 //因为查找元素需要用到索引值,所以这里就用for循环方式 6 for (var i = 1; i < msgListDom.Count + 1; i++) 7 { 8 var data = new MessageInfo(); 9 //接下来是查找元素 10 //第一个 11 //*[@id="msgList"]/li[1]/div[3]/div[2]/a 所以获取元素可以这样写 12 var qqDom = driver.FindElementByXPath("//*[@id='msgList']/li[" + i + "]/div[3]/div[2]/a"); //*[@id="msgList"]/li[1]/div[3]/div[2]/a.content 昵称 data-uin QQ号码 13 if (qqDom != null) 14 { 15 //获取元素属性 data-uin对应QQ号码 16 data.QQ = qqDom.GetAttribute("data-uin"); 17 } 18 var preDom = driver.FindElementByXPath("//*[@id='msgList']/li[" + i + "]/div[3]/div[2]/pre"); //*[@id="msgList"]/li[1]/div[3]/div[2]/a.content 昵称 data-uin QQ号码 19 if (preDom != null) 20 { 21 //获取元素Text文本值 22 data.Content = preDom.Text; 23 } 24 //获取时间值,我们使用css方式获取,当然也可以使用xpath或者其他方法,查找元素方法第一篇讲过了 25 //这是获取的是和时间型号同一级的元素,有的包含型号,有的不包含 26 var times = driver.FindElementsByCssSelector("#msgList > li:nth-child(" + i + ") > div.box.bgr3 > div.ft > div.info > span"); 27 //一个是时间,一个是机型 28 //2015年2月10日 来自iPhone 29 if (times.Count > 1) 30 { 31 var time = driver.FindElementByCssSelector("#msgList > li:nth-child(" + i + ") > div.box.bgr3 > div.ft > div.info > span:nth-child(1) > a"); 32 data.MessageTime = Convert.ToDateTime(time.GetAttribute("title")); 33 //获取手机型号 34 var mobileDom = driver.FindElementsByCssSelector("#msgList > li:nth-child(" + i + ") > div.box.bgr3 > div.ft > div.info > span:nth-child(2) > span"); 35 if (mobileDom.Count > 0) 36 { 37 var mobile = driver.FindElementByCssSelector("#msgList > li:nth-child(" + i + ") > div.box.bgr3 > div.ft > div.info > span:nth-child(2) > span"); 38 data.MobileType = mobile.Text; 39 } 40 } 41 else 42 { 43 var time = driver.FindElementByCssSelector("#msgList > li:nth-child(" + i + ") > div.box.bgr3 > div.ft > div.info > span > a"); 44 data.MessageTime = Convert.ToDateTime(time.GetAttribute("title")); 45 } 46 #region 图片视频区域 47 //如果有视频则获取视频,否则获取图片 48 var videos = driver.FindElementsByCssSelector("#msgList > li:nth-child(" + i + ") > div.box.bgr3 > div.md > div.video"); 49 if (videos.Count > 0) { } 50 else 51 { 52 var imageList = new List<string>(); 53 var images = driver.FindElementsByXPath("//*[@id='msgList']/li[" + i + "]/div[3]/div[3]/div[1]/div/a"); 54 if (images != null && images.Count > 0) 55 { 56 //*[@id="msgList"]/li[1]/div[3]/div[3]/div[1]/div/a[2] 57 for (int m = 0; m < images.Count; m++) 58 { 59 var imageDom = driver.FindElementByXPath("//*[@id='msgList']/li[" + i + "]/div[3]/div[3]/div[1]/div/a[" + (m + 1) + "]"); 60 if (imageDom != null) 61 { 62 imageList.Add(imageDom.GetAttribute("href")); 63 } 64 } 65 } 66 data.ImageList = imageList; 67 } 68 #endregion 69 dataAll.Add(data); 70 }
View Code
里面需要注意一些细节,元素查找的地方,有不一样的地方,不是所有的说说都是规整的格式,有转发的,转发带视频的,
还有一些自定义的图标之类的,这些都可能会影响我们的数据抓取,不过这个可以慢慢调整,直到程序慢慢完善
举个例子 比如这条说说,在原来显示时间的地方多一个span标签,一个是时间 一个是手机型号,如图
上面代码中,针对这个做了下特殊处理
调试测试如图,我们正确获取到了想要的数据,当然这些只是简单的数据,如需评论 回复的 大家可以自行研究一下,也是找元素
这样我们能获取到当前页的数据,接下来我们介绍下如何翻页
既然是模拟真人操作,那么我们就找到翻页,点击下一页进行数据获取
我们找到下一页这个元素,当页面20条数据循环完毕之后点击它进行翻页操作,每一次都是页面数据读取完成之后点击下一页
我们把读取数据和翻页的方法提取出来,做一个递归,直到下一页无法点击(最后一页的时候,点击下一页是无效的,就终止数据抓取了)
调试图片
源码,大家可以根据个人情况进行调试修改
1public class QzoneTest 2 { 3 [Fact] 4 public void QQLogin() 5 { 6 dynamic type = (new PictureTest()).GetType(); 7 string currentDirectory = Path.GetDirectoryName(type.Assembly.Location); 8 var driver = new ChromeDriver(currentDirectory); 9 driver.Url = "https://qzone.qq.com/"; 10 try 11 { 12 //切换语法有两种,一种是根据索引切换,另外一种根据iframe名称切换 13 //这里我们使用name切换 14 ITargetLocator tagetLocator = driver.SwitchTo(); 15 //tagetLocator.Frame(1); //frame index. 16 tagetLocator.Frame("login_frame"); //frame frame name. 17 var switchLogin = driver.FindElementByCssSelector("#switcher_plogin"); 18 switchLogin.Click(); 19 var userName = driver.FindElementByXPath("//*[@id='u']"); 20 //这里的userName就是用户名的文本框 21 //设置用户名的值 22 userName.SendKeys("123456"); 23 var pwd = driver.FindElementByXPath("//*[@id='p']"); 24 pwd.SendKeys("********"); 25 var btnLogin = driver.FindElementByXPath("//*[@id='login_button']"); 26 //这里是判断登录按钮是否可见,可以不写,直接调用click方法 27 if (btnLogin != null && btnLogin.Displayed == true) 28 { 29 btnLogin.Click(); 30 } 31 System.Threading.Thread.Sleep(3000); 32 //*[@id="menuContainer"]/div/ul/li[5]/a 33 var msgDom = driver.FindElementByXPath("//*[@id='menuContainer']/div/ul/li[5]/a"); 34 if (msgDom != null && msgDom.Displayed == true) 35 { 36 msgDom.Click(); 37 } 38 //页面跳转,切换到说说页面的说说列表Iframe 39 ITargetLocator t = driver.SwitchTo(); 40 //这里我们换一种获取元素方法,直接使用css获取 41 //xpath //*[@id="app_container"]/iframe 42 //css #app_container > iframe 43 IWebElement frame = driver.FindElementByCssSelector("#app_container > iframe"); 44 t.Frame(frame); 45 //定义说说集合 46 var dataAll = new List<MessageInfo>(); 47 //第一页开始,pageIndex 默认0 48 //定义汉字方法为了直观描述功能,不要在意这些细节 49 说说内容获取(driver, dataAll, 0); 50 } 51 finally 52 { 53 driver.Quit(); 54 } 55 56 } 57 58 private static void 说说内容获取(ChromeDriver driver, List<MessageInfo> dataAll, int pageIndex) 59 { 60 //翻页之后休眠3s防止数据没有加载完成出现找不到元素异常 61 System.Threading.Thread.Sleep(3000); 62 var msgListDom = driver.FindElementsByXPath("//*[@id='msgList']/li"); 63 //接下来就是循环取数了 64 65 //因为查找元素需要用到索引值,所以这里就用for循环方式 66 for (var i = 1; i < msgListDom.Count + 1; i++) 67 { 68 var data = new MessageInfo(); 69 //接下来是查找元素 70 //第一个 71 //*[@id="msgList"]/li[1]/div[3]/div[2]/a 所以获取元素可以这样写 72 var qqDom = driver.FindElementByXPath("//*[@id='msgList']/li[" + i + "]/div[3]/div[2]/a"); //*[@id="msgList"]/li[1]/div[3]/div[2]/a.content 昵称 data-uin QQ号码 73 if (qqDom != null) 74 { 75 //获取元素属性 data-uin对应QQ号码 76 data.QQ = qqDom.GetAttribute("data-uin"); 77 } 78 var preDom = driver.FindElementByXPath("//*[@id='msgList']/li[" + i + "]/div[3]/div[2]/pre"); //*[@id="msgList"]/li[1]/div[3]/div[2]/a.content 昵称 data-uin QQ号码 79 if (preDom != null) 80 { 81 //获取元素Text文本值 82 data.Content = preDom.Text; 83 } 84 //获取时间值,我们使用css方式获取,当然也可以使用xpath或者其他方法,查找元素方法第一篇讲过了 85 //这是获取的是和时间型号同一级的元素,有的包含型号,有的不包含 86 var times = driver.FindElementsByCssSelector("#msgList > li:nth-child(" + i + ") > div.box.bgr3 > div.ft > div.info > span"); 87 //一个是时间,一个是机型 88 //2015年2月10日 来自iPhone 89 if (times.Count > 1) 90 { 91 var time = driver.FindElementByCssSelector("#msgList > li:nth-child(" + i + ") > div.box.bgr3 > div.ft > div.info > span:nth-child(1) > a"); 92 data.MessageTime = Convert.ToDateTime(time.GetAttribute("title")); 93 //获取手机型号 94 var mobileDom = driver.FindElementsByCssSelector("#msgList > li:nth-child(" + i + ") > div.box.bgr3 > div.ft > div.info > span:nth-child(2) > span"); 95 if (mobileDom.Count > 0) 96 { 97 var mobile = driver.FindElementByCssSelector("#msgList > li:nth-child(" + i + ") > div.box.bgr3 > div.ft > div.info > span:nth-child(2) > span"); 98 data.MobileType = mobile.Text; 99 } 100 } 101 else 102 { 103 var time = driver.FindElementByCssSelector("#msgList > li:nth-child(" + i + ") > div.box.bgr3 > div.ft > div.info > span > a"); 104 data.MessageTime = Convert.ToDateTime(time.GetAttribute("title")); 105 } 106 #region 图片视频区域 107 //如果有视频则获取视频,否则获取图片 108 var videos = driver.FindElementsByCssSelector("#msgList > li:nth-child(" + i + ") > div.box.bgr3 > div.md > div.video"); 109 if (videos.Count > 0) { } 110 else 111 { 112 var imageList = new List<string>(); 113 var images = driver.FindElementsByXPath("//*[@id='msgList']/li[" + i + "]/div[3]/div[3]/div[1]/div/a"); 114 if (images != null && images.Count > 0) 115 { 116 //*[@id="msgList"]/li[1]/div[3]/div[3]/div[1]/div/a[2] 117 for (int m = 0; m < images.Count; m++) 118 { 119 var imageDom = driver.FindElementByXPath("//*[@id='msgList']/li[" + i + "]/div[3]/div[3]/div[1]/div/a[" + (m + 1) + "]"); 120 if (imageDom != null) 121 { 122 imageList.Add(imageDom.GetAttribute("href")); 123 } 124 } 125 } 126 data.ImageList = imageList; 127 } 128 #endregion 129 dataAll.Add(data); 130 } 131 //下一页 132 //数据抓取完成之后点击下一页 133 driver.FindElementByXPath("//*[@id='pager_next_" + pageIndex + "']").Click(); 134 pageIndex++; 135 说说内容获取(driver, dataAll, pageIndex); 136 //dataAll 数据存放于内存之中,如果有需要的可以保存到数据库,这里就不详细介绍了 137 } 138 }
另外元素集合获取到了应该是可以解析出所有li元素内容的,我这里偷懒没有仔细检查元素,大家可以看一下通过
FindElementsByXPath找到的元素集合来收集数据,这样就不用再次通过浏览器驱动找了,偷了个懒
总结
1 这种数据获取的方法模拟真人,和谐几率较小
2 学会了获取说说,当然留言板,相册什么的 都是查找元素,相册再多一个图片下载保存,还可以直接使用阿里云oss存储,把爬到的数据直接上传到云
3 思维发散一下 , 可以登录自己的QQ去获取QQ好友空间的留言说说及相册,做个数据分析神马的,毕竟Qzone连接是固定格式,比如https://user.qzone.qq.com/123456
把收集到的QQ号码作为种子保存到一个集合,当作浏览器驱动下一个访问的目标,当然还有一点,模拟真人,速度肯定跟爬虫是不能比的.
都不知道自己想说什么,溜了溜了.