什么,3行Python代码就能获取海量数据?

本文转载自公众号【法纳斯特】,详情可以点击上方卡片,关注该公众号,获取更多好文推荐。

一谈起数据分析,首先想到的就是数据,没有数据,谈何分析。

毕竟好的菜肴,没有好的原材料,是很难做的~

所以本期小F就给大家分享一个获取数据的方法,只需三行代码就能搞定。

「GoPUP」,大佬造的轮子,大概有100+的免费数据接口。

GitHub:https://github.com/justinzm/gopup

使用文档:http://doc.gopup.cn/#/README

主要有指数数据、宏观经济数据、新经济数据、微博KOL数据、信息数据、生活数据、疫情数据等。

1 2 3# 安装gopup 4pip install gopup  --upgrade 5 6 7

安装成功后,就能使用了。

01 微博指数

获取指定关键词的微博指数。

1 2 3# 微博指数 4import gopup as gp 5df_index = gp.weibo_index(word="马保国", time_type="1month") 6print(df_index) 7 8 9

time_type="1month"; 1hour, 1day, 1month, 3month 选其一。

三行Python代码实现数据获取。

02 百度指数

获取指定关键词的百度搜索指数。

1 2 3# 百度指数 4# 百度指数 5import gopup as gp 6cookie = "此处输入您在网页端登录百度指数后的 cookie 数据" 7index_df = gp.baidu_search_index(word="马保国", start_date='2020-11-15', end_date='2020-11-25', cookie=cookie) 8print(index_df)

需要登陆百度指数,获取你的Cookie。

设置关键词,时间起始,就能获取到马保国老师的热度数据了。

后面还有百度资讯、媒体、需求图谱、人群年龄、性别、兴趣分布数据接口,就不一一介绍了。

感兴趣的同学可以自行去查看文档。

03 头条指数

获取指定关键词的头条指数。

1 2 3# 头条指数 4import gopup as gp 5index_df = gp.toutiao_index(keyword="马保国", start_date='20201115', end_date='20201125') 6print(index_df) 7

接口挂了,不知为何~

还有相关性、情感、地域、城市、年龄、性别、用户阅读兴趣分析数据等接口。

04 谷歌数据

需要通过代理才能使用,不过上面这三类已经完全够用了。

1# 谷歌数据 2import gopup as gp 3index_df = gp.google_index(keyword="马保国", start_date='2020-11-15T10', end_date='2020-11-25T23') 4print(index_df) 5

05 宏观经济数据

有一个杠杆率的数据可以使用。

1 2# 杠杆数据 3import gopup as gp 4df_index = gp.marco_cmlrd() 5print(df_index)

不懂经济学,所以不明觉厉。

06 新经济数据

这个数据倒是蛮有趣的,主要是公司数据。

比如独角兽和倒闭公司的数据。

1# 独角兽公司数据 2import gopup as gp 3df_index = gp.nicorn_company() 4print(df_index) 5

一共是240家独角兽公司。

蚂蚁、字节、阿里云、滴滴,都是行业中的大佬。

1# 倒闭公司数据 2import gopup as gp 3df_index = gp.death_company() 4print(df_index) 5

倒闭的公司一共有6921家。

看到不少P2P的公司。

剩下还有有一个特许经营许可数据,好像是吊牌销售的意思。

前段时间看到一篇文章,讲的就是南极人吊牌销售的事情,南极人都不自己搞生产,而是代工。

07 KOL数据&信息数据

主要是微博的KOL,所以没啥用。

1# KOL数据 2import gopup as gp 3g = gp.pro_api(token = "……") 4df_index = g.weibo_user(keyword="雷军") 5print(df_index) 6

信息数据是新闻联播文字稿。

08 中国油价数据

包含汽油和柴油的调价信息数据。

1# 油价数据 2import gopup as gp 3df_index = gp.energy_oil_hist() 4print(df_index) 5

时间从2000年直到2020年,细数20年油价变化。

09 百度迁徙数据

可以用来做飞线图或者OD图。

1# 迁徙数据 2import gopup as gp 3migration_area_baidu_df = gp.migration_area_baidu(area="湖北省", indicator="move_in", date="20200201") 4print(migration_area_baidu_df)

单次返回100个城市的数据。

10 影视数据

实时电影票房数据,最近又有病例出现,数据应该也比较惨淡。

这里需要一个WebDES.js文件,才能请求成功。

1# 实时电影票房数据 2import gopup as gp 3df_index = gp.realtime_boxoffice() 4print(df_index) 5

「如果声音不记得」当日1千万的票房,太少了。

单日影院数据,今年影院能倒闭一大堆。

1# 单日影院数据 2import gopup as gp 3df_index = gp.day_cinema(date="2020-12-08") 4print(df_index) 5

得到票房前100的数据。

最高应该是8万多的收入。

实时电视剧播映指数,天气冷了选个好剧或者综艺,窝在被窝刷起来。

1 2# 电视剧数据 3import gopup as gp 4df_index = gp.realtime_tv() 5print(df_index) 6

大秦赋,小F也在看,感觉还不错。

还有实时综艺播映指数、艺人商业价值、流量价值等数据。

11 全国高等学校数据

普通高等学校名单,包含名称、主管部门,所在省市、所在地、办学层次等信息。

1 2# 普通高等学校数据 3import gopup as gp 4df_index = gp.university() 5print(df_index) 6

一共是2631所高校。

还有成人高等学校以及高等学校详情数据。

12 疫情数据

有网易、丁香园、百度三家的疫情数据。

1 2# 世界历史累计确诊数据 3import gopup as gp 4covid_163_df = gp.covid_163(indicator="世界历史累计数据") 5print(covid_163_df)

目前累计207个国家有疫情出现。

全世界总共就233个国家和地区,快接近90%了。

由于数据接口太多了,小F就不一一介绍了,可以点击左下角的阅读原文,查看文档。

文末赠书

本次小F联合【机械工业出版社华章公司】给大家带来2本计算机视觉相关的书籍。

OpenCV 4计算机视觉项目实战》介绍OpenCV的入门知识及安装,然后介绍OpenCV的基础知识,包括用户界面、矩阵运算、滤波器和直方图等,之后介绍复杂的计算机视觉算法,包括对象分割和分类、视频监控、对象跟踪等,最后探讨对象跟踪、文本识别、机器学习和人脸检测等高级技术。 欢迎各位大佬点击链接加入群聊【helloworld开发者社区】:https://jq.qq.com/?_wv=1027&k=mBlk6nzX进群交流IT技术热点。

本文转自 https://mp.weixin.qq.com/s/f7_EwkY6QzMURMMI4MLi3w,如有侵权,请联系删除。

点赞
收藏

评论区

加载中...

相关推荐

MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1

文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s

Oracle 分组与拼接字符串同时使用

SELECTT.,ROWNUMIDFROM(SELECTT.EMPLID,T.NAME,T.BU,T.REALDEPART,T.FORMATDATE,SUM(T.S0)S0,MAX(UPDATETIME)CREATETIME,LISTAGG(TOCHAR(

皕杰报表之UUID

​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为

手写Java HashMap源码

HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程22

60行Python代码开发在线markdown编辑器

本文转载自公众号【python大数据分析】,详情可以点击上方卡片,关注该公众号,获取更多好文推荐。❝本文示例代码已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes❞1简介这是我的系列教程「PythonDash快速web应用开发」的第六期,在上一期的文章中,我们完成了对

2020年前端实用代码段,为你的工作保驾护航

有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )