Python爬取所有人位置信息,制作任意区域人流量显示图

最近偶然看到了腾讯的大数据星云图,非常漂亮,如下图:

这些数据代表使用腾讯定位服务的用户实际地理位置,例如微信、QQ、腾讯地图等,所以使用量还是表达的,此图可以间接显示人流量情况

该网站还可以查看区域热力图:

但是只有个别区域

于是我萌生一个想法,用python任意区域人员流量图

经过不懈努力,没想到还真给实现了,下面带大家一起学习一下这一过程:

一、首先是数据获取数据获取

腾讯其实开放了数据接口,但是只能商用:

但是不用怕,我们还有其他办法获取

进入主页:https://xingyun.map.qq.com/

在主页抓包,获得数据接口:

经过分析发现,每次请求都会发送4个post请求,每次请求的参数如下:

rank值从1变化到4,咱也不知道是啥意思,索性就都爬了,大不了再去重

返回数据如下:

主要是locs字段,以第一组数据为例,3295代表纬度信息,11590代表经度信息,分别除100既是经纬度原始值,6代表该位置人数。

下面我们开始写写代码获取数据:

1import requests 2import json 3header={ 4    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:82.0) Gecko/20100101 Firefox/82.0'} 5url = 'https://xingyun.map.qq.com/api/getXingyunPoints' 6for i in range(1,5): 7    payload = {'count': i, 'rank': 0} 8    response = requests.post(url, data=json.dumps(payload)) 9    datas=json.loads(response.text)['locs'] 10    datas=datas.split(',') 11    datas=[int(i) for i in datas[:-1]] 12    all_data=[] 13    a=[] 14    for n,data in enumerate(datas): 15        a.append(data) 16        all_data.append(a) 17        if (n+1)%3==0: 18            a=[] 19all_data=[[i[0]/100,i[1]/100,i[2]] for i in all_data]

将数据转换为DataFrame格式:

1import pandas as pd 2lat=[float(i[0]) for i in all_data] 3long=[i[1] for i in all_data] 4weight=[i[2] for i in all_data] 5dataframe=pd.DataFrame({'纬度':lat,'经度':long,'人数':weight}) 6

对数据进行去重:

1dataframe=dataframe.drop_duplicates(keep='first') 2

有了这些坐标信息,我们可以估算一个区域人流量

pandas小知识:

1DataFrame.drop_duplicates(subset=None, keep='first', inplace=False) 2

subset用来指定特定的列,默认所有列;
keep="first"表示删除重复项并保留第一次出现的项,此外,keep值还可以为'last':表示保留最后一次出现的值;'false':表示所有相同的数据都删除

选定区域:

1data1=dataframe[(dataframe.纬度.between(39.26,41.03)) & (dataframe.经度.between(115.25,117.30))] 2

二、用folium画热力图:

1import folium 2from folium.plugins import HeatMap 3map_data = data1[['纬度', '经度', '人数']].values.tolist() 4hmap = folium.Map( 5    location=[data1['纬度'].mean(), data1['经度'].mean()],  #地图中心坐标 6    control_scale=True,  7    zoom_start=13    #地图显示级别 8) 9hmap.add_child(HeatMap(map_data, radius=5, gradient={.1: 'blue',.3: 'lime', .5: 'yellow',.7:'red'})) 10

真方!

-------------------********************************** End **********-------------**-----********-**********************************

往期精彩文章推荐:

欢迎各位大佬点击链接加入群聊【helloworld开发者社区】:https://jq.qq.com/?_wv=1027&k=mBlk6nzX进群交流IT技术热点。

本文转自 https://mp.weixin.qq.com/s/YN7AfHXEHWegpYInZTT8IA,如有侵权,请联系删除。

点赞
收藏

评论区

加载中...

相关推荐

MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1

文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s

Oracle 分组与拼接字符串同时使用

SELECTT.,ROWNUMIDFROM(SELECTT.EMPLID,T.NAME,T.BU,T.REALDEPART,T.FORMATDATE,SUM(T.S0)S0,MAX(UPDATETIME)CREATETIME,LISTAGG(TOCHAR(

MySQL部分从库上面因为大量的临时表tmp_table造成慢查询

背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_

皕杰报表之UUID

​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为

手写Java HashMap源码

HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程22

2020年前端实用代码段,为你的工作保驾护航

有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )