Erlo

爬取微博热搜,实现数据可视化,制作动态可视化图

时间:2020-09-16   阅读:16次   来源:博客园
页面报错
点赞

前言

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

以下文章来源于python数据分析之禅 ,作者小dull鸟

python数据分析之禅今天教大家如何用pyecharts制作微博热搜榜动态展示视频,先上视频看看效果:

爬取微博热搜,实现数据可视化,制作动态可视化图

 

教程主要有2部分:

一是python爬取微博热搜内容
二是用pyecharts制作动态视频

下面给大家详细介绍一下

爬取微博热搜,实现数据可视化,制作动态可视化图

 

一、爬取微博热搜内容

微博热搜网址为:

https://s.weibo.com/top/summary

爬取微博热搜,实现数据可视化,制作动态可视化图

 

经分析,微博热搜数据就在网页中,可以直接requests请求,然后BeautifulSoup解析获取内容,最后存入表格中,代码如下(完整代码在文末):

for i, item in enumerate(items[1:11]):
result = [] rank = '第{0}名'.format(i+1) # 微博排名
num = str(item.find('span')).replace('<span>', '').replace('</span>', '') # 微博热度
title = item.find('a').text # 微博内容
result.append(time_stamp)
result.append(rank)
result.append(num)
result.append(title)
with open('1.csv', 'a+',newline='') as f:
f_csv = csv.writer(f) f_csv.writerow(result)

微博热搜一般是1分钟更新一次,所以再给代码加个定时器:

schedule.every(1).minutes.do(run)  #run为自定义热搜爬虫函数,设置1分钟爬取1次
while True:
schedule.run_pending()

让程序跑一会,我们的数据就弄好了

爬取微博热搜,实现数据可视化,制作动态可视化图

 

二、开始画动态图

1.pandas读取数据

import pandas as pd
data=pd.read_csv('微博热搜.csv',encoding='gbk')

2.基本动态图画法

from pyecharts import options as opts
from pyecharts.charts import Bar, Timeline
from pyecharts.faker import Faker
x = Faker.choose()tl = Timeline()for i in range(2015, 2020):
bar = ( Bar() .add_xaxis(x) .add_yaxis("", Faker.values())
.set_global_opts(title_opts=opts.TitleOpts("某商店{}年营业额".format(i)))
) tl.add(bar, "{}年".format(i))
tl.render_notebook()

爬取微博热搜,实现数据可视化,制作动态可视化图

 

2.将图形反转,导入横坐标(排名)、纵坐标(热度)

tl = Timeline()
for i in range(20): bar = ( Bar() .add_xaxis(list(data['内容'])[i*10:i*10+10][::-1])
.add_yaxis("微博热搜榜", list(data['热度'])[i*10:i*10+10][::-1])
.reversal_axis()
.set_global_opts(title_opts=opts.TitleOpts("某商店{}年营业额".format(i)))
) tl.add(bar, "{}年".format(i))tl.render_notebook()` </pre>

爬取微博热搜,实现数据可视化,制作动态可视化图

 

3.将标签放置在图形右边,将图形整体右移

from pyecharts.charts import Bar, Timeline,Grid
tl = Timeline()for i in range(20): bar = ( Bar() .add_xaxis(list(data['内容'])[i*10:i*10+10][::-1])
.add_yaxis("微博热搜榜", list(data['热度'])[i*10:i*10+10][::-1])
.reversal_axis()
.set_global_opts(title_opts=opts.TitleOpts("某商店{}年营业额".format(i)))
.set_series_opts(label_opts=opts.LabelOpts(position="right")) #将标签放置在图形右边
)
tl.add(bar, '')
grid = (
Grid()
.add(bar, grid_opts=opts.GridOpts(pos_left="25%",pos_right="0%")) #将图形整体右移
) tl.add(grid, '')tl.render_notebook()

爬取微博热搜,实现数据可视化,制作动态可视化图

 

4.设置播放速度,隐藏timeline组件,设置自动播放

tl = Timeline()
for i in range(20): bar = ( Bar() .add_xaxis(list(data['内容'])[i*10:i*10+10][::-1])
.add_yaxis("微博热搜榜", list(data['热度'])[i*10:i*10+10][::-1])
.reversal_axis()
.set_global_opts(title_opts=opts.TitleOpts("某商店{}年营业额".format(i)))
.set_series_opts(label_opts=opts.LabelOpts(position="right")) #将标签放置在图形右边
)
tl.add(bar, "")
grid = (
Grid()
.add(bar, grid_opts=opts.GridOpts(pos_left="25%",pos_right="0%")) #将图形整体右移
) tl.add(grid, "") tl.add_schema(
play_interval=100, #播放速度
is_timeline_show=False, #是否显示 timeline 组件
is_auto_play=False,) #是否自动播放
tl.render_notebook()

爬取微博热搜,实现数据可视化,制作动态可视化图

 

5.设置主题,增加时间标签

tl = Timeline({"theme": ThemeType.MACARONS})
for i in range(20):
bar = ( Bar({"theme": ThemeType.MACARONS})
.add_xaxis(list(data['内容'])[i*10:i*10+10][::-1])
.add_yaxis("微博热搜榜", list(data['热度'])[i*10:i*10+10][::-1])
.reversal_axis() .set_global_opts( title_opts=opts.TitleOpts("{}".format(list(data['时间'])[i*10]),pos_right='0%',pos_bottom='15%'),
xaxis_opts=opts.AxisOpts( splitline_opts=opts.SplitLineOpts(is_show=True)), yaxis_opts=opts.AxisOpts(splitline_opts=opts.SplitLineOpts(is_show=True), axislabel_opts=opts.LabelOpts(color='#FF7F50')),)
.set_series_opts(label_opts=opts.LabelOpts(position="right",color='#9400D3'))
) grid = ( Grid() .add(bar, grid_opts=opts.GridOpts(pos_left="25%",pos_right="0%"))
) tl.add(grid, "{}年".format(i)) #设置标签
tl.add_schema(
play_interval=100, #播放速度
is_timeline_show=False, #是否显示 timeline 组件
is_auto_play=True,
)
tl.render_notebook()

爬取微博热搜,实现数据可视化,制作动态可视化图

提交留言

评论留言

还没有评论留言,赶紧来抢楼吧~~

吐槽小黑屋()

* 这里是“吐槽小黑屋”,所有人可看,只保留当天信息。

  • Erlo吐槽

    Erlo.vip2020-09-27 10:10:42Hello、欢迎使用吐槽小黑屋,这就是个吐槽的地方。
  • 返回顶部