百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 编程网 > 正文

Python 爬取 20 万条评论,告诉你周杰伦新歌为啥弄崩 QQ 音乐?

yuyutoo 2024-10-13 00:36 5 浏览 0 评论

作者 | 哈哈浩

责编 | 伍杏玲

9 月 16 日晚间,周董在朋友圈发布了最新单曲《说好不哭》。

发布后,真的让一波人哭了,一群想抢鲜听的小伙伴直接泪奔。

因为 QQ 音乐直接被搞崩了!

没想到干翻 QQ 音乐的不是网易云音乐,也不是虾米音乐,而是周董!

周董成成功地凭一己之力干翻了 QQ 音乐!

那么听过周董新歌后的小伙伴都是怎么评价的呢?

这里,我们获取了 QQ 音乐的近 20W 条评论数据进行分析,看看其中有哪些有趣的东西?

数据获取

1、请求分析

在 QQ 网页版直接搜索『说好不哭』,很容易就能找到单曲页面:

说好不哭

拉到页面最下方,可以看到评论的分页查看按钮:

分页查看

按下 F12 点击第二页,在请求流中就可以看到对应的请求:

评论请求

其中可以看到两个重要参数:pagenum 和 pagesize。

将请求 copy 到 Postman 中进行测试:

Postman测试

发现可以直接获取到数据,连 Header 都不需要添加。这里尝试对请求参数进行了精简,最终只需要如下几个参数即可:

参数精简

从 Postman 中可以直接获取到对应的代码:

import requests

url = "https://c.y.qq.com/base/fcgi-bin/fcg_global_comment_h5.fcg"

querystring = {"biztype":"1","topid":"237773700","cmd":"8","pagenum":"1","pagesize":"25"}

response = requests.request("GET", url, params=querystring)

print(response.text)

这里是单页评论的获取,所有评论的获取只需递增 pagenum 即可。

2、数据解析

返回数据中有很多暂时不需要的字段,这里我们只取其中的用户名、评论时间、评论内容、点赞数。

对应如下字段:

{

"nick": "丨那壹刻永遠消失\"\"",

"praisenum": 1,

"rootcommentcontent": "越听越好听怎么回事!",

"time": 1568729836,

}

由于数据量较大 这里我们暂时将数据存放在 Excel 中,一来无须依赖外部数据库,二来可以使用 Excel 对数据进行二次处理。

数据存储代码如下:

def file_do(list_info, file_name):

# 获取文件大小

if not os.path.exists(file_name):

wb = openpyxl.Workbook

page = wb.active

page.title = 'jay'

page.append(['昵称','时间','点赞数','评论'])

else:

wb = openpyxl.load_workbook(file_name)

page = wb.active

for info in list_info:

try:

page.append(info)

except Exception:

print(info)

wb.save(filename=file_name)

数据可视化

1、各时段的评论数

首先我们对评论按小时区间进行汇总,由于时间粒度比较小,这里对时间粒度进行了一些处理:

评价人数走势图

周董的新曲是在 9.16 号 23 点准时发布的。可以看出在发布后的一个小时内(23:00-24:00)评论数量达到了高峰,占了总评论数的一半以上。

另外看了一眼 9.16 23 点之前的评论也很有意思:

一种搬好小板凳嗑着瓜子坐等的既视感

2、大家都在说什么

词云生成的方法有很多,可以用代码生成,也可以用一些在线工具。这里我就使用了在线词云工具:WordArt,生成效果如下:

词云

周杰伦、杰伦字眼很明显,还有大量跑来『打卡』的:『好听』、『来了』、『哭了』、『爱了』,其中少不了的还有『青春』,另外『阿信』的出现估计给了很多人惊喜。

3、大家都点赞了哪些评论

我们以点赞数对评论进行了排序,排名靠前的评论是如下一些:

评论排名

另外,QQ 音乐官方也会放出精彩评论:

热心网友昀恺丶

凉城

蜗牛..

对比下可以看出和我们获取到的数据是比较一致的,只不过官方并不是按点赞个数进行排名的,看得出来这些排名靠前的大都是在回忆青春。

这些评论之所以能够得到大家的共鸣,也许他们的青春里都有一个周杰伦吧。

留言互动:你的青春里有周杰伦吗?

源码:https://github.com/hoxis/Python/tree/master/python-web-scraping/qqmusic

声明:本文系作者投稿,版权归作者所有。

【END】

相关推荐

VBA中利用Instr函数(vba int函数)

【分享成果,随喜正能量】每一个在你的生命里出现的人,都有原因,喜欢你的人给了你温暖和勇气,你喜欢的人让你学会了爱和自持,你不喜欢的人教会你宽容与尊重,不喜欢你的人让你自省与成长。。...

Insta360 Link体验:支持4K画质,一款使用场景丰富的AI云台摄像头

记者|王公逸伴随直播、线上会议需求的兴起,网络直播的需求愈发增大,8月2日,影石Insta360正式推出全新产品:Insta360Link,这是一款AI智能云台摄像头。从产品形态来说,Insta3...

VBA技术资料MF299:利用Instr进行文本查找

我给VBA的定义:VBA是个人小型自动化处理的有效工具。利用好了,可以大大提高自己的工作效率,而且可以提高数据的准确度。“VBA语言専攻”提供的教程一共九套,分为初级、中级、高级三大部分,教程是对VB...

Fabric.js 拖放元素进画布 - 掘金

本文简介点赞+关注+收藏=学会了学习Fabric.js,我的建议是看文档不如看demo。本文实现的功能:将元素拖进到画布中并生成对应的图形或图片。效果如下图所示:...

Vue3为什么推荐使用ref而不是reactive

为什么推荐使用ref而不是reactivereactive本身具有很大局限性导致使用过程需要额外注意,如果忽视这些问题将对开发造成不小的麻烦;ref更像是vue2时代optionapi的data的替...

Fabric.js 样式不更新怎么办?(js更改样式)

本文简介带尬猴,我嗨德育处主任不知道你有没有遇到过在使用Fabric.js时无意中一些骚操作修改了元素的样式,但刷新画布却没更新元素样式?如果你也遇到同样的问题的话,可以尝试使用本文的方法。...

Fabric.js 修改画布交互方式到底有什么用?

本文简介点赞+关注+收藏=学会了fabric.js为我们提供了很多厉害的方法。今天要搞明白的一个东西是canvas.interactive。官方文档对canvas.interact...

Rust Web编程:第五章 在浏览器上显示内容

我们现在正处于可以构建一个Web应用程序的阶段,该应用程序可以使用不同的方法和数据管理一系列HTTP请求。这很有用,特别是当我们为微服务构建服务器时。然而,我们也希望非程序员能够与我们的应...

Fabric.js 自由绘制椭圆 - 掘金(canvas画椭圆)

本文简介点赞+关注+收藏=学会了本文讲解在Fabric.js中如何自由绘制椭圆形,如果你还不了解Fabric.js,可以查阅《Fabric.js从入门到精通》。效果如下图所示...

手把手教你实现JS手搓"防抖"优化代码——专业的事用专业的方法!

前言在我们前端编程中,假如我们要给后端发送请求,万一手抖多点了几次,多发送了几遍怎么办?解决方案:防抖!这种事就要交给我们专业的“防抖”先生来处理!今天,我们就来教大家手搓“防抖”...

详解虚拟DOM与Diff算法(虚拟dom一定比实际dom快吗)

vue的虚拟DOM,Diff算法,其中一些关键的地方从别处搬运了一些图进行说明(感谢制图的大佬),也包含比较详细的源码解读。...

走进 React Fiber 的世界(我走进你的世界手势舞视频)

文/阿里淘系F(x)Team-冷卉Fiber设计思想Fiber是对React核心算法的重构,facebook团队使用两年多的时间去重构React的核心算法,在React16以上...

前端新一代框架 Svelte 火了!十个场景带你简单认识它!

近几年听到的主流框架都是Vue、React、Angular,但其实有一个框架在国外非常火,用起来也是很方便,那就是...

借助DeepSeek实现了一个PDF阅读器

1、简介使用pdf.js库加载和显示PDF文件。实现了翻页、缩放功能。提供了基本的错误处理。功能特点:支持选择本地PDF文件。可以逐页查看PDF内容。支持放大缩小功能。界面简洁,易于使...

DeepSeek代码之旅1:卫星地图标记方法之——html语言的实现

最近遇到一个任务,具体功能如下:1、调用高德地图API,图层为卫星图层,根据需要标记兴趣点;2、标记完成后可以保存兴趣点,便于下次加载历史兴趣点。...

取消回复欢迎 发表评论: