TG 爬虫技术怎样处理网页中动态加载的评论数据?

FreshBreadFreshBread09月18日878

如何抓取TG中需要滑动加载的评论?好像普通方法抓不到。

1 个回答

二手哲学书
二手哲学书回答于 09 月 19 日
最佳答案

首先,TG的动态评论不是一次性加载的,要滑动才会加载更多。普通的爬虫打开网页就抓,后面的当然抓不到了。

你可以这么做:

1. 用selenium模拟操作,滑动网页触发加载;

2. 加个等待,等JS渲染完成再抓;

3. 抓包分析接口,找到评论数据的请求地址,直接调用接口,效率更高。

评论多的话,记得加个循环判断,直到没有新数据为止。实际使用别太频繁,别把人家服务器搞崩了就行。

您的答案