如何抓取TG中需要滑动加载的评论?好像普通方法抓不到。
首先,TG的动态评论不是一次性加载的,要滑动才会加载更多。普通的爬虫打开网页就抓,后面的当然抓不到了。
你可以这么做:
1. 用selenium模拟操作,滑动网页触发加载;
2. 加个等待,等JS渲染完成再抓;
3. 抓包分析接口,找到评论数据的请求地址,直接调用接口,效率更高。
评论多的话,记得加个循环判断,直到没有新数据为止。实际使用别太频繁,别把人家服务器搞崩了就行。