动态加载数据

FreshBread提问于09月18日

TG 爬虫技术怎样处理网页中动态加载的评论数据？

首先，TG的动态评论不是一次性加载的，要滑动才会加载更多。普通的爬虫打开网页就抓，后面的当然抓不到了。你可以这么做：1. 用selenium模拟操作，滑动网页触发加载；2. 加个等待，等JS渲染完成再抓；3. 抓包分析接口，找到评论数据的请求地址，直接调用接口，效率更高。