TG爬虫稳定性

楼下花店提问于09月18日

纸飞机数据抓取如何处理网站频繁更换域名的情况？

首先，网站频繁更换域名，确实会影响爬虫的抓取，但也不是无解的。有如下几种方法可以解决：第一种是监控备案号，很多网站换域名都会先注册新域名，我们可以定时查询网站的备案号，获取网站所有域名。