TG爬虫性能控制

晾衣架摇晃提问于09月19日

纸飞机数据抓取如何在不影响网站性能的前提下进行深度数据挖掘？

纸飞机这种平台抓数据，有几个地方需要注意下。1.控制频率，不要太频繁的请求，别跟秒杀一样刷网页。2.用代理IP轮换，避免封号。3.抓取数据只取需要的数据，不要乱加载页面。