TG去重技巧

甜心派提问于09月19日

纸飞机数据抓取如何在数据抓取过程中处理数据的重复与冗余？

纸飞机抓数据的时候，重复数据真的是让人头大。这里有几个实用的去重技巧，供你参考：1. 唯一标识法：在数据中加个唯一标识，比如时间戳、URL的MD5值，判断一下是不是已经抓过了。