前段时间蓝点网曾提过国内某家搜索引擎爬虫不遵守协议高频抓爬导致国内外许多网站如被攻击般访问极度缓慢。 当时相关公司看到报道后对爬虫进行紧急优化解决高频抓…