最近有个客户的网站负载一直很高，模板兔检查了下网站发现是头条的爬虫（bytespider; zhanzhang.toutiao.com）在搞事，每秒好几个请求，还尽请求一些跑数据库的链接，要是服务器差一点，完全扛不住的。
我们可以通过拉黑头条的IP段来解决：
110.249.201.0/24
110.249.202.0/24
111.225.148.0/24
111.225.149.0/24
爬虫IP拉黑后，立马通畅了～
最近有个客户的网站负载一直很高，模板兔检查了下网站发现是头条的爬虫（bytespider; zhanzhang.toutiao.com）在搞事，每秒好几个请求，还尽请求一些跑数据库的链接，要是服务器差一点，完全扛不住的。
我们可以通过拉黑头条的IP段来解决：
110.249.201.0/24
110.249.202.0/24
111.225.148.0/24
111.225.149.0/24
爬虫IP拉黑后，立马通畅了～
0 个评论