TAG标签-与“协议头”有关的资源分享
宝塔面板根据访问协议头屏蔽字节跳动爬虫
教程 服务器/数据库

宝塔面板根据访问协议头屏蔽字节跳动爬虫

最近，字节跳动搜索引擎的爬虫疯狂爬取全网资源，导致一些小网站服务器不堪重负，严重的直接使网站宕机。我们有很多方法可屏蔽掉爬虫，比如 robot.txt ,但是貌似字节跳动旗下的今日头条爬虫比较流氓，他不遵守这个！还有一个通过屏蔽IP的方式，
 5814

猜你喜欢