蜘蛛

nginx根据指定User Agent来屏蔽访问或301跳转,今天早上看了自己一个网站监控，频繁的502.检查了下日志发现几乎全是一个SemrushBot/6~bl; +http://www.semrush.com/bot.html的垃圾蜘蛛访问的，百度搜索了下，这东西他不遵守robots规则的，本来想在robots文件里屏蔽下。