最近发现nginx日志中出现了好多MJ12bot等垃圾爬虫的抓取记录，导致日志体积增大，增加服务器压力。这里整理收集了网络上各种禁止垃圾蜘蛛爬站的方法，在给自己网做设置的同时，也给各位站长提供...