用什么限制蜘蛛爬一些没用的文件拜托了各位谢谢

从昨天发现网站的收录下降了不少，今天问了技术，说是限制了蜘蛛爬行，我汗！说是蜘蛛总是爬一些没用的页面。占用服务器，如果用户量多的话，就打个网页特别慢了。我建议做robots文件，他说做过，不管用。问一下大家，robots文件是不是只限制蜘蛛收录，不限制爬行。若是想限制爬行的话，那得怎么办？

2026年09月23日 00:26

有1个网友回答

网友（1）：

robots文件是不是只限制蜘蛛收录，不限制爬行。若是想限制爬行的话，那得怎么办？查看原帖>>

用什么限制蜘蛛爬一些没用的文件拜托了各位 谢谢