你们网站里的爬虫协议是怎么写的,该让百度抓取那些内容ecshop的爬虫协议怎么写

2026年09月25日 08:10
有1个网友回答
网友(1):

disallow (后面跟什么目录) 就是禁止百度蜘蛛抓取什么目录,所有的网站都是通用的