您好！
不是一些网站不会屏蔽搜索引擎的爬虫，而是绝大部分网站都不会屏蔽的。除非你是特定行业，像淘宝就屏蔽了搜索引擎抓取内页，这个也很好理解，淘宝如果不屏蔽的话，就会造成商家的店铺以及商品被抓取，那么商家就会去做百度竞价，而不会做淘宝联盟的推广，这样淘宝岂不是得不偿失？
一般的网站都不屏蔽搜索引擎的抓取，主要是因为需要搜索引擎带来流量呀！！！！
