首先robots是一个协议，并不是命令。也就是说搜索引擎可以遵守也可以不遵守。屏蔽以后参加排名的搜索引擎，在网站正式上线之后再放出。上线以后你可以发外链并向搜索引擎提交url。这个是百度的/search/url_submit.html
正常情况下。蜘蛛都会来爬取的。如果网站内容质量达到收录标准，就会收录。这个不用担心。
建议在这个过程中自己设置网站需要优化的：标题、布局、优质的内容。为用户提供价值的内容。
