原因

有时候有些特殊原因，我们不希望搜索引擎收录我们的网页，比如我们在上线的是一个仅供内部使用的后台管理系统登录页面等等……

做法

User-agent: *Disallow: /

只需要这两行代码写入一个命名为“robots.txt”的文件，然后将这个文件放置网站根目录即可。
如果你懒于去做一个这样的文件，可以直接点击下载本文件。
本地下载