给你的博客建立一个合适的robots.txt 文件将对你的博客的SEO（搜索引擎优化）起着很大的作用。虽然我们会读过很多关于如何建立robots.txt 文件的文章（例如我上一篇文章：给你的Wordpress 博客建立一个 robots.txt 文件），但与其看人家怎么说不如看人家怎么做，下面就是dailyblogtips为我们搜集的几大著名网站及博客的robots.txt 文件，我们不妨参考一下那些成功的博客是怎么做的。
The Minimalistic Guys
Problogger.net
User-agent: *
Disallow:
Marketing Pilgrim
User-agent: *
Disallow:
robots.txt 文件的作用就是告诉搜索引擎的机器人应该检索和收录你博客的哪些页面。大多的Wordpress博客都有一些内容或文件（例如图片以及admin目录下的文件）是不需要搜索引擎去收录的，因而建立一个robots.txt 文件可以增快你的博客被收录的速度和效果。
robots.txt 文件是一个简单的文本文件，你可以通过“文本文档”来建立一个。下面是Wordpress 博客最简单的robots.txt 文件：
User-agent: *
Disallow: /wp-
Disallow: /feed/
Disallow: /trackback/
“User-agent: *”的意思是搜索引擎 (如 Google, Yahoo, MSN 等) 不能用该结构来检索你的博客。
“Disallow: /wp-”的作用是确保搜索引擎不会收录你的Wordpress文件。使用了该代码后“wp-”目录下的内容都不会被收录，防止内容的重复提交。
后面两项的意思也是以此类推。
当你建立好你的robots.txt 文件后，直接把它上传到你的根目录下就可以了。
