要想网站排名靠前，robots.txt文件必须写好！详解robots文件
Robots文件是每个网站做优化时必做的文件！它必须放置在网站的根目录下面，它的作用是规定搜索引擎是否可以访问我的网站及规定具体访问哪些页面的文件。这样的话我们网站中很多不需要搜索引擎收录的页面我们就不允许搜索引擎读取，这样会节约它的时间和减少它的工作难度。以达到让搜索引擎喜欢我们的网站的目的。毕竟，做seo就是一个如何让搜索引擎更喜欢我们的网站的过程。
检查一个网站有没有做robots.txt文件的方式就是在网址后加robots.txt来访问，如：http://www.sjk8.com/robots.txt 如果一个网站不做robots文件，想排名好，基本是不可能的。如图：
robots文件
Robots文件具体的制作方法是，先新建一个文本文档，名字必须为“robots.txt”,内容写法如下：
- user-agent:* (中文名为用户代理,表示允许抓取的搜索引擎是哪些)
- Allow:/aaa （可以不写，它表示可以读取的文件夹，默认就是可读取的）
- Disallow:/ 文件或者文件夹的名字（列出不允许读取的文件或者文件夹）
第一句简单理解为允许任何搜索引擎抓取，第二句表示可以抓取哪些文件夹，第三句表示不允许抓取哪些内容 。我们需要把所有不需要抓取的文件夹或者文件一一列举出来。
注意“*”的使用，“*”代表任何字符，如*.css代表所有的css文件。
在第二句中的/符号表示网站的根目录。如果我们的网站不允许哪个搜索引擎收录，比如不允许百度收录，robots.txt文件写法如下：
- User-agent: Baiduspider
- Disallow: / （这里”/”表示网站根目录）
第一句的baiduspider是百度蜘蛛名称，第二句表示不允许它抓取根目录下的其它任何文件或者文件夹。如果不允许哪个搜索引擎抓取，只需要更改上面的代码中的“baiduspider”就可以了。因为搜索引擎读取robots文件是一行一行从上向下读取的。先执行上面的语句，再执行下面的语句。
seo技术
比如：屏蔽一个文件夹/aa，但是又能抓取其中某个文件夹的写法:/aa/main
robots.txt写法如下：
- User-agent: *
- Disallow: /aa
- Allow: aa/main
如果需要访问这个被禁止的文件夹下面的某些文件，只需要把这些文件一个个allow就可以了，当然，如果是某个类型，也就是同一个扩展名的文件，可以用如下方式抓取：
仅允许访问某目录下某个后缀的文件：
robots.txt写法如下：
- User-agent: *
- Allow: *.html
- Disallow: /
仅允许访问某目录下某个后缀的文件,也可以使用“$”表达：
robots.txt写法如下：
- User-agent: *
- Allow: .html$
- Disallow
robots文件怎么写
常见搜索引擎蜘蛛的名字：
googlebot、Bingbot、360Spider、Yisouspider、Sogouspider、Yahoo! Slurp
然后将制作好的robots.txt 文件上传至我们网站的根目录下即可。