| User-agent: Yahoo! Slurp |
开始配置：Yahoo! Slurp |
|
| Disallow: /*.gif$ |
禁止Yahoo! Slurp访问所有以*.gif结尾的文件 |
|
| Disallow: /*.png$ |
禁止Yahoo! Slurp访问所有以*.png结尾的文件 |
|
| Disallow: /*_dev.php |
禁止Yahoo! Slurp访问根目录下的*_dev.php文件 |
|
| Disallow: /app |
禁止Yahoo! Slurp访问/app目录（包括子目录） |
|
| Disallow: /*.jpg$ |
禁止Yahoo! Slurp访问所有以*.jpg结尾的文件 |
|
| Disallow: /*.ttf$ |
禁止Yahoo! Slurp访问所有以*.ttf结尾的文件 |
|
| Disallow: /scripts/ |
禁止Yahoo! Slurp访问/scripts目录 |
|
| Disallow: /scripts2/ |
禁止Yahoo! Slurp访问/scripts2目录 |
|
| Disallow: /ads/ |
禁止Yahoo! Slurp访问/ads目录 |
|
| Disallow: /cache/ |
禁止Yahoo! Slurp访问/cache目录 |
|
| Disallow: /fonts/images/ |
禁止Yahoo! Slurp访问/fonts/images目录 |
|
| Disallow: /forum |
禁止Yahoo! Slurp访问/forum目录（包括子目录） |
|
| Disallow: /fonts/images2/ |
禁止Yahoo! Slurp访问/fonts/images2目录 |
|
| Disallow: /fonts/commercial/images/ |
禁止Yahoo! Slurp访问/fonts/commercial/images目录 |
|
| Disallow: /fonts/commercial/images2/ |
禁止Yahoo! Slurp访问/fonts/commercial/images2目录 |
|
| Disallow: /dingbats/images/ |
禁止Yahoo! Slurp访问/dingbats/images目录 |
|
| Disallow: /dingbats/images2/ |
禁止Yahoo! Slurp访问/dingbats/images2目录 |
|
| Disallow: /images/ |
禁止Yahoo! Slurp访问/images目录 |
|
| Disallow: /images2/ |
禁止Yahoo! Slurp访问/images2目录 |
|
| Disallow: /adminpanel/ |
禁止Yahoo! Slurp访问/adminpanel目录 |
|
| Disallow: /fonts/folders/ |
禁止Yahoo! Slurp访问/fonts/folders目录 |
|
| Disallow: /fonts/admin_authors.php |
禁止Yahoo! Slurp访问/fonts目录下的admin_authors.php文件 |
|
| Disallow: /fonts/fonts/folders/ |
禁止Yahoo! Slurp访问/fonts/fonts/folders目录 |
|
| Disallow: /members.aol.com/ |
禁止Yahoo! Slurp访问/members.aol.com目录 |
|
| Disallow: /javascript*/ |
禁止Yahoo! Slurp访问根目录下以javascript开头的目录 |
|
| Disallow: /font.htm |
禁止Yahoo! Slurp访问根目录下的font.htm文件 |
|
| Disallow: /download.php |
禁止Yahoo! Slurp访问根目录下的download.php文件 |
|
| Allow: /*?$ |
允许Yahoo! Slurp访问所有以*?结尾的文件 |
|
| User-agent: * |
开始配置：所有搜索引擎 |
|
| Disallow: /scripts/ |
禁止所有搜索引擎访问/scripts目录 |
|
| Disallow: /scripts2/ |
禁止所有搜索引擎访问/scripts2目录 |
|
| Disallow: /ads/ |
禁止所有搜索引擎访问/ads目录 |
|
| Disallow: /cgi-bin/ |
禁止所有搜索引擎访问/cgi-bin目录 |
|
| Disallow: /tmp/ |
禁止所有搜索引擎访问/tmp目录 |
|
| Disallow: /cache/ |
禁止所有搜索引擎访问/cache目录 |
|
| Disallow: /fonts/images/ |
禁止所有搜索引擎访问/fonts/images目录 |
|
| Disallow: /fonts/images2/ |
禁止所有搜索引擎访问/fonts/images2目录 |
|
| Disallow: /fonts/commercial/images/ |
禁止所有搜索引擎访问/fonts/commercial/images目录 |
|
| Disallow: /fonts/commercial/images2/ |
禁止所有搜索引擎访问/fonts/commercial/images2目录 |
|
| Disallow: /dingbats/images/ |
禁止所有搜索引擎访问/dingbats/images目录 |
|
| Disallow: /dingbats/images2/ |
禁止所有搜索引擎访问/dingbats/images2目录 |
|
| Disallow: /images/ |
禁止所有搜索引擎访问/images目录 |
|
| Disallow: /images2/ |
禁止所有搜索引擎访问/images2目录 |
|
| Disallow: /adminpanel/ |
禁止所有搜索引擎访问/adminpanel目录 |
|
| Disallow: /fonts/folders/ |
禁止所有搜索引擎访问/fonts/folders目录 |
|
| Disallow: /fonts/admin_authors.php |
禁止所有搜索引擎访问/fonts目录下的admin_authors.php文件 |
|
| Disallow: /download.php |
禁止所有搜索引擎访问根目录下的download.php文件 |
|
| Disallow: /fonts/fonts/folders/ |
禁止所有搜索引擎访问/fonts/fonts/folders目录 |
|
| Disallow: /members.aol.com/ |
禁止所有搜索引擎访问/members.aol.com目录 |
|
| Disallow: /javascript*/ |
禁止所有搜索引擎访问根目录下以javascript开头的目录 |
|
| Disallow: /font.htm |
禁止所有搜索引擎访问根目录下的font.htm文件 |
|
| Disallow: /forum |
禁止所有搜索引擎访问/forum目录（包括子目录） |
|
| Disallow: /fonts/dingbats/ |
禁止所有搜索引擎访问/fonts/dingbats目录 |
|
| Disallow: /fonts/categorized/ |
禁止所有搜索引擎访问/fonts/categorized目录 |
|
