| User-agent: Twitterbot |
开始配置：Twitterbot |
|
| Disallow: |
允许Twitterbot访问网站的任何部分 |
|
| User-agent: * |
开始配置：所有搜索引擎 |
|
| Disallow: /cdn/ |
禁止所有搜索引擎访问/cdn目录 |
|
| Disallow: /build/ |
禁止所有搜索引擎访问/build目录 |
|
| Disallow: /avatar/ |
禁止所有搜索引擎访问/avatar目录 |
|
| Disallow: /webbuild/ |
禁止所有搜索引擎访问/webbuild目录 |
|
| Disallow: /wp/ |
禁止所有搜索引擎访问/wp目录 |
|
| Disallow: /sitemapGenerator/ |
禁止所有搜索引擎访问/sitemapGenerator目录 |
|
| Disallow: /ask/ |
禁止所有搜索引擎访问/ask目录 |
|
| Disallow: /web/ |
禁止所有搜索引擎访问/web目录 |
|
| Disallow: /m/ |
禁止所有搜索引擎访问/m目录 |
|
| Disallow: /forum/faq.php |
禁止所有搜索引擎访问/forum目录下的faq.php文件 |
|
| Disallow: /support/ |
禁止所有搜索引擎访问/support目录 |
|
| Disallow: /online/ |
禁止所有搜索引擎访问/online目录 |
|
| Disallow: /pad/ |
禁止所有搜索引擎访问/pad目录 |
|
| Disallow: /cgi-bin/ |
禁止所有搜索引擎访问/cgi-bin目录 |
|
| Disallow: /go/ |
禁止所有搜索引擎访问/go目录 |
|
| Disallow: /stats/ |
禁止所有搜索引擎访问/stats目录 |
|
| Disallow: /dh_ |
禁止所有搜索引擎访问/dh_目录（包括子目录） |
|
| Disallow: /wp-admin/ |
禁止所有搜索引擎访问/wp-admin目录 |
|
| Disallow: /wp-includes/ |
禁止所有搜索引擎访问/wp-includes目录 |
|
| Disallow: /wp-content/ |
禁止所有搜索引擎访问/wp-content目录 |
|
| Disallow: /contact/ |
禁止所有搜索引擎访问/contact目录 |
|
| Disallow: /author/ |
禁止所有搜索引擎访问/author目录 |
|
| Disallow: /page/ |
禁止所有搜索引擎访问/page目录 |
|
| Disallow: /category/ |
禁止所有搜索引擎访问/category目录 |
|
| Disallow: /archives/ |
禁止所有搜索引擎访问/archives目录 |
|
| Disallow: /date/ |
禁止所有搜索引擎访问/date目录 |
|
| Disallow: /wp-images/ |
禁止所有搜索引擎访问/wp-images目录 |
|
| Disallow: /images/ |
禁止所有搜索引擎访问/images目录 |
|
| Disallow: /backup/ |
禁止所有搜索引擎访问/backup目录 |
|
| Disallow: /banners/ |
禁止所有搜索引擎访问/banners目录 |
|
| Disallow: /trackback/ |
禁止所有搜索引擎访问/trackback目录 |
|
| Disallow: /feed/ |
禁止所有搜索引擎访问/feed目录 |
|
| Disallow: /*/feed/ |
禁止所有搜索引擎访问/*/feed目录 |
|
| Disallow: /*/feed/$ |
禁止所有搜索引擎访问/*/feed目录下所有以结尾的文件 |
|
| Disallow: /*/feed/rss/$ |
禁止所有搜索引擎访问/*/feed/rss目录下所有以结尾的文件 |
|
| Disallow: /*? |
禁止所有搜索引擎访问所有带参数为的页面 |
|
| Disallow: /*?* |
禁止所有搜索引擎访问任何带参数的页面 |
|
| Disallow: /*.php$ |
禁止所有搜索引擎访问所有以*.php结尾的文件 |
|
| Disallow: /*.php* |
禁止所有搜索引擎访问所有以.php为后缀的文件 |
|
| Disallow: /*.inc$ |
禁止所有搜索引擎访问所有以*.inc结尾的文件 |
|
| Disallow: */feed/ |
禁止所有搜索引擎访问*/feed目录 |
|
| Disallow: /*.cgi$ |
禁止所有搜索引擎访问所有以*.cgi结尾的文件 |
|
| Disallow: /*.xhtml$ |
禁止所有搜索引擎访问所有以*.xhtml结尾的文件 |
|
| Disallow: */trackback/ |
禁止所有搜索引擎访问*/trackback目录 |
|
| Disallow: */trackback* |
禁止所有搜索引擎访问*目录下以trackback开头的目录（包括子目录） |
|
| Disallow: /category/* |
禁止所有搜索引擎访问/category下的所有文件 |
|
| Disallow: /wp-* |
禁止所有搜索引擎访问根目录下以wp-开头的目录（包括子目录） |
|
| Disallow: /wget/ |
禁止所有搜索引擎访问/wget目录 |
|
| Disallow: /httpd/ |
禁止所有搜索引擎访问/httpd目录 |
|
| Disallow: /tag/ |
禁止所有搜索引擎访问/tag目录 |
|
| Disallow: /i/ |
禁止所有搜索引擎访问/i目录 |
|
| Disallow: /f/ |
禁止所有搜索引擎访问/f目录 |
|
| Disallow: /t/ |
禁止所有搜索引擎访问/t目录 |
|
| Disallow: /c/ |
禁止所有搜索引擎访问/c目录 |
|
| Disallow: /j/ |
禁止所有搜索引擎访问/j目录 |
|
| Disallow: /v/ |
禁止所有搜索引擎访问/v目录 |
|
| Disallow: /user/ |
禁止所有搜索引擎访问/user目录 |
|
| Disallow: /my/ |
禁止所有搜索引擎访问/my目录 |
|
| Disallow: /videos/ |
禁止所有搜索引擎访问/videos目录 |
|
| Disallow: /fromkantu/ |
禁止所有搜索引擎访问/fromkantu目录 |
|
| Disallow: /manager/ |
禁止所有搜索引擎访问/manager目录 |
|
| User-agent: Googlebot |
开始配置：Googlebot |
|
| Disallow: /feed/$ |
禁止Googlebot访问/feed目录下所有以结尾的文件 |
|
| Disallow: /*/feed/$ |
禁止Googlebot访问/*/feed目录下所有以结尾的文件 |
|
| Disallow: /*/feed/rss/$ |
禁止Googlebot访问/*/feed/rss目录下所有以结尾的文件 |
|
| Disallow: /*/trackback/$ |
禁止Googlebot访问/*/trackback目录下所有以结尾的文件 |
|
| Disallow: /*/*/feed/$ |
禁止Googlebot访问/*/*/feed目录下所有以结尾的文件 |
|
| Disallow: /*/*/feed/rss/$ |
禁止Googlebot访问/*/*/feed/rss目录下所有以结尾的文件 |
|
| Disallow: /*/*/trackback/$ |
禁止Googlebot访问/*/*/trackback目录下所有以结尾的文件 |
|
| Disallow: /*/*/*/feed/$ |
禁止Googlebot访问/*/*/*/feed目录下所有以结尾的文件 |
|
| Disallow: /*/*/*/feed/rss/$ |
禁止Googlebot访问/*/*/*/feed/rss目录下所有以结尾的文件 |
|
| Disallow: /*/*/*/trackback/$ |
禁止Googlebot访问/*/*/*/trackback目录下所有以结尾的文件 |
|
| Disallow: /*.php$ |
禁止Googlebot访问所有以*.php结尾的文件 |
|
| Disallow: /*.inc$ |
禁止Googlebot访问所有以*.inc结尾的文件 |
|
| Disallow: /*.wmv$ |
禁止Googlebot访问所有以*.wmv结尾的文件 |
|
| Disallow: /*.avi$ |
禁止Googlebot访问所有以*.avi结尾的文件 |
|
| Disallow: /*.cgi$ |
禁止Googlebot访问所有以*.cgi结尾的文件 |
|
| Disallow: /*.txt$ |
禁止Googlebot访问所有以*.txt结尾的文件 |
|
| Sitemap: |
Sitemap地址： |
|
