| User-agent: *
|
开始配置：所有搜索引擎 |
|
| Disallow: /oauth/
|
禁止所有搜索引擎访问/oauth目录 |
|
| Disallow: /*?md=
|
禁止所有搜索引擎访问所有带参数为md=的页面 |
|
| Disallow: /gift/goods/*&
|
禁止所有搜索引擎访问/gift/goods目录下以&结尾的目录（包括子目录） |
|
| Disallow: /pins/*/zoom/
|
禁止所有搜索引擎访问/pins/*/zoom目录 |
|
| Disallow: /pins/*/js-share/
|
禁止所有搜索引擎访问/pins/*/js-share目录 |
|
| Disallow: /?*
|
禁止所有搜索引擎访问任何带参数的页面 |
|
| Disallow: /js/
|
禁止所有搜索引擎访问/js目录 |
|
| Disallow: /css/
|
禁止所有搜索引擎访问/css目录 |
|
| Disallow: /img/
|
禁止所有搜索引擎访问/img目录 |
|
| Disallow: /404/
|
禁止所有搜索引擎访问/404目录 |
|
| Disallow: /admin/
|
禁止所有搜索引擎访问/admin目录 |
|
| Disallow: /bookmarklet/*
|
禁止所有搜索引擎访问/bookmarklet下的所有文件 |
|
| Disallow: /cn/*
|
禁止所有搜索引擎访问/cn下的所有文件 |
|
| Disallow: /fm/*
|
禁止所有搜索引擎访问/fm下的所有文件 |
|
| Disallow: /jiaodiantu/*
|
禁止所有搜索引擎访问/jiaodiantu下的所有文件 |
|
| Disallow: /sfile*
|
禁止所有搜索引擎访问根目录下以sfile开头的目录（包括子目录） |
|
| Disallow: /tag/*
|
禁止所有搜索引擎访问/tag下的所有文件 |
|
| Disallow: /UploaImage/*
|
禁止所有搜索引擎访问/UploaImage下的所有文件 |
|
| Disallow: /zt/*
|
禁止所有搜索引擎访问/zt下的所有文件 |
|
| Disallow: /share_analytics.html*
|
禁止所有搜索引擎访问根目录下的share_analytics.html*文件 |
|
| Disallow: /go/
|
禁止所有搜索引擎访问/go目录 |
|
| Disallow: /boards/*/js-share/
|
禁止所有搜索引擎访问/boards/*/js-share目录 |
|
| Disallow: /*/following/boards/
|
禁止所有搜索引擎访问/*/following/boards目录 |
|
| Disallow: /*/following/explores/
|
禁止所有搜索引擎访问/*/following/explores目录 |
|
| Disallow: /search/*
|
禁止所有搜索引擎访问/search下的所有文件 |
|
| Disallow: /sso/*
|
禁止所有搜索引擎访问/sso下的所有文件 |
|
| Disallow: /login/
|
禁止所有搜索引擎访问/login目录 |
|
| Disallow: /cc/*
|
禁止所有搜索引擎访问/cc下的所有文件 |
|
| Disallow: /*/followers/*
|
禁止所有搜索引擎访问/*/followers下的所有文件 |
|
| Disallow: /user/*/pins
|
禁止所有搜索引擎访问/user/*/pins目录（包括子目录） |
|
| Disallow: /user/*/likes
|
禁止所有搜索引擎访问/user/*/likes目录（包括子目录） |
|
| Disallow: /user/*/creations
|
禁止所有搜索引擎访问/user/*/creations目录（包括子目录） |
|
| Disallow: /user/*/tags
|
禁止所有搜索引擎访问/user/*/tags目录（包括子目录） |
|
| Disallow: /user/*/following
|
禁止所有搜索引擎访问/user/*/following目录（包括子目录） |
|
| Disallow: /pins/*/similar
|
禁止所有搜索引擎访问/pins/*/similar目录（包括子目录） |
|
| Disallow: /from/*
|
禁止所有搜索引擎访问/from下的所有文件 |
|
| Disallow: /boards/favorite/*
|
禁止所有搜索引擎访问/boards/favorite下的所有文件 |
|
| Disallow: /users/favorite/*
|
禁止所有搜索引擎访问/users/favorite下的所有文件 |
|
| User-agent: YandexBot
|
开始配置：YandexBot |
|
| Disallow: /
|
禁止YandexBot访问网站的任何部分 |
|
| Sitemap：https://huaban.com/sitemap/topic-pin-sitemap_index.xml
|
Sitemap地址：//huaban.com/sitemap/topic-pin-sitemap_index.xml
|
|
| Sitemap：https://huaban.com/sitemap/topic-board-sitemap_index.xml
|
Sitemap地址：//huaban.com/sitemap/topic-board-sitemap_index.xml
|
|
| Sitemap：https://huaban.com/sitemap/topic-material-sitemap_index.xml
|
Sitemap地址：//huaban.com/sitemap/topic-material-sitemap_index.xml
|
|
| Sitemap：https://huaban.com/sitemap/zhuanti-sitemap_index.xml |
Sitemap地址：//huaban.com/sitemap/zhuanti-sitemap_index.xml |
|
