| User-agent: UbiCrawler |
开始配置：UbiCrawler |
|
| Disallow: / |
禁止UbiCrawler访问网站的任何部分 |
|
| User-agent: Zao |
开始配置：Zao |
|
| Disallow: / |
禁止Zao访问网站的任何部分 |
|
| User-agent: sitecheck.internetseer.com |
开始配置：sitecheck.internetseer.com |
|
| Disallow: / |
禁止sitecheck.internetseer.com访问网站的任何部分 |
|
| User-agent: Zealbot |
开始配置：Zealbot |
|
| Disallow: / |
禁止Zealbot访问网站的任何部分 |
|
| User-agent: MSIECrawler |
开始配置：MSIECrawler |
|
| Disallow: / |
禁止MSIECrawler访问网站的任何部分 |
|
| User-agent: SiteSnagger |
开始配置：SiteSnagger |
|
| Disallow: / |
禁止SiteSnagger访问网站的任何部分 |
|
| User-agent: WebStripper |
开始配置：WebStripper |
|
| Disallow: / |
禁止WebStripper访问网站的任何部分 |
|
| User-agent: WebCopier |
开始配置：WebCopier |
|
| Disallow: / |
禁止WebCopier访问网站的任何部分 |
|
| User-agent: Fetch |
开始配置：Fetch |
|
| Disallow: / |
禁止Fetch访问网站的任何部分 |
|
| User-agent: Offline Explorer |
开始配置：Offline Explorer |
|
| Disallow: / |
禁止Offline Explorer访问网站的任何部分 |
|
| User-agent: Teleport |
开始配置：Teleport |
|
| Disallow: / |
禁止Teleport访问网站的任何部分 |
|
| User-agent: TeleportPro |
开始配置：TeleportPro |
|
| Disallow: / |
禁止TeleportPro访问网站的任何部分 |
|
| User-agent: WebZIP |
开始配置：WebZIP |
|
| Disallow: / |
禁止WebZIP访问网站的任何部分 |
|
| User-agent: linko |
开始配置：linko |
|
| Disallow: / |
禁止linko访问网站的任何部分 |
|
| User-agent: HTTrack |
开始配置：HTTrack |
|
| Disallow: / |
禁止HTTrack访问网站的任何部分 |
|
| User-agent: Microsoft.URL.Control |
开始配置：Microsoft.URL.Control |
|
| Disallow: / |
禁止Microsoft.URL.Control访问网站的任何部分 |
|
| User-agent: Xenu |
开始配置：Xenu |
|
| Disallow: / |
禁止Xenu访问网站的任何部分 |
|
| User-agent: larbin |
开始配置：larbin |
|
| Disallow: / |
禁止larbin访问网站的任何部分 |
|
| User-agent: libwww |
开始配置：libwww |
|
| Disallow: / |
禁止libwww访问网站的任何部分 |
|
| User-agent: ZyBORG |
开始配置：ZyBORG |
|
| Disallow: / |
禁止ZyBORG访问网站的任何部分 |
|
| User-agent: Download Ninja |
开始配置：Download Ninja |
|
| Disallow: / |
禁止Download Ninja访问网站的任何部分 |
|
| User-agent: wget |
开始配置：wget |
|
| Disallow: / |
禁止wget访问网站的任何部分 |
|
| User-agent: grub-client |
开始配置：grub-client |
|
| Disallow: / |
禁止grub-client访问网站的任何部分 |
|
| User-agent: k2spider |
开始配置：k2spider |
|
| Disallow: / |
禁止k2spider访问网站的任何部分 |
|
| User-agent: NPBot |
开始配置：NPBot |
|
| Disallow: / |
禁止NPBot访问网站的任何部分 |
|
| User-agent: WebReaper |
开始配置：WebReaper |
|
| Disallow: / |
禁止WebReaper访问网站的任何部分 |
|
| User-agent: Baiduspider |
开始配置：Baiduspider |
|
| Disallow: / |
禁止Baiduspider访问网站的任何部分 |
|
| User-agent: baiduspider |
开始配置：baiduspider |
|
| Disallow: / |
禁止baiduspider访问网站的任何部分 |
|
| User-agent: * |
开始配置：所有搜索引擎 |
|
| Allow: / |
允许所有搜索引擎访问网站的任何部分 |
|
| Disallow: /edit_community |
禁止所有搜索引擎访问/edit_community目录（包括子目录） |
|
| Disallow: /search |
禁止所有搜索引擎访问/search目录（包括子目录） |
|
| Disallow: /user |
禁止所有搜索引擎访问/user目录（包括子目录） |
|
| Disallow: /redirect_link |
禁止所有搜索引擎访问/redirect_link目录（包括子目录） |
|
| Disallow: /snapshot_page |
禁止所有搜索引擎访问/snapshot_page目录（包括子目录） |
|
| Disallow: /editor |
禁止所有搜索引擎访问/editor目录（包括子目录） |
|
| Disallow: /task_center |
禁止所有搜索引擎访问/task_center目录（包括子目录） |
|
| Disallow: /tcs |
禁止所有搜索引擎访问/tcs目录（包括子目录） |
|
| Disallow: /history |
禁止所有搜索引擎访问/history目录（包括子目录） |
|
