| User-agent: *
|
开始配置：所有搜索引擎 |
|
| Allow: /
|
允许所有搜索引擎访问网站的任何部分 |
|
| Disallow: /element/down?*
|
禁止所有搜索引擎访问down带任何参数的页面 |
|
| Disallow: /back/down?*
|
禁止所有搜索引擎访问down带任何参数的页面 |
|
| Disallow: /photos/down?*
|
禁止所有搜索引擎访问down带任何参数的页面 |
|
| Disallow: /template/down?*
|
禁止所有搜索引擎访问down带任何参数的页面 |
|
| Disallow: /iconfont/down?*
|
禁止所有搜索引擎访问down带任何参数的页面 |
|
| Disallow: /ppt/down?*
|
禁止所有搜索引擎访问down带任何参数的页面 |
|
| Disallow: /api/*
|
禁止所有搜索引擎访问/api下的所有文件 |
|
| Disallow: /*/*porn*
|
禁止所有搜索引擎访问/*目录下包含porn的文件 |
|
| Disallow: /*/*鐖昏嘲鐖�*
|
禁止所有搜索引擎访问/*目录下包含鐖昏嘲鐖�的文件 |
|
| Disallow: /*/*璩扮埢*
|
禁止所有搜索引擎访问/*目录下包含璩扮埢的文件 |
|
| Disallow: /*/*姣撲笗涔囪撤璩�*
|
禁止所有搜索引擎访问/*目录下包含姣撲笗涔囪撤璩�的文件 |
|
| Disallow: /*/*姣撲笗涔�*
|
禁止所有搜索引擎访问/*目录下包含姣撲笗涔�的文件 |
|
| Disallow: /*/*fuck*
|
禁止所有搜索引擎访问/*目录下包含fuck的文件 |
|
| Disallow: /*/*璩宠撤璩�*
|
禁止所有搜索引擎访问/*目录下包含璩宠撤璩�的文件 |
|
| Disallow: /free-icon*/
|
禁止所有搜索引擎访问根目录下以free-icon开头的目录 |
|
| Disallow: /element/vrf_down?*
|
禁止所有搜索引擎访问vrf_down带任何参数的页面 |
|
| Disallow: /freepng/*/preview-png.html
|
禁止所有搜索引擎访问/freepng/*目录下的preview-png.html文件 |
|
| Disallow: /freepng/*.html*hue-js
|
禁止所有搜索引擎访问/freepng目录下所有以.htmlhue-js为后缀的文件 |
|
| Disallow: /help-centers/*
|
禁止所有搜索引擎访问/help-centers下的所有文件 |
|
| Disallow: /cdn-cgi/*
|
禁止所有搜索引擎访问/cdn-cgi下的所有文件 |
|
| Disallow: /apiv4*
|
禁止所有搜索引擎访问根目录下以apiv4开头的目录（包括子目录） |
|
| Disallow: /similar-png/*
|
禁止所有搜索引擎访问/similar-png下的所有文件 |
|
| Disallow: /slide/*
|
禁止所有搜索引擎访问/slide下的所有文件 |
|
| User-agent: Bingbot
|
开始配置：Bingbot |
|
| Allow: /
|
允许Bingbot访问网站的任何部分 |
|
| Disallow: /element/down?*
|
禁止Bingbot访问down带任何参数的页面 |
|
| Disallow: /back/down?*
|
禁止Bingbot访问down带任何参数的页面 |
|
| Disallow: /photos/down?*
|
禁止Bingbot访问down带任何参数的页面 |
|
| Disallow: /template/down?*
|
禁止Bingbot访问down带任何参数的页面 |
|
| Disallow: /iconfont/down?*
|
禁止Bingbot访问down带任何参数的页面 |
|
| Disallow: /ppt/down?*
|
禁止Bingbot访问down带任何参数的页面 |
|
| Disallow: /api/*
|
禁止Bingbot访问/api下的所有文件 |
|
| Disallow: /*/*porn*
|
禁止Bingbot访问/*目录下包含porn的文件 |
|
| Disallow: /*/*鐖昏嘲鐖�*
|
禁止Bingbot访问/*目录下包含鐖昏嘲鐖�的文件 |
|
| Disallow: /*/*璩扮埢*
|
禁止Bingbot访问/*目录下包含璩扮埢的文件 |
|
| Disallow: /*/*姣撲笗涔囪撤璩�*
|
禁止Bingbot访问/*目录下包含姣撲笗涔囪撤璩�的文件 |
|
| Disallow: /*/*姣撲笗涔�*
|
禁止Bingbot访问/*目录下包含姣撲笗涔�的文件 |
|
| Disallow: /*/*fuck*
|
禁止Bingbot访问/*目录下包含fuck的文件 |
|
| Disallow: /*/*璩宠撤璩�*
|
禁止Bingbot访问/*目录下包含璩宠撤璩�的文件 |
|
| Disallow: /free-icon*/
|
禁止Bingbot访问根目录下以free-icon开头的目录 |
|
| Disallow: /topic/*?*
|
禁止Bingbot访问任何带参数的页面 |
|
| Disallow: /freepng/*/preview-png.html
|
禁止Bingbot访问/freepng/*目录下的preview-png.html文件 |
|
| Disallow: /freepng/*.html*hue-js
|
禁止Bingbot访问/freepng目录下所有以.htmlhue-js为后缀的文件 |
|
| Disallow: /element/vrf_down?*
|
禁止Bingbot访问vrf_down带任何参数的页面 |
|
| Disallow: /freepng/*/preview-png.html
|
禁止Bingbot访问/freepng/*目录下的preview-png.html文件 |
|
| Disallow: /freepng/*.html*hue-js
|
禁止Bingbot访问/freepng目录下所有以.htmlhue-js为后缀的文件 |
|
| Disallow: /help-centers/*
|
禁止Bingbot访问/help-centers下的所有文件 |
|
| Disallow: /*Base_OpenWin*
|
禁止Bingbot访问所有包含Base_OpenWin的文件 |
|
| Crawl-delay: 200
|
允许Bingbot访问200目录（包括子目录） |
|
| User-agent: PetalBot
|
开始配置：PetalBot |
|
| Disallow: /
|
禁止PetalBot访问网站的任何部分 |
|
| User-agent: AhrefsBot/6.1
|
开始配置：AhrefsBot/6.1 |
|
| Disallow: /
|
禁止AhrefsBot/6.1访问网站的任何部分 |
|
| User-agent: Barkrowler
|
开始配置：Barkrowler |
|
| Disallow: /
|
禁止Barkrowler访问网站的任何部分 |
|
| User-agent: DotBot/1.1
|
开始配置：DotBot/1.1 |
|
| Disallow: /
|
禁止DotBot/1.1访问网站的任何部分 |
|
| User-agent: Amazonbot/0.1
|
开始配置：Amazonbot/0.1 |
|
| Disallow: /
|
禁止Amazonbot/0.1访问网站的任何部分 |
|
| User-agent: GrapeshotCrawler
|
开始配置：GrapeshotCrawler |
|
| Disallow: /
|
禁止GrapeshotCrawler访问网站的任何部分 |
|
| User-agent: HyScore
|
开始配置：HyScore |
|
| Disallow: /
|
禁止HyScore访问网站的任何部分 |
|
| User-agent: Qwantify
|
开始配置：Qwantify |
|
| Disallow: /
|
禁止Qwantify访问网站的任何部分 |
|
| User-agent: SemrushBot
|
开始配置：SemrushBot |
|
| Disallow: /
|
禁止SemrushBot访问网站的任何部分 |
|
| User-agent: SeznamBot
|
开始配置：SeznamBot |
|
| Disallow: /
|
禁止SeznamBot访问网站的任何部分 |
|
| User-agent: TinEye-bot
|
开始配置：TinEye-bot |
|
| Disallow: /
|
禁止TinEye-bot访问网站的任何部分 |
|
| User-agent: ia_archiver
|
开始配置：ia_archiver |
|
| Disallow: /
|
禁止ia_archiver访问网站的任何部分 |
|
| User-agent: musobot
|
开始配置：musobot |
|
| Disallow: /
|
禁止musobot访问网站的任何部分 |
|
| User-agent: proximic
|
开始配置：proximic |
|
| Disallow: /
|
禁止proximic访问网站的任何部分 |
|
| User-agent: MauiBot
|
开始配置：MauiBot |
|
| Disallow: /
|
禁止MauiBot访问网站的任何部分 |
|
| User-agent: Bleriot
|
开始配置：Bleriot |
|
| Disallow: /
|
禁止Bleriot访问网站的任何部分 |
|
| User-agent: weborama-fetcher
|
开始配置：weborama-fetcher |
|
| Disallow: /
|
禁止weborama-fetcher访问网站的任何部分 |
|
| User-agent: CCBot
|
开始配置：CCBot |
|
| Disallow: /
|
禁止CCBot访问网站的任何部分 |
|
| User-agent: MJ12bot
|
开始配置：MJ12bot |
|
| Disallow: /
|
禁止MJ12bot访问网站的任何部分 |
|
| User-agent: Clickagy Intelligence Bot
|
开始配置：Clickagy Intelligence Bot |
|
| Disallow: /
|
禁止Clickagy Intelligence Bot访问网站的任何部分 |
|
| User-agent: Clickagy Intelligence Bot v2
|
开始配置：Clickagy Intelligence Bot v2 |
|
| Disallow: /
|
禁止Clickagy Intelligence Bot v2访问网站的任何部分 |
|
| User-agent: HubSpot Crawler
|
开始配置：HubSpot Crawler |
|
| Disallow: /
|
禁止HubSpot Crawler访问网站的任何部分 |
|
| User-agent: ZoomBot
|
开始配置：ZoomBot |
|
| Disallow: / |
禁止ZoomBot访问网站的任何部分 |
|
