| User-agent:Mediapartners-Google |
开始配置：Mediapartners-Google |
|
| Disallow: |
允许Mediapartners-Google访问网站的任何部分 |
|
| User-agent: * |
开始配置：所有搜索引擎 |
|
| Sitemap: https://www.youbianku.com/sitemap.xml |
Sitemap地址： https://www.youbianku.com/sitemap.xml |
|
| Sitemap: https://www.youbianku.com/sitemap-gz.xml |
Sitemap地址： https://www.youbianku.com/sitemap-gz.xml |
|
| Sitemap: https://www.youbianku.com/rss.xml |
Sitemap地址： https://www.youbianku.com/rss.xml |
|
| Allow: /index.php?title=%E7%89%B9%E6%AE%8A:%E6%9C%80%E8%BF%91%E6%9B%B4%E6%94%B9 |
允许所有搜索引擎访问index.php,参数为title=%E7%89%B9%E6%AE%8A的页面 |
|
| Allow: /index.php?title=%E7%89%B9%E6%AE%8A:%E6%9C%80%E6%96%B0%E9%A1%B5%E9%9D%A2 |
允许所有搜索引擎访问index.php,参数为title=%E7%89%B9%E6%AE%8A的页面 |
|
| Allow: /index.php?title=Special:%E6%9C%80%E8%BF%91%E6%9B%B4%E6%94%B9 |
允许所有搜索引擎访问index.php,参数为title=Special的页面 |
|
| Allow: /index.php?title=Special:%E6%9C%80%E6%96%B0%E9%A1%B5%E9%9D%A2 |
允许所有搜索引擎访问index.php,参数为title=Special的页面 |
|
| Allow: /index.php?title=Special:Recentchanges |
允许所有搜索引擎访问index.php,参数为title=Special的页面 |
|
| Allow: /index.php?title=Special:Newpages |
允许所有搜索引擎访问index.php,参数为title=Special的页面 |
|
| Allow: /index.php?title=Category: |
允许所有搜索引擎访问index.php,参数为title=Category的页面 |
|
| Allow: /index.php?title=%E5%88%86%E7%B1%BB: |
允许所有搜索引擎访问index.php,参数为title=%E5%88%86%E7%B1%BB的页面 |
|
| Disallow: /Talk |
禁止所有搜索引擎访问/Talk目录（包括子目录） |
|
| Disallow: /%E8%AE%A8%E8%AE%BA |
禁止所有搜索引擎访问/%E8%AE%A8%E8%AE%BA目录（包括子目录） |
|
| Disallow: /thumb.php |
禁止所有搜索引擎访问根目录下的thumb.php文件 |
|
| Disallow: /index.php |
禁止所有搜索引擎访问根目录下的index.php文件 |
|
| Disallow: /skins/ |
禁止所有搜索引擎访问/skins目录 |
|
| Disallow: /Special |
禁止所有搜索引擎访问/Special目录（包括子目录） |
|
| Disallow: /%E7%89%B9%E6%AE%8A |
禁止所有搜索引擎访问/%E7%89%B9%E6%AE%8A目录（包括子目录） |
|
| Disallow: /*MediaWiki |
禁止所有搜索引擎访问根目录下以MediaWiki结尾的目录（包括子目录） |
|
| Disallow: /Template |
禁止所有搜索引擎访问/Template目录（包括子目录） |
|
| Disallow: /%E6%A8%A1%E6%9D%BF |
禁止所有搜索引擎访问/%E6%A8%A1%E6%9D%BF目录（包括子目录） |
|
| Disallow: /*action= |
禁止所有搜索引擎访问根目录下以action=结尾的目录（包括子目录） |
|
| Disallow: /*oldid= |
禁止所有搜索引擎访问根目录下以oldid=结尾的目录（包括子目录） |
|
| Disallow: /*diff= |
禁止所有搜索引擎访问根目录下以diff=结尾的目录（包括子目录） |
|
| Disallow: /*printable= |
禁止所有搜索引擎访问根目录下以printable=结尾的目录（包括子目录） |
|
| Disallow: /*returnto= |
禁止所有搜索引擎访问根目录下以returnto=结尾的目录（包括子目录） |
|
| Disallow: /*variant= |
禁止所有搜索引擎访问根目录下以variant=结尾的目录（包括子目录） |
|
| Disallow: /*.php |
禁止所有搜索引擎访问所有以.php为后缀的文件 |
|
| Disallow: /baiduditu/?address= |
禁止所有搜索引擎访问,参数为address=的页面 |
|
| Disallow: /address/shuju- |
禁止所有搜索引擎访问/address/shuju-目录（包括子目录） |
|
| Disallow: /address/minglu- |
禁止所有搜索引擎访问/address/minglu-目录（包括子目录） |
|
| Disallow: /baidu_search_results?address= |
禁止所有搜索引擎访问baidu_search_results,参数为address=的页面 |
|
| Disallow: /SearchResults?address= |
禁止所有搜索引擎访问SearchResults,参数为address=的页面 |
|
| Disallow: /1027280/ |
禁止所有搜索引擎访问/1027280目录 |
|
| Disallow: /xinxi/ |
禁止所有搜索引擎访问/xinxi目录 |
|
| Disallow: /*feed |
禁止所有搜索引擎访问根目录下以feed结尾的目录（包括子目录） |
|
| Disallow: /cdn-cgi/ |
禁止所有搜索引擎访问/cdn-cgi目录 |
|
| User-agent: UbiCrawler |
开始配置：UbiCrawler |
|
| Disallow: / |
禁止UbiCrawler访问网站的任何部分 |
|
| User-agent: DOC |
开始配置：DOC |
|
| Disallow: / |
禁止DOC访问网站的任何部分 |
|
| User-agent: Zao |
开始配置：Zao |
|
| Disallow: / |
禁止Zao访问网站的任何部分 |
|
| User-agent: sitecheck.internetseer.com |
开始配置：sitecheck.internetseer.com |
|
| Disallow: / |
禁止sitecheck.internetseer.com访问网站的任何部分 |
|
| User-agent: Zealbot |
开始配置：Zealbot |
|
| Disallow: / |
禁止Zealbot访问网站的任何部分 |
|
| User-agent: MSIECrawler |
开始配置：MSIECrawler |
|
| Disallow: / |
禁止MSIECrawler访问网站的任何部分 |
|
| User-agent: SiteSnagger |
开始配置：SiteSnagger |
|
| Disallow: / |
禁止SiteSnagger访问网站的任何部分 |
|
| User-agent: WebStripper |
开始配置：WebStripper |
|
| Disallow: / |
禁止WebStripper访问网站的任何部分 |
|
| User-agent: WebCopier |
开始配置：WebCopier |
|
| Disallow: / |
禁止WebCopier访问网站的任何部分 |
|
| User-agent: Fetch |
开始配置：Fetch |
|
| Disallow: / |
禁止Fetch访问网站的任何部分 |
|
| User-agent: Offline Explorer |
开始配置：Offline Explorer |
|
| Disallow: / |
禁止Offline Explorer访问网站的任何部分 |
|
| User-agent: Teleport |
开始配置：Teleport |
|
| Disallow: / |
禁止Teleport访问网站的任何部分 |
|
| User-agent: TeleportPro |
开始配置：TeleportPro |
|
| Disallow: / |
禁止TeleportPro访问网站的任何部分 |
|
| User-agent: WebZIP |
开始配置：WebZIP |
|
| Disallow: / |
禁止WebZIP访问网站的任何部分 |
|
| User-agent: linko |
开始配置：linko |
|
| Disallow: / |
禁止linko访问网站的任何部分 |
|
| User-agent: HTTrack |
开始配置：HTTrack |
|
| Disallow: / |
禁止HTTrack访问网站的任何部分 |
|
| User-agent: Microsoft.URL.Control |
开始配置：Microsoft.URL.Control |
|
| Disallow: / |
禁止Microsoft.URL.Control访问网站的任何部分 |
|
| User-agent: Xenu |
开始配置：Xenu |
|
| Disallow: / |
禁止Xenu访问网站的任何部分 |
|
| User-agent: larbin |
开始配置：larbin |
|
| Disallow: / |
禁止larbin访问网站的任何部分 |
|
| User-agent: libwww |
开始配置：libwww |
|
| Disallow: / |
禁止libwww访问网站的任何部分 |
|
| User-agent: ZyBORG |
开始配置：ZyBORG |
|
| Disallow: / |
禁止ZyBORG访问网站的任何部分 |
|
| User-agent: Download Ninja |
开始配置：Download Ninja |
|
| Disallow: / |
禁止Download Ninja访问网站的任何部分 |
|
| User-agent: wget |
开始配置：wget |
|
| Disallow: / |
禁止wget访问网站的任何部分 |
|
| User-agent: grub-client |
开始配置：grub-client |
|
| Disallow: / |
禁止grub-client访问网站的任何部分 |
|
| User-agent: k2spider |
开始配置：k2spider |
|
| Disallow: / |
禁止k2spider访问网站的任何部分 |
|
| User-agent: NPBot |
开始配置：NPBot |
|
| Disallow: / |
禁止NPBot访问网站的任何部分 |
|
| User-agent: WebReaper |
开始配置：WebReaper |
|
| Disallow: / |
禁止WebReaper访问网站的任何部分 |
|
