文件状态良好,请查看下面具体的报告。

    规则 解释 有效
    User-agent: UbiCrawler 开始配置:UbiCrawler
    Disallow: / 禁止UbiCrawler访问网站的任何部分
    User-agent: Zao 开始配置:Zao
    Disallow: / 禁止Zao访问网站的任何部分
    User-agent: sitecheck.internetseer.com 开始配置:sitecheck.internetseer.com
    Disallow: / 禁止sitecheck.internetseer.com访问网站的任何部分
    User-agent: Zealbot 开始配置:Zealbot
    Disallow: / 禁止Zealbot访问网站的任何部分
    User-agent: MSIECrawler 开始配置:MSIECrawler
    Disallow: / 禁止MSIECrawler访问网站的任何部分
    User-agent: SiteSnagger 开始配置:SiteSnagger
    Disallow: / 禁止SiteSnagger访问网站的任何部分
    User-agent: WebStripper 开始配置:WebStripper
    Disallow: / 禁止WebStripper访问网站的任何部分
    User-agent: WebCopier 开始配置:WebCopier
    Disallow: / 禁止WebCopier访问网站的任何部分
    User-agent: Fetch 开始配置:Fetch
    Disallow: / 禁止Fetch访问网站的任何部分
    User-agent: Offline Explorer 开始配置:Offline Explorer
    Disallow: / 禁止Offline Explorer访问网站的任何部分
    User-agent: Teleport 开始配置:Teleport
    Disallow: / 禁止Teleport访问网站的任何部分
    User-agent: TeleportPro 开始配置:TeleportPro
    Disallow: / 禁止TeleportPro访问网站的任何部分
    User-agent: WebZIP 开始配置:WebZIP
    Disallow: / 禁止WebZIP访问网站的任何部分
    User-agent: linko 开始配置:linko
    Disallow: / 禁止linko访问网站的任何部分
    User-agent: HTTrack 开始配置:HTTrack
    Disallow: / 禁止HTTrack访问网站的任何部分
    User-agent: Microsoft.URL.Control 开始配置:Microsoft.URL.Control
    Disallow: / 禁止Microsoft.URL.Control访问网站的任何部分
    User-agent: Xenu 开始配置:Xenu
    Disallow: / 禁止Xenu访问网站的任何部分
    User-agent: larbin 开始配置:larbin
    Disallow: / 禁止larbin访问网站的任何部分
    User-agent: libwww 开始配置:libwww
    Disallow: / 禁止libwww访问网站的任何部分
    User-agent: ZyBORG 开始配置:ZyBORG
    Disallow: / 禁止ZyBORG访问网站的任何部分
    User-agent: Download Ninja 开始配置:Download Ninja
    Disallow: / 禁止Download Ninja访问网站的任何部分
    User-agent: wget 开始配置:wget
    Disallow: / 禁止wget访问网站的任何部分
    User-agent: grub-client 开始配置:grub-client
    Disallow: / 禁止grub-client访问网站的任何部分
    User-agent: k2spider 开始配置:k2spider
    Disallow: / 禁止k2spider访问网站的任何部分
    User-agent: NPBot 开始配置:NPBot
    Disallow: / 禁止NPBot访问网站的任何部分
    User-agent: WebReaper 开始配置:WebReaper
    Disallow: / 禁止WebReaper访问网站的任何部分
    User-agent: ByteSpider 开始配置:ByteSpider
    Allow: / 允许ByteSpider访问网站的任何部分
    User-agent: ToutiaoSpider 开始配置:ToutiaoSpider
    Allow: / 允许ToutiaoSpider访问网站的任何部分
    User-agent: Baiduspider 开始配置:Baiduspider
    Disallow: / 禁止Baiduspider访问网站的任何部分
    User-agent: baiduspider 开始配置:baiduspider
    Disallow: / 禁止baiduspider访问网站的任何部分
    User-agent: * 开始配置:所有搜索引擎
    Disallow: /user/ 禁止所有搜索引擎访问/user目录
    Disallow: /u/ 禁止所有搜索引擎访问/u目录
    Disallow: /search* 禁止所有搜索引擎访问根目录下以search开头的目录(包括子目录)
    Disallow: /version/ 禁止所有搜索引擎访问/version目录