文件状态良好,请查看下面具体的报告。

    规则 解释 有效
    User-agent: Slurp 开始配置:Slurp
    Disallow: 允许Slurp访问网站的任何部分
    Crawl-delay: 5 允许Slurp访问5目录(包括子目录)
    User-agent: Yahoo! Slurp 开始配置:Yahoo! Slurp
    Disallow: 允许Yahoo! Slurp访问网站的任何部分
    Crawl-delay: 5 允许Yahoo! Slurp访问5目录(包括子目录)
    User-agent: IRLbot 开始配置:IRLbot
    Disallow: / 禁止IRLbot访问网站的任何部分
    User-agent: ia_archiver 开始配置:ia_archiver
    Disallow: / 禁止ia_archiver访问网站的任何部分
    User-agent: Gaisbot 开始配置:Gaisbot
    Disallow: / 禁止Gaisbot访问网站的任何部分
    User-agent: WebZIP 开始配置:WebZIP
    Disallow: / 禁止WebZIP访问网站的任何部分
    User-agent: WebReaper 开始配置:WebReaper
    Disallow: / 禁止WebReaper访问网站的任何部分
    User-agent: TeragramWebcrawler 开始配置:TeragramWebcrawler
    Disallow: / 禁止TeragramWebcrawler访问网站的任何部分
    User-agent: Vagabondo 开始配置:Vagabondo
    Disallow: / 禁止Vagabondo访问网站的任何部分
    User-agent: nogoop-HttpClient 开始配置:nogoop-HttpClient
    Disallow: / 禁止nogoop-HttpClient访问网站的任何部分
    User-agent: Scirus 开始配置:Scirus
    Disallow: / 禁止Scirus访问网站的任何部分
    User-agent: Speedy Spider 开始配置:Speedy Spider
    Disallow: / 禁止Speedy Spider访问网站的任何部分
    User-agent: PicoSearch 开始配置:PicoSearch
    Disallow: / 禁止PicoSearch访问网站的任何部分
    User-agent: Plucker 开始配置:Plucker
    Disallow: / 禁止Plucker访问网站的任何部分
    User-agent: DISCo Pump 开始配置:DISCo Pump
    Disallow: / 禁止DISCo Pump访问网站的任何部分
    User-agent: Gulliver 开始配置:Gulliver
    Disallow: / 禁止Gulliver访问网站的任何部分
    User-agent: vspider 开始配置:vspider
    Disallow: / 禁止vspider访问网站的任何部分
    User-agent: EmailSiphon 开始配置:EmailSiphon
    Disallow: / 禁止EmailSiphon访问网站的任何部分
    User-agent: Teleport Pro 开始配置:Teleport Pro
    Disallow: / 禁止Teleport Pro访问网站的任何部分
    User-agent: Fetch 开始配置:Fetch
    Disallow: / 禁止Fetch访问网站的任何部分
    User-agent: pamuk 开始配置:pamuk
    Disallow: / 禁止pamuk访问网站的任何部分
    User-agent: WebCopier 开始配置:WebCopier
    Disallow: / 禁止WebCopier访问网站的任何部分
    User-agent: WebCapture 开始配置:WebCapture
    Disallow: / 禁止WebCapture访问网站的任何部分
    User-agent: Mass Downloader 开始配置:Mass Downloader
    Disallow: / 禁止Mass Downloader访问网站的任何部分
    User-agent: WebCopy 开始配置:WebCopy
    Disallow: / 禁止WebCopy访问网站的任何部分
    User-agent: AWV0.8d 开始配置:AWV0.8d
    Disallow: / 禁止AWV0.8d访问网站的任何部分
    User-agent: Crescent Internet ToolPak 开始配置:Crescent Internet ToolPak
    Disallow: / 禁止Crescent Internet ToolPak访问网站的任何部分
    User-agent: JOC Web Spider 开始配置:JOC Web Spider
    Disallow: / 禁止JOC Web Spider访问网站的任何部分
    User-agent: WebStripper 开始配置:WebStripper
    Disallow: / 禁止WebStripper访问网站的任何部分
    User-agent: SiteSucker 开始配置:SiteSucker
    Disallow: / 禁止SiteSucker访问网站的任何部分
    User-agent: Webdup 开始配置:Webdup
    Disallow: / 禁止Webdup访问网站的任何部分
    User-agent: Scooter 开始配置:Scooter
    Disallow: / 禁止Scooter访问网站的任何部分
    User-agent: Python-urllib 开始配置:Python-urllib
    Disallow: / 禁止Python-urllib访问网站的任何部分
    User-agent: Python 开始配置:Python
    Disallow: / 禁止Python访问网站的任何部分
    User-agent: Franklin Locator 开始配置:Franklin Locator
    Disallow: / 禁止Franklin Locator访问网站的任何部分
    User-agent: CK-SillyDog 开始配置:CK-SillyDog
    Disallow: / 禁止CK-SillyDog访问网站的任何部分
    User-agent: PocketHTTP 开始配置:PocketHTTP
    Disallow: / 禁止PocketHTTP访问网站的任何部分
    User-agent: VoilaBot 开始配置:VoilaBot
    Disallow: / 禁止VoilaBot访问网站的任何部分
    User-agent: Xaldon WebSpider 开始配置:Xaldon WebSpider
    Disallow: / 禁止Xaldon WebSpider访问网站的任何部分
    User-agent: WebCapture 开始配置:WebCapture
    Disallow: / 禁止WebCapture访问网站的任何部分
    User-agent: WebStripper 开始配置:WebStripper
    Disallow: / 禁止WebStripper访问网站的任何部分
    User-agent: MSIECrawler 开始配置:MSIECrawler
    Disallow: / 禁止MSIECrawler访问网站的任何部分
    User-agent: sun4u 开始配置:sun4u
    Disallow: / 禁止sun4u访问网站的任何部分
    User-agent: HTTrack 开始配置:HTTrack
    Disallow: / 禁止HTTrack访问网站的任何部分
    User-agent: Nutch 开始配置:Nutch
    Disallow: / 禁止Nutch访问网站的任何部分
    User-agent: Sisi 开始配置:Sisi
    Disallow: / 禁止Sisi访问网站的任何部分
    Disallow: / 禁止Sisi访问网站的任何部分
    User-agent: lmspider 开始配置:lmspider
    Disallow: / 禁止lmspider访问网站的任何部分
    User-agent: NP 开始配置:NP
    Disallow: / 禁止NP访问网站的任何部分
    User-agent: Robi 开始配置:Robi
    Disallow: / 禁止Robi访问网站的任何部分
    User-agent: Webster Pro 开始配置:Webster Pro
    Disallow: / 禁止Webster Pro访问网站的任何部分
    User-agent: Webster 开始配置:Webster
    Disallow: / 禁止Webster访问网站的任何部分
    User-agent: Zeus 开始配置:Zeus
    Disallow: / 禁止Zeus访问网站的任何部分
    User-agent: Gigabot 开始配置:Gigabot
    Disallow: / 禁止Gigabot访问网站的任何部分
    User-agent: Twiceler 开始配置:Twiceler
    Disallow: / 禁止Twiceler访问网站的任何部分
    User-agent: MJ12bot 开始配置:MJ12bot
    Disallow: / 禁止MJ12bot访问网站的任何部分
    User-Agent: Charlotte 开始配置:Charlotte
    Disallow: / 禁止Charlotte访问网站的任何部分
    User-agent: dotbot 开始配置:dotbot
    Disallow: / 禁止dotbot访问网站的任何部分
    user-agent: AhrefsBot 开始配置:AhrefsBot
    disallow: / 禁止AhrefsBot访问网站的任何部分
    User-agent: TurnitinBot 开始配置:TurnitinBot
    Disallow: / 禁止TurnitinBot访问网站的任何部分
    User-agent: msnbot 开始配置:msnbot
    Disallow: /admin 禁止msnbot访问/admin目录(包括子目录)
    User-agent: PetalBot 开始配置:PetalBot
    Disallow: / 禁止PetalBot访问网站的任何部分
    User-agent: * 开始配置:所有搜索引擎
    Disallow: /admin 禁止所有搜索引擎访问/admin目录(包括子目录)
    Crawl-delay: 2 允许所有搜索引擎访问2目录(包括子目录)
    Sitemap: https://ctext.org/siteindex.txt Sitemap地址: https://ctext.org/siteindex.txt