| User-agent: *
|
开始配置：所有搜索引擎 |
|
| Sitemap: https://www.gandi.net/sitemap.xml
|
Sitemap地址： https://www.gandi.net/sitemap.xml
|
|
| Sitemap: https://news.gandi.net/sitemaps.xml
|
Sitemap地址： https://news.gandi.net/sitemaps.xml
|
|
| Disallow: /*redirect=*
|
禁止所有搜索引擎访问所有包含redirect=的文件 |
|
| Disallow: /*navigation=*
|
禁止所有搜索引擎访问所有包含navigation=的文件 |
|
| Disallow: /*client_id=*
|
禁止所有搜索引擎访问所有包含client_id=的文件 |
|
| Disallow: /*locale=*
|
禁止所有搜索引擎访问所有包含locale=的文件 |
|
| Disallow: /*tld=*
|
禁止所有搜索引擎访问所有包含tld=的文件 |
|
| Disallow: /*bulk=*
|
禁止所有搜索引擎访问所有包含bulk=的文件 |
|
| Disallow: /*bu_id=*
|
禁止所有搜索引擎访问所有包含bu_id=的文件 |
|
| Disallow: /*opened=*
|
禁止所有搜索引擎访问所有包含opened=的文件 |
|
| Disallow: /*type=*
|
禁止所有搜索引擎访问所有包含type=的文件 |
|
| Disallow: /*template=*
|
禁止所有搜索引擎访问所有包含template=的文件 |
|
| Disallow: /*size=*
|
禁止所有搜索引擎访问所有包含size=的文件 |
|
| Disallow: /*options=*
|
禁止所有搜索引擎访问所有包含options=的文件 |
|
| Disallow: /*error=*
|
禁止所有搜索引擎访问所有包含error=的文件 |
|
| Disallow: /*grid=*
|
禁止所有搜索引擎访问所有包含grid=的文件 |
|
| Disallow: /*currency=*
|
禁止所有搜索引擎访问所有包含currency=的文件 |
|
| Disallow: /*?c=*
|
禁止所有搜索引擎访问所有带参数为c=*的页面 |
|
| Disallow: /*&c=*
|
禁止所有搜索引擎访问所有包含&c=的文件 |
|
| Disallow: /*?sw=*
|
禁止所有搜索引擎访问所有带参数为sw=*的页面 |
|
| Disallow: /*&sw=*
|
禁止所有搜索引擎访问所有包含&sw=的文件 |
|
| Disallow: /*taxes=*
|
禁止所有搜索引擎访问所有包含taxes=的文件 |
|
| Disallow: /pdf/*
|
禁止所有搜索引擎访问/pdf下的所有文件 |
|
| Disallow: /*/sample/*
|
禁止所有搜索引擎访问/*/sample下的所有文件 |
|
| Disallow: */prices$
|
禁止所有搜索引擎访问*目录下所有以prices结尾的文件 |
|
| Disallow: */rules$
|
禁止所有搜索引擎访问*目录下所有以rules结尾的文件 |
|
| Disallow: */dates$
|
禁止所有搜索引擎访问*目录下所有以dates结尾的文件 |
|
| Disallow: */news$
|
禁止所有搜索引擎访问*目录下所有以news结尾的文件 |
|
| Allow: */tld/news$
|
允许所有搜索引擎访问*/tld目录下所有以news结尾的文件 |
|
| Disallow: *?country=*
|
禁止所有搜索引擎访问所有带参数为country=*的页面 |
|
| Disallow: *?l=*
|
禁止所有搜索引擎访问所有带参数为l=*的页面 |
|
| Disallow: *?lang=*
|
禁止所有搜索引擎访问所有带参数为lang=*的页面 |
|
| Disallow: /gcart/*
|
禁止所有搜索引擎访问/gcart下的所有文件 |
|
| User-Agent: facebookexternalhit/1.1
|
开始配置：facebookexternalhit/1.1 |
|
| Disallow:
|
允许facebookexternalhit/1.1访问网站的任何部分 |
|
| User-Agent: Facebot
|
开始配置：Facebot |
|
| Disallow:
|
允许Facebot访问网站的任何部分 |
|
| User-agent: AhrefsBot
|
开始配置：AhrefsBot |
|
| Disallow: /
|
禁止AhrefsBot访问网站的任何部分 |
|
| User-agent: Alexibot
|
开始配置：Alexibot |
|
| Disallow: /
|
禁止Alexibot访问网站的任何部分 |
|
| User-agent: Aqua_Products
|
开始配置：Aqua_Products |
|
| Disallow: /
|
禁止Aqua_Products访问网站的任何部分 |
|
| User-agent: asterias
|
开始配置：asterias |
|
| Disallow: /
|
禁止asterias访问网站的任何部分 |
|
| User-agent: b2w/0.1
|
开始配置：b2w/0.1 |
|
| Disallow: /
|
禁止b2w/0.1访问网站的任何部分 |
|
| User-agent: BackDoorBot/1.0
|
开始配置：BackDoorBot/1.0 |
|
| Disallow: /
|
禁止BackDoorBot/1.0访问网站的任何部分 |
|
| User-agent: BacklinkCrawler
|
开始配置：BacklinkCrawler |
|
| Disallow: /
|
禁止BacklinkCrawler访问网站的任何部分 |
|
| User-agent: bdbrandprotect
|
开始配置：bdbrandprotect |
|
| Disallow: /
|
禁止bdbrandprotect访问网站的任何部分 |
|
| User-agent: Black Hole
|
开始配置：Black Hole |
|
| Disallow: /
|
禁止Black Hole访问网站的任何部分 |
|
| User-agent: BlowFish/1.0
|
开始配置：BlowFish/1.0 |
|
| Disallow: /
|
禁止BlowFish/1.0访问网站的任何部分 |
|
| User-agent: boitho.com-dc
|
开始配置：boitho.com-dc |
|
| Disallow: /
|
禁止boitho.com-dc访问网站的任何部分 |
|
| User-agent: Bookmark search tool
|
开始配置：Bookmark search tool |
|
| Disallow: /
|
禁止Bookmark search tool访问网站的任何部分 |
|
| User-agent: BotALot
|
开始配置：BotALot |
|
| Disallow: /
|
禁止BotALot访问网站的任何部分 |
|
| User-agent: BotRightHere
|
开始配置：BotRightHere |
|
| Disallow: /
|
禁止BotRightHere访问网站的任何部分 |
|
| User-agent: BPImageWalker
|
开始配置：BPImageWalker |
|
| Disallow: /
|
禁止BPImageWalker访问网站的任何部分 |
|
| User-agent: BuiltBotTough
|
开始配置：BuiltBotTough |
|
| Disallow: /
|
禁止BuiltBotTough访问网站的任何部分 |
|
| User-agent: Bullseye/1.0
|
开始配置：Bullseye/1.0 |
|
| Disallow: /
|
禁止Bullseye/1.0访问网站的任何部分 |
|
| User-agent: BunnySlippers
|
开始配置：BunnySlippers |
|
| Disallow: /
|
禁止BunnySlippers访问网站的任何部分 |
|
| User-agent: CazoodleBot
|
开始配置：CazoodleBot |
|
| Disallow: /
|
禁止CazoodleBot访问网站的任何部分 |
|
| User-agent: Cegbfeieh
|
开始配置：Cegbfeieh |
|
| Disallow: /
|
禁止Cegbfeieh访问网站的任何部分 |
|
| User-agent: CheeseBot
|
开始配置：CheeseBot |
|
| Disallow: /
|
禁止CheeseBot访问网站的任何部分 |
|
| User-agent: CherryPicker
|
开始配置：CherryPicker |
|
| Disallow: /
|
禁止CherryPicker访问网站的任何部分 |
|
| User-agent: CherryPickerElite/1.0
|
开始配置：CherryPickerElite/1.0 |
|
| Disallow: /
|
禁止CherryPickerElite/1.0访问网站的任何部分 |
|
| User-agent: CherryPickerSE/1.0
|
开始配置：CherryPickerSE/1.0 |
|
| Disallow: /
|
禁止CherryPickerSE/1.0访问网站的任何部分 |
|
| User-agent: ConveraCrawler
|
开始配置：ConveraCrawler |
|
| Disallow: /
|
禁止ConveraCrawler访问网站的任何部分 |
|
| User-agent: Copernic
|
开始配置：Copernic |
|
| Disallow: /
|
禁止Copernic访问网站的任何部分 |
|
| User-agent: CopyRightCheck
|
开始配置：CopyRightCheck |
|
| Disallow: /
|
禁止CopyRightCheck访问网站的任何部分 |
|
| User-agent: cosmos
|
开始配置：cosmos |
|
| Disallow: /
|
禁止cosmos访问网站的任何部分 |
|
| User-agent: Crescent
|
开始配置：Crescent |
|
| Disallow: /
|
禁止Crescent访问网站的任何部分 |
|
| User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0
|
开始配置：Crescent Internet ToolPak HTTP OLE Control v.1.0 |
|
| Disallow: /
|
禁止Crescent Internet ToolPak HTTP OLE Control v.1.0访问网站的任何部分 |
|
| User-agent: discobot
|
开始配置：discobot |
|
| Disallow: /
|
禁止discobot访问网站的任何部分 |
|
| User-agent: DittoSpyder
|
开始配置：DittoSpyder |
|
| Disallow: /
|
禁止DittoSpyder访问网站的任何部分 |
|
| User-agent: dotbot
|
开始配置：dotbot |
|
| Disallow: /
|
禁止dotbot访问网站的任何部分 |
|
| User-agent: Download Ninja
|
开始配置：Download Ninja |
|
| Disallow: /
|
禁止Download Ninja访问网站的任何部分 |
|
| User-agent: EmailCollector
|
开始配置：EmailCollector |
|
| Disallow: /
|
禁止EmailCollector访问网站的任何部分 |
|
| User-agent: EmailSiphon
|
开始配置：EmailSiphon |
|
| Disallow: /
|
禁止EmailSiphon访问网站的任何部分 |
|
| User-agent: EmailWolf
|
开始配置：EmailWolf |
|
| Disallow: /
|
禁止EmailWolf访问网站的任何部分 |
|
| User-agent: EroCrawler
|
开始配置：EroCrawler |
|
| Disallow: /
|
禁止EroCrawler访问网站的任何部分 |
|
| User-agent: ExtractorPro
|
开始配置：ExtractorPro |
|
| Disallow: /
|
禁止ExtractorPro访问网站的任何部分 |
|
| User-agent: Ezooms
|
开始配置：Ezooms |
|
| Disallow: /
|
禁止Ezooms访问网站的任何部分 |
|
| User-agent: FairAd Client
|
开始配置：FairAd Client |
|
| Disallow: /
|
禁止FairAd Client访问网站的任何部分 |
|
| User-agent: Fasterfox
|
开始配置：Fasterfox |
|
| Disallow: /
|
禁止Fasterfox访问网站的任何部分 |
|
| User-agent: Fetch
|
开始配置：Fetch |
|
| Disallow: /
|
禁止Fetch访问网站的任何部分 |
|
| User-agent: findlinks
|
开始配置：findlinks |
|
| Disallow: /
|
禁止findlinks访问网站的任何部分 |
|
| User-agent: Flaming AttackBot
|
开始配置：Flaming AttackBot |
|
| Disallow: /
|
禁止Flaming AttackBot访问网站的任何部分 |
|
| User-agent: Foobot
|
开始配置：Foobot |
|
| Disallow: /
|
禁止Foobot访问网站的任何部分 |
|
| User-agent: Gaisbot
|
开始配置：Gaisbot |
|
| Disallow: /
|
禁止Gaisbot访问网站的任何部分 |
|
| User-agent: GetRight/4.2
|
开始配置：GetRight/4.2 |
|
| Disallow: /
|
禁止GetRight/4.2访问网站的任何部分 |
|
| User-agent: Gigabot
|
开始配置：Gigabot |
|
| Disallow: /
|
禁止Gigabot访问网站的任何部分 |
|
| User-agent: grub
|
开始配置：grub |
|
| Disallow: /
|
禁止grub访问网站的任何部分 |
|
| User-agent: grub-client
|
开始配置：grub-client |
|
| Disallow: /
|
禁止grub-client访问网站的任何部分 |
|
| User-agent: Harvest/1.5
|
开始配置：Harvest/1.5 |
|
| Disallow: /
|
禁止Harvest/1.5访问网站的任何部分 |
|
| User-agent: heritrix
|
开始配置：heritrix |
|
| Disallow: /
|
禁止heritrix访问网站的任何部分 |
|
| User-agent: hloader
|
开始配置：hloader |
|
| Disallow: /
|
禁止hloader访问网站的任何部分 |
|
| User-agent: httplib
|
开始配置：httplib |
|
| Disallow: /
|
禁止httplib访问网站的任何部分 |
|
| User-agent: HTTrack
|
开始配置：HTTrack |
|
| Disallow: /
|
禁止HTTrack访问网站的任何部分 |
|
| User-agent: HTTrack 3.0
|
开始配置：HTTrack 3.0 |
|
| Disallow: /
|
禁止HTTrack 3.0访问网站的任何部分 |
|
| User-agent: HuaweiSymantecSpider
|
开始配置：HuaweiSymantecSpider |
|
| Disallow: /
|
禁止HuaweiSymantecSpider访问网站的任何部分 |
|
| User-agent: humanlinks
|
开始配置：humanlinks |
|
| Disallow: /
|
禁止humanlinks访问网站的任何部分 |
|
| User-agent: ichiro
|
开始配置：ichiro |
|
| Disallow: /
|
禁止ichiro访问网站的任何部分 |
|
| User-agent: InfoNaviRobot
|
开始配置：InfoNaviRobot |
|
| Disallow: /
|
禁止InfoNaviRobot访问网站的任何部分 |
|
| User-agent: IRLbot
|
开始配置：IRLbot |
|
| Disallow: /
|
禁止IRLbot访问网站的任何部分 |
|
| User-agent: Iron33/1.0.2
|
开始配置：Iron33/1.0.2 |
|
| Disallow: /
|
禁止Iron33/1.0.2访问网站的任何部分 |
|
| User-agent: JennyBot
|
开始配置：JennyBot |
|
| Disallow: /
|
禁止JennyBot访问网站的任何部分 |
|
| User-agent: kalooga
|
开始配置：kalooga |
|
| Disallow: /
|
禁止kalooga访问网站的任何部分 |
|
| User-agent: Kenjin Spider
|
开始配置：Kenjin Spider |
|
| Disallow: /
|
禁止Kenjin Spider访问网站的任何部分 |
|
| User-agent: Keyword Density/0.9
|
开始配置：Keyword Density/0.9 |
|
| Disallow: /
|
禁止Keyword Density/0.9访问网站的任何部分 |
|
| User-agent: larbin
|
开始配置：larbin |
|
| Disallow: /
|
禁止larbin访问网站的任何部分 |
|
| User-agent: LexiBot
|
开始配置：LexiBot |
|
| Disallow: /
|
禁止LexiBot访问网站的任何部分 |
|
| User-agent: LexxeBot
|
开始配置：LexxeBot |
|
| Disallow: /
|
禁止LexxeBot访问网站的任何部分 |
|
| User-agent: libWeb/clsHTTP
|
开始配置：libWeb/clsHTTP |
|
| Disallow: /
|
禁止libWeb/clsHTTP访问网站的任何部分 |
|
| User-agent: libwww
|
开始配置：libwww |
|
| Disallow: /
|
禁止libwww访问网站的任何部分 |
|
| User-agent: LinkextractorPro
|
开始配置：LinkextractorPro |
|
| Disallow: /
|
禁止LinkextractorPro访问网站的任何部分 |
|
| User-agent: linko
|
开始配置：linko |
|
| Disallow: /
|
禁止linko访问网站的任何部分 |
|
| User-agent: LinkScan/8.1a Unix
|
开始配置：LinkScan/8.1a Unix |
|
| Disallow: /
|
禁止LinkScan/8.1a Unix访问网站的任何部分 |
|
| User-agent: LinkWalker
|
开始配置：LinkWalker |
|
| Disallow: /
|
禁止LinkWalker访问网站的任何部分 |
|
| User-agent: LNSpiderguy
|
开始配置：LNSpiderguy |
|
| Disallow: /
|
禁止LNSpiderguy访问网站的任何部分 |
|
| User-agent: lwp-trivial
|
开始配置：lwp-trivial |
|
| Disallow: /
|
禁止lwp-trivial访问网站的任何部分 |
|
| User-agent: lwp-trivial/1.34
|
开始配置：lwp-trivial/1.34 |
|
| Disallow: /
|
禁止lwp-trivial/1.34访问网站的任何部分 |
|
| User-agent: Mata Hari
|
开始配置：Mata Hari |
|
| Disallow: /
|
禁止Mata Hari访问网站的任何部分 |
|
| User-agent: Microsoft URL Control
|
开始配置：Microsoft URL Control |
|
| Disallow: /
|
禁止Microsoft URL Control访问网站的任何部分 |
|
| User-agent: Microsoft URL Control - 5.01.4511
|
开始配置：Microsoft URL Control - 5.01.4511 |
|
| Disallow: /
|
禁止Microsoft URL Control - 5.01.4511访问网站的任何部分 |
|
| User-agent: Microsoft URL Control - 6.00.8169
|
开始配置：Microsoft URL Control - 6.00.8169 |
|
| Disallow: /
|
禁止Microsoft URL Control - 6.00.8169访问网站的任何部分 |
|
| User-agent: Microsoft.URL.Control
|
开始配置：Microsoft.URL.Control |
|
| Disallow: /
|
禁止Microsoft.URL.Control访问网站的任何部分 |
|
| User-agent: MIIxpc
|
开始配置：MIIxpc |
|
| Disallow: /
|
禁止MIIxpc访问网站的任何部分 |
|
| User-agent: MIIxpc/4.2
|
开始配置：MIIxpc/4.2 |
|
| Disallow: /
|
禁止MIIxpc/4.2访问网站的任何部分 |
|
| User-agent: Mister PiX
|
开始配置：Mister PiX |
|
| Disallow: /
|
禁止Mister PiX访问网站的任何部分 |
|
| User-agent: MJ12bot
|
开始配置：MJ12bot |
|
| Disallow: /
|
禁止MJ12bot访问网站的任何部分 |
|
| User-agent: MLBot
|
开始配置：MLBot |
|
| Disallow: /
|
禁止MLBot访问网站的任何部分 |
|
| User-agent: moget
|
开始配置：moget |
|
| Disallow: /
|
禁止moget访问网站的任何部分 |
|
| User-agent: moget/2.1
|
开始配置：moget/2.1 |
|
| Disallow: /
|
禁止moget/2.1访问网站的任何部分 |
|
| User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95)
|
开始配置：Mozilla/4.0 (compatible; BullsEye; Windows 95) |
|
| Disallow: /
|
禁止Mozilla/4.0 (compatible; BullsEye; Windows 95)访问网站的任何部分 |
|
| User-agent: MSIECrawler
|
开始配置：MSIECrawler |
|
| Disallow: /
|
禁止MSIECrawler访问网站的任何部分 |
|
| User-agent: NaverBot
|
开始配置：NaverBot |
|
| Disallow: /
|
禁止NaverBot访问网站的任何部分 |
|
| User-agent: NerdyBot
|
开始配置：NerdyBot |
|
| Disallow: /
|
禁止NerdyBot访问网站的任何部分 |
|
| User-agent: Net\ Vampire
|
开始配置：Net\ Vampire |
|
| Disallow: /
|
禁止Net\ Vampire访问网站的任何部分 |
|
| User-agent: NetAnts
|
开始配置：NetAnts |
|
| Disallow: /
|
禁止NetAnts访问网站的任何部分 |
|
| User-agent: NetMechanic
|
开始配置：NetMechanic |
|
| Disallow: /
|
禁止NetMechanic访问网站的任何部分 |
|
| User-agent: NICErsPRO
|
开始配置：NICErsPRO |
|
| Disallow: /
|
禁止NICErsPRO访问网站的任何部分 |
|
| User-agent: Nutch
|
开始配置：Nutch |
|
| Disallow: /
|
禁止Nutch访问网站的任何部分 |
|
| User-agent: Ocelli
|
开始配置：Ocelli |
|
| Disallow: /
|
禁止Ocelli访问网站的任何部分 |
|
| User-agent: Offline Explorer
|
开始配置：Offline Explorer |
|
| Disallow: /
|
禁止Offline Explorer访问网站的任何部分 |
|
| User-agent: Openbot
|
开始配置：Openbot |
|
| Disallow: /
|
禁止Openbot访问网站的任何部分 |
|
| User-agent: Openfind
|
开始配置：Openfind |
|
| Disallow: /
|
禁止Openfind访问网站的任何部分 |
|
| User-agent: Openfind data gatherer
|
开始配置：Openfind data gatherer |
|
| Disallow: /
|
禁止Openfind data gatherer访问网站的任何部分 |
|
| User-agent: Oracle Ultra Search
|
开始配置：Oracle Ultra Search |
|
| Disallow: /
|
禁止Oracle Ultra Search访问网站的任何部分 |
|
| User-agent: penthesilea
|
开始配置：penthesilea |
|
| Disallow: /
|
禁止penthesilea访问网站的任何部分 |
|
| User-agent: PerMan
|
开始配置：PerMan |
|
| Disallow: /
|
禁止PerMan访问网站的任何部分 |
|
| User-agent: PhpDig
|
开始配置：PhpDig |
|
| Disallow: /
|
禁止PhpDig访问网站的任何部分 |
|
| User-agent: ProPowerBot/2.14
|
开始配置：ProPowerBot/2.14 |
|
| Disallow: /
|
禁止ProPowerBot/2.14访问网站的任何部分 |
|
| User-agent: ProWebWalker
|
开始配置：ProWebWalker |
|
| Disallow: /
|
禁止ProWebWalker访问网站的任何部分 |
|
| User-agent: psbot
|
开始配置：psbot |
|
| Disallow: /
|
禁止psbot访问网站的任何部分 |
|
| User-agent: Python-urllib
|
开始配置：Python-urllib |
|
| Disallow: /
|
禁止Python-urllib访问网站的任何部分 |
|
| User-agent: QueryN Metasearch
|
开始配置：QueryN Metasearch |
|
| Disallow: /
|
禁止QueryN Metasearch访问网站的任何部分 |
|
| User-agent: Radiation Retriever 1.1
|
开始配置：Radiation Retriever 1.1 |
|
| Disallow: /
|
禁止Radiation Retriever 1.1访问网站的任何部分 |
|
| User-agent: RepoMonkey
|
开始配置：RepoMonkey |
|
| Disallow: /
|
禁止RepoMonkey访问网站的任何部分 |
|
| User-agent: RepoMonkey Bait & Tackle/v1.01
|
开始配置：RepoMonkey Bait & Tackle/v1.01 |
|
| Disallow: /
|
禁止RepoMonkey Bait & Tackle/v1.01访问网站的任何部分 |
|
| User-agent: RMA
|
开始配置：RMA |
|
| Disallow: /
|
禁止RMA访问网站的任何部分 |
|
| User-agent: rogerbot
|
开始配置：rogerbot |
|
| Disallow: /
|
禁止rogerbot访问网站的任何部分 |
|
| User-agent: SCOUTjET
|
开始配置：SCOUTjET |
|
| Disallow: /
|
禁止SCOUTjET访问网站的任何部分 |
|
| User-agent: SearchDaimon.com-dc
|
开始配置：SearchDaimon.com-dc |
|
| Disallow: /
|
禁止SearchDaimon.com-dc访问网站的任何部分 |
|
| User-agent: searchpreview
|
开始配置：searchpreview |
|
| Disallow: /
|
禁止searchpreview访问网站的任何部分 |
|
| User-agent: SEOENGBot
|
开始配置：SEOENGBot |
|
| Disallow: /
|
禁止SEOENGBot访问网站的任何部分 |
|
| User-agent: ShopWiki
|
开始配置：ShopWiki |
|
| Disallow: /
|
禁止ShopWiki访问网站的任何部分 |
|
| User-agent: sitecheck.internetseer.com
|
开始配置：sitecheck.internetseer.com |
|
| Disallow: /
|
禁止sitecheck.internetseer.com访问网站的任何部分 |
|
| User-agent: SiteSnagger
|
开始配置：SiteSnagger |
|
| Disallow: /
|
禁止SiteSnagger访问网站的任何部分 |
|
| User-agent: Snapbot
|
开始配置：Snapbot |
|
| Disallow: /
|
禁止Snapbot访问网站的任何部分 |
|
| User-agent: Sogou\ web\ spider
|
开始配置：Sogou\ web\ spider |
|
| Disallow: /
|
禁止Sogou\ web\ spider访问网站的任何部分 |
|
| User-agent: Sosospider
|
开始配置：Sosospider |
|
| Disallow: /
|
禁止Sosospider访问网站的任何部分 |
|
| User-agent: SpankBot
|
开始配置：SpankBot |
|
| Disallow: /
|
禁止SpankBot访问网站的任何部分 |
|
| User-agent: spanner
|
开始配置：spanner |
|
| Disallow: /
|
禁止spanner访问网站的任何部分 |
|
| User-agent: spbot
|
开始配置：spbot |
|
| Disallow: /
|
禁止spbot访问网站的任何部分 |
|
| User-agent: SurveyBot
|
开始配置：SurveyBot |
|
| Disallow: /
|
禁止SurveyBot访问网站的任何部分 |
|
| User-agent: suzuran
|
开始配置：suzuran |
|
| Disallow: /
|
禁止suzuran访问网站的任何部分 |
|
| User-agent: Szukacz/1.4
|
开始配置：Szukacz/1.4 |
|
| Disallow: /
|
禁止Szukacz/1.4访问网站的任何部分 |
|
| User-agent: Teleport
|
开始配置：Teleport |
|
| Disallow: /
|
禁止Teleport访问网站的任何部分 |
|
| User-agent: TeleportPro
|
开始配置：TeleportPro |
|
| Disallow: /
|
禁止TeleportPro访问网站的任何部分 |
|
| User-agent: Telesoft
|
开始配置：Telesoft |
|
| Disallow: /
|
禁止Telesoft访问网站的任何部分 |
|
| User-agent: Templeton
|
开始配置：Templeton |
|
| Disallow: /
|
禁止Templeton访问网站的任何部分 |
|
| User-agent: The Intraformant
|
开始配置：The Intraformant |
|
| Disallow: /
|
禁止The Intraformant访问网站的任何部分 |
|
| User-agent: TheNomad
|
开始配置：TheNomad |
|
| Disallow: /
|
禁止TheNomad访问网站的任何部分 |
|
| User-agent: TightTwatBot
|
开始配置：TightTwatBot |
|
| Disallow: /
|
禁止TightTwatBot访问网站的任何部分 |
|
| User-agent: Titan
|
开始配置：Titan |
|
| Disallow: /
|
禁止Titan访问网站的任何部分 |
|
| User-agent: toCrawl/UrlDispatcher
|
开始配置：toCrawl/UrlDispatcher |
|
| Disallow: /
|
禁止toCrawl/UrlDispatcher访问网站的任何部分 |
|
| User-agent: True_Robot
|
开始配置：True_Robot |
|
| Disallow: /
|
禁止True_Robot访问网站的任何部分 |
|
| User-agent: True_Robot/1.0
|
开始配置：True_Robot/1.0 |
|
| Disallow: /
|
禁止True_Robot/1.0访问网站的任何部分 |
|
| User-agent: turingos
|
开始配置：turingos |
|
| Disallow: /
|
禁止turingos访问网站的任何部分 |
|
| User-agent: TurnitinBot
|
开始配置：TurnitinBot |
|
| Disallow: /
|
禁止TurnitinBot访问网站的任何部分 |
|
| User-agent: TurnitinBot/1.5
|
开始配置：TurnitinBot/1.5 |
|
| Disallow: /
|
禁止TurnitinBot/1.5访问网站的任何部分 |
|
| User-agent: TwengaBot
|
开始配置：TwengaBot |
|
| Disallow: /
|
禁止TwengaBot访问网站的任何部分 |
|
| User-agent: Twiceler
|
开始配置：Twiceler |
|
| Disallow: /
|
禁止Twiceler访问网站的任何部分 |
|
| User-agent: Updownerbot
|
开始配置：Updownerbot |
|
| Disallow: /
|
禁止Updownerbot访问网站的任何部分 |
|
| User-agent: URL Control
|
开始配置：URL Control |
|
| Disallow: /
|
禁止URL Control访问网站的任何部分 |
|
| User-agent: URL_Spider_Pro
|
开始配置：URL_Spider_Pro |
|
| Disallow: /
|
禁止URL_Spider_Pro访问网站的任何部分 |
|
| User-agent: URLy Warning
|
开始配置：URLy Warning |
|
| Disallow: /
|
禁止URLy Warning访问网站的任何部分 |
|
| User-agent: VCI
|
开始配置：VCI |
|
| Disallow: /
|
禁止VCI访问网站的任何部分 |
|
| User-agent: VCI WebViewer VCI WebViewer Win32
|
开始配置：VCI WebViewer VCI WebViewer Win32 |
|
| Disallow: /
|
禁止VCI WebViewer VCI WebViewer Win32访问网站的任何部分 |
|
| User-agent: Web Image Collector
|
开始配置：Web Image Collector |
|
| Disallow: /
|
禁止Web Image Collector访问网站的任何部分 |
|
| User-agent: WebAuto
|
开始配置：WebAuto |
|
| Disallow: /
|
禁止WebAuto访问网站的任何部分 |
|
| User-agent: WebBandit
|
开始配置：WebBandit |
|
| Disallow: /
|
禁止WebBandit访问网站的任何部分 |
|
| User-agent: WebBandit/3.50
|
开始配置：WebBandit/3.50 |
|
| Disallow: /
|
禁止WebBandit/3.50访问网站的任何部分 |
|
| User-agent: WebCapture 2.0
|
开始配置：WebCapture 2.0 |
|
| Disallow: /
|
禁止WebCapture 2.0访问网站的任何部分 |
|
| User-agent: WebCopier
|
开始配置：WebCopier |
|
| Disallow: /
|
禁止WebCopier访问网站的任何部分 |
|
| User-agent: WebCopier v.2.2
|
开始配置：WebCopier v.2.2 |
|
| Disallow: /
|
禁止WebCopier v.2.2访问网站的任何部分 |
|
| User-agent: WebCopier v3.2a
|
开始配置：WebCopier v3.2a |
|
| Disallow: /
|
禁止WebCopier v3.2a访问网站的任何部分 |
|
| User-agent: WebEnhancer
|
开始配置：WebEnhancer |
|
| Disallow: /
|
禁止WebEnhancer访问网站的任何部分 |
|
| User-agent: WebmasterWorldForumBot
|
开始配置：WebmasterWorldForumBot |
|
| Disallow: /
|
禁止WebmasterWorldForumBot访问网站的任何部分 |
|
| User-agent: WebSauger
|
开始配置：WebSauger |
|
| Disallow: /
|
禁止WebSauger访问网站的任何部分 |
|
| User-agent: Website Quester
|
开始配置：Website Quester |
|
| Disallow: /
|
禁止Website Quester访问网站的任何部分 |
|
| User-agent: Webster Pro
|
开始配置：Webster Pro |
|
| Disallow: /
|
禁止Webster Pro访问网站的任何部分 |
|
| User-agent: WebStripper
|
开始配置：WebStripper |
|
| Disallow: /
|
禁止WebStripper访问网站的任何部分 |
|
| User-agent: WebZIP
|
开始配置：WebZIP |
|
| Disallow: /
|
禁止WebZIP访问网站的任何部分 |
|
| User-agent: WebZip/4.0
|
开始配置：WebZip/4.0 |
|
| Disallow: /
|
禁止WebZip/4.0访问网站的任何部分 |
|
| User-agent: WebZIP/4.21
|
开始配置：WebZIP/4.21 |
|
| Disallow: /
|
禁止WebZIP/4.21访问网站的任何部分 |
|
| User-agent: WebZIP/5.0
|
开始配置：WebZIP/5.0 |
|
| Disallow: /
|
禁止WebZIP/5.0访问网站的任何部分 |
|
| User-agent: wget
|
开始配置：wget |
|
| Disallow: /
|
禁止wget访问网站的任何部分 |
|
| User-agent: Wget/1.5.3
|
开始配置：Wget/1.5.3 |
|
| Disallow: /
|
禁止Wget/1.5.3访问网站的任何部分 |
|
| User-agent: Wget/1.6
|
开始配置：Wget/1.6 |
|
| Disallow: /
|
禁止Wget/1.6访问网站的任何部分 |
|
| User-agent: woozweb-monitoring
|
开始配置：woozweb-monitoring |
|
| Disallow: /
|
禁止woozweb-monitoring访问网站的任何部分 |
|
| User-agent: woriobot
|
开始配置：woriobot |
|
| Disallow: /
|
禁止woriobot访问网站的任何部分 |
|
| User-agent: wprocketbot
|
开始配置：wprocketbot |
|
| Allow: /
|
允许wprocketbot访问网站的任何部分 |
|
| User-agent: WWW-Collector-E
|
开始配置：WWW-Collector-E |
|
| Disallow: /
|
禁止WWW-Collector-E访问网站的任何部分 |
|
| User-agent: Xenu
|
开始配置：Xenu |
|
| Disallow: /
|
禁止Xenu访问网站的任何部分 |
|
| User-agent: Xenu's
|
开始配置：Xenu's |
|
| Disallow: /
|
禁止Xenu's访问网站的任何部分 |
|
| User-agent: Xenu's Link Sleuth 1.1c
|
开始配置：Xenu's Link Sleuth 1.1c |
|
| Disallow: /
|
禁止Xenu's Link Sleuth 1.1c访问网站的任何部分 |
|
| User-agent: YACYBIT
|
开始配置：YACYBIT |
|
| Disallow: /
|
禁止YACYBIT访问网站的任何部分 |
|
| User-agent: yacybot
|
开始配置：yacybot |
|
| Disallow: /
|
禁止yacybot访问网站的任何部分 |
|
| User-agent: Yandex
|
开始配置：Yandex |
|
| Disallow: /
|
禁止Yandex访问网站的任何部分 |
|
| User-agent: YandexBot
|
开始配置：YandexBot |
|
| Disallow: /
|
禁止YandexBot访问网站的任何部分 |
|
| User-agent: Yeti
|
开始配置：Yeti |
|
| Disallow: /
|
禁止Yeti访问网站的任何部分 |
|
| User-agent: YodaoBot
|
开始配置：YodaoBot |
|
| Disallow: /
|
禁止YodaoBot访问网站的任何部分 |
|
| User-agent: Zealbot
|
开始配置：Zealbot |
|
| Disallow: /
|
禁止Zealbot访问网站的任何部分 |
|
| User-agent: Zeus
|
开始配置：Zeus |
|
| Disallow: /
|
禁止Zeus访问网站的任何部分 |
|
| User-agent: Zeus 32297 Webster Pro V2.9 Win32
|
开始配置：Zeus 32297 Webster Pro V2.9 Win32 |
|
| Disallow: /
|
禁止Zeus 32297 Webster Pro V2.9 Win32访问网站的任何部分 |
|
| User-agent: Zeus Link Scout
|
开始配置：Zeus Link Scout |
|
| Disallow: /
|
禁止Zeus Link Scout访问网站的任何部分 |
|
| User-agent: ZyBorg
|
开始配置：ZyBorg |
|
| Disallow: /
|
禁止ZyBorg访问网站的任何部分 |
|
| User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95)
|
开始配置：Mozilla/4.0 (compatible; BullsEye; Windows 95) |
|
| Disallow: /
|
禁止Mozilla/4.0 (compatible; BullsEye; Windows 95)访问网站的任何部分 |
|
| User-agent: NerdyBot
|
开始配置：NerdyBot |
|
| Disallow: /
|
禁止NerdyBot访问网站的任何部分 |
|
| User-agent: WebAuto
|
开始配置：WebAuto |
|
| Disallow: /
|
禁止WebAuto访问网站的任何部分 |
|
| User-agent: wprocketbot
|
开始配置：wprocketbot |
|
| Disallow: /
|
禁止wprocketbot访问网站的任何部分 |
|
| User-agent: DIIbot
|
开始配置：DIIbot |
|
| Disallow: /
|
禁止DIIbot访问网站的任何部分 |
|
| User-agent: eCatch
|
开始配置：eCatch |
|
| Disallow: /
|
禁止eCatch访问网站的任何部分 |
|
| User-agent: Jetbot
|
开始配置：Jetbot |
|
| Disallow: /
|
禁止Jetbot访问网站的任何部分 |
|
| User-agent: Openfind data gathere
|
开始配置：Openfind data gathere |
|
| Disallow: /
|
禁止Openfind data gathere访问网站的任何部分 |
|
| User-agent: QuepasaCreep
|
开始配置：QuepasaCreep |
|
| Disallow: /
|
禁止QuepasaCreep访问网站的任何部分 |
|
| User-agent: Roverbot
|
开始配置：Roverbot |
|
| Disallow: /
|
禁止Roverbot访问网站的任何部分 |
|
| User-agent: Foobot
|
开始配置：Foobot |
|
| Disallow: /
|
禁止Foobot访问网站的任何部分 |
|
| User-agent: RepoMonkey Bait & Tackle/v1.01
|
开始配置：RepoMonkey Bait & Tackle/v1.01 |
|
| Disallow: /
|
禁止RepoMonkey Bait & Tackle/v1.01访问网站的任何部分 |
|
| User-agent: ExtractorPro
|
开始配置：ExtractorPro |
|
| Disallow: / |
禁止ExtractorPro访问网站的任何部分 |
|
