Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: *	开始配置：所有搜索引擎
Disallow: /*.aspx	禁止所有搜索引擎访问所有以.aspx为后缀的文件
Disallow: /template/	禁止所有搜索引擎访问/template目录
Disallow: /from-m	禁止所有搜索引擎访问所有包含from-m的文件
Disallow: /search	禁止所有搜索引擎访问所有包含search的文件
Disallow: /html-	禁止所有搜索引擎访问所有包含html-的文件
Disallow: /*.php	禁止所有搜索引擎访问所有以.php为后缀的文件
Disallow: /Public/*	禁止所有搜索引擎访问/Public下的所有文件
Disallow: /Index/*	禁止所有搜索引擎访问/Index下的所有文件
Disallow: /Home/*	禁止所有搜索引擎访问/Home下的所有文件
Disallow: /traceability*	禁止所有搜索引擎访问根目录下以traceability开头的目录（包括子目录）
Disallow: /carousel*	禁止所有搜索引擎访问根目录下以carousel开头的目录（包括子目录）
User-agent: AhrefsBot	开始配置：AhrefsBot
Disallow: /	禁止AhrefsBot访问网站的任何部分
User-agent: BLEXBot	开始配置：BLEXBot
Disallow: /	禁止BLEXBot访问网站的任何部分
User-agent: DotBot	开始配置：DotBot
Disallow: /	禁止DotBot访问网站的任何部分
User-agent: ICC-Crawler	开始配置：ICC-Crawler
Disallow: /	禁止ICC-Crawler访问网站的任何部分
User-agent: MJ12bot	开始配置：MJ12bot
Disallow: /	禁止MJ12bot访问网站的任何部分
User-agent: SemrushBot	开始配置：SemrushBot
Disallow: /	禁止SemrushBot访问网站的任何部分
User-agent: SemrushBot-SA	开始配置：SemrushBot-SA
Disallow: /	禁止SemrushBot-SA访问网站的任何部分
User-agent: SiteExplorer	开始配置：SiteExplorer
Disallow: /	禁止SiteExplorer访问网站的任何部分
User-agent: Yahoo! Slurp	开始配置：Yahoo! Slurp
Disallow: /	禁止Yahoo! Slurp访问网站的任何部分
User-agent: Yahoo! Slurp China	开始配置：Yahoo! Slurp China
Disallow: /	禁止Yahoo! Slurp China访问网站的任何部分
User-agent: YandexBot	开始配置：YandexBot
Disallow: /	禁止YandexBot访问网站的任何部分
User-agent: YandexImages	开始配置：YandexImages
Disallow: /	禁止YandexImages访问网站的任何部分
User-agent: Exabot	开始配置：Exabot
Disallow: /	禁止Exabot访问网站的任何部分
User-agent: msnbot	开始配置：msnbot
Disallow: /	禁止msnbot访问网站的任何部分
User-agent: msnbot-media	开始配置：msnbot-media
Disallow: /	禁止msnbot-media访问网站的任何部分
User-agent: EasouSpider	开始配置：EasouSpider
Disallow: /	禁止EasouSpider访问网站的任何部分
User-agent: ezooms.bot	开始配置：ezooms.bot
Disallow: /	禁止ezooms.bot访问网站的任何部分
User-agent: TurnitinBot	开始配置：TurnitinBot
Disallow: /	禁止TurnitinBot访问网站的任何部分
User-agent: psbot	开始配置：psbot
Disallow: /	禁止psbot访问网站的任何部分

活动推荐

Robots检测