Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: *	开始配置：所有搜索引擎
Disallow: /api/*	禁止所有搜索引擎访问/api下的所有文件
Disallow: /me/*	禁止所有搜索引擎访问/me下的所有文件
Disallow: /utms/*	禁止所有搜索引擎访问/utms下的所有文件
Disallow: /templets/*	禁止所有搜索引擎访问/templets下的所有文件
Disallow: /huodong/*	禁止所有搜索引擎访问/huodong下的所有文件
Disallow: /t/*	禁止所有搜索引擎访问/t下的所有文件
Disallow: /isv/	禁止所有搜索引擎访问/isv目录
Disallow: /design?*	禁止所有搜索引擎访问design带任何参数的页面
Disallow: /update-*	禁止所有搜索引擎访问根目录下以update-开头的目录（包括子目录）
Disallow: /create-*	禁止所有搜索引擎访问根目录下以create-开头的目录（包括子目录）
Disallow: /mp	禁止所有搜索引擎访问/mp目录（包括子目录）
Disallow: /?	禁止所有搜索引擎访问任何带参数的页面
Disallow: /spublished_at	禁止所有搜索引擎访问所有包含spublished_at的文件
User-agent: SemrushBot	开始配置：SemrushBot
Disallow: /	禁止SemrushBot访问网站的任何部分
User-agent: DotBot	开始配置：DotBot
Disallow: /	禁止DotBot访问网站的任何部分
User-agent: MegaIndex.ru	开始配置：MegaIndex.ru
Disallow: /	禁止MegaIndex.ru访问网站的任何部分
User-agent: MauiBot	开始配置：MauiBot
Disallow: /	禁止MauiBot访问网站的任何部分
User-agent: AhrefsBot	开始配置：AhrefsBot
Disallow: /	禁止AhrefsBot访问网站的任何部分
User-agent: MJ12bot	开始配置：MJ12bot
Disallow: /	禁止MJ12bot访问网站的任何部分
User-agent: BLEXBot	开始配置：BLEXBot
Disallow: /	禁止BLEXBot访问网站的任何部分

活动推荐

Robots检测