Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: BLEXBot	开始配置：BLEXBot
Disallow: /	禁止BLEXBot访问网站的任何部分
User-agent: MegaIndex.ru	开始配置：MegaIndex.ru
Disallow: /	禁止MegaIndex.ru访问网站的任何部分
User-agent: SemrushBot	开始配置：SemrushBot
Disallow: /	禁止SemrushBot访问网站的任何部分
User-agent: SemrushBot-SA	开始配置：SemrushBot-SA
Disallow: /	禁止SemrushBot-SA访问网站的任何部分
User-agent: SemrushBot-BA	开始配置：SemrushBot-BA
Disallow: /	禁止SemrushBot-BA访问网站的任何部分
User-agent: SemrushBot-SI	开始配置：SemrushBot-SI
Disallow: /	禁止SemrushBot-SI访问网站的任何部分
User-agent: SemrushBot-SWA	开始配置：SemrushBot-SWA
Disallow: /	禁止SemrushBot-SWA访问网站的任何部分
User-agent: SemrushBot-CT	开始配置：SemrushBot-CT
Disallow: /	禁止SemrushBot-CT访问网站的任何部分
User-agent: SemrushBot-BM	开始配置：SemrushBot-BM
Disallow: /	禁止SemrushBot-BM访问网站的任何部分
User-agent: SemrushBot-SEOAB	开始配置：SemrushBot-SEOAB
Disallow: /	禁止SemrushBot-SEOAB访问网站的任何部分
User-agent: AhrefsBot	开始配置：AhrefsBot
Disallow: /	禁止AhrefsBot访问网站的任何部分
User-Agent: DotBot	开始配置：DotBot
Disallow: /	禁止DotBot访问网站的任何部分
User-Agent: *	开始配置：所有搜索引擎
Disallow: /u	禁止所有搜索引擎访问/u目录（包括子目录）
Disallow: /admin	禁止所有搜索引擎访问/admin目录（包括子目录）
Disallow: /t/post/	禁止所有搜索引擎访问/t/post目录
Disallow: /post/edit/	禁止所有搜索引擎访问/post/edit目录
Disallow: /search.html	禁止所有搜索引擎访问根目录下的search.html文件
Disallow: /api/	禁止所有搜索引擎访问/api目录
Disallow: /?btwaf=	禁止所有搜索引擎访问所有带参数为btwaf=*的页面
Disallow: /?ivk_sa=	禁止所有搜索引擎访问所有带参数为ivk_sa=*的页面
Disallow: /&	禁止所有搜索引擎访问所有包含&的文件
Disallow: /%5E%25	禁止所有搜索引擎访问所有包含%5E%25的文件
Disallow: /*?_t=	禁止所有搜索引擎访问所有带参数为_t=的页面

活动推荐

Robots检测