Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: SemrushBot	开始配置：SemrushBot
Disallow: /	禁止SemrushBot访问网站的任何部分
User-agent: AhrefsBot	开始配置：AhrefsBot
Disallow: /	禁止AhrefsBot访问网站的任何部分
User-agent: dotbot	开始配置：dotbot
Disallow: /	禁止dotbot访问网站的任何部分
User-agent: *	开始配置：所有搜索引擎
Disallow: /admin	禁止所有搜索引擎访问/admin目录（包括子目录）
Disallow: /user-*	禁止所有搜索引擎访问根目录下以user-开头的目录（包括子目录）
Disallow: /search-*	禁止所有搜索引擎访问根目录下以search-开头的目录（包括子目录）
Disallow: /search.*	禁止所有搜索引擎访问根目录下的search.*文件
Disallow: /?*	禁止所有搜索引擎访问任何带参数的页面
Disallow: /utm_*	禁止所有搜索引擎访问根目录下以utm_开头的目录（包括子目录）
Disallow: /ivk_*	禁止所有搜索引擎访问根目录下以ivk_开头的目录（包括子目录）
Disallow: /ref=*	禁止所有搜索引擎访问根目录下以ref=开头的目录（包括子目录）
Disallow: /www.*	禁止所有搜索引擎访问根目录下的www.*文件
Disallow: /from=*	禁止所有搜索引擎访问根目录下以from=开头的目录（包括子目录）
Disallow: /lailu=*	禁止所有搜索引擎访问根目录下以lailu=开头的目录（包括子目录）
Disallow: /forum-1.htm	禁止所有搜索引擎访问根目录下的forum-1.htm文件
Disallow: /forum-2.htm	禁止所有搜索引擎访问根目录下的forum-2.htm文件
Disallow: /forum-3.htm	禁止所有搜索引擎访问根目录下的forum-3.htm文件
Disallow: /?ref=*	禁止所有搜索引擎访问,参数为ref=*的页面
Disallow: /?utm_*	禁止所有搜索引擎访问,参数为utm_*的页面
Disallow: /?tagids=*	禁止所有搜索引擎访问,参数为tagids=*的页面
Sitemap: https://www.100font.com/sitemap.xml	Sitemap地址： https://www.100font.com/sitemap.xml

活动推荐

Robots检测