Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: ClaudeBot	开始配置：ClaudeBot
Disallow: /	禁止ClaudeBot访问网站的任何部分
User-agent: ChatGPT-User	开始配置：ChatGPT-User
Disallow: /	禁止ChatGPT-User访问网站的任何部分
User-agent: GPTbot	开始配置：GPTbot
Disallow: /	禁止GPTbot访问网站的任何部分
User-agent: *	开始配置：所有搜索引擎
Allow: /	允许所有搜索引擎访问网站的任何部分
Disallow: /*.css	禁止所有搜索引擎访问所有以.css为后缀的文件
Disallow: /*.js	禁止所有搜索引擎访问所有以.js为后缀的文件
Disallow: /so/	禁止所有搜索引擎访问/so目录
Disallow: /intro.html	禁止所有搜索引擎访问根目录下的intro.html文件
Disallow: /read.html	禁止所有搜索引擎访问根目录下的read.html文件
Disallow: /search.html	禁止所有搜索引擎访问根目录下的search.html文件
Disallow: /new-pay.html	禁止所有搜索引擎访问根目录下的new-pay.html文件