Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: *	开始配置：所有搜索引擎
Disallow: /wp-admin/	禁止所有搜索引擎访问/wp-admin目录
Allow: /wp-admin/admin-ajax.php	允许所有搜索引擎访问/wp-admin目录下的admin-ajax.php文件
Disallow: /?s=	禁止所有搜索引擎访问,参数为s=的页面
Disallow: /*/?s=	禁止所有搜索引擎访问,参数为s=的页面
Disallow: /search/	禁止所有搜索引擎访问/search目录
Disallow: /search?	禁止所有搜索引擎访问search,参数为的页面
Disallow: *?v02	禁止所有搜索引擎访问所有带参数为v02的页面
Disallow: *?replytocom	禁止所有搜索引擎访问所有带参数为replytocom的页面
Disallow: /*preview=true	禁止所有搜索引擎访问根目录下以preview=true结尾的目录（包括子目录）
Disallow: /*theme_preview=true	禁止所有搜索引擎访问根目录下以theme_preview=true结尾的目录（包括子目录）
User-agent: CCBot	开始配置：CCBot
Disallow: /	禁止CCBot访问网站的任何部分
User-agent: GPTBot	开始配置：GPTBot
Disallow: /	禁止GPTBot访问网站的任何部分
User-agent: ChatGPT-User	开始配置：ChatGPT-User
Disallow: /	禁止ChatGPT-User访问网站的任何部分
User-agent: ChatGPT	开始配置：ChatGPT
Disallow: /	禁止ChatGPT访问网站的任何部分
User-agent: Google-Extended	开始配置：Google-Extended
Disallow: /	禁止Google-Extended访问网站的任何部分
User-agent: cXensebot	开始配置：cXensebot
Crawl-delay: 5	允许cXensebot访问5目录（包括子目录）
User-agent: Swiftbot	开始配置：Swiftbot
Crawl-delay: 5	允许Swiftbot访问5目录（包括子目录）

活动推荐

Robots检测