Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
Sitemap: https://www.ft.com/sitemaps/index.xml	Sitemap地址： https://www.ft.com/sitemaps/index.xml
User-agent: *	开始配置：所有搜索引擎
Disallow: /__	禁止所有搜索引擎访问/__目录（包括子目录）
Disallow: /search	禁止所有搜索引擎访问/search目录（包括子目录）
Disallow: /advanced-search	禁止所有搜索引擎访问/advanced-search目录（包括子目录）
Disallow: /offline/	禁止所有搜索引擎访问/offline目录
Disallow: /myft/	禁止所有搜索引擎访问/myft目录
Disallow: /cancel/	禁止所有搜索引擎访问/cancel目录
Disallow: /preferences/cookies	禁止所有搜索引擎访问/preferences/cookies目录（包括子目录）
Disallow: /login	禁止所有搜索引擎访问/login目录（包括子目录）
Allow: /__origami/	允许所有搜索引擎访问/__origami目录
Allow: /__assets/	允许所有搜索引擎访问/__assets目录
Crawl-Delay: 1	允许所有搜索引擎访问1目录（包括子目录）
User-agent: GPTBot	开始配置：GPTBot
Disallow: /	禁止GPTBot访问网站的任何部分