Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: *	开始配置：所有搜索引擎
Disallow: /wp-admin/	禁止所有搜索引擎访问/wp-admin目录
Disallow: /search	禁止所有搜索引擎访问/search目录（包括子目录）
Disallow: /hosts	禁止所有搜索引擎访问/hosts目录（包括子目录）
Disallow: /certificates	禁止所有搜索引擎访问/certificates目录（包括子目录）
Disallow: /api/v2/	禁止所有搜索引擎访问/api/v2目录
Disallow: /api/v1/	禁止所有搜索引擎访问/api/v1目录
Disallow: /data/scansio	禁止所有搜索引擎访问/data/scansio目录（包括子目录）
Disallow: /login	禁止所有搜索引擎访问/login目录（包括子目录）
Disallow: /logout	禁止所有搜索引擎访问/logout目录（包括子目录）
Disallow: /account	禁止所有搜索引擎访问/account目录（包括子目录）
Allow: /wp-admin/admin-ajax.php	允许所有搜索引擎访问/wp-admin目录下的admin-ajax.php文件
Sitemap: https://censys.com/sitemap_index.xml	Sitemap地址： https://censys.com/sitemap_index.xml