Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: *	开始配置：所有搜索引擎
Disallow: /?	禁止所有搜索引擎访问任何带参数的页面
Disallow: /plus/	禁止所有搜索引擎访问/plus目录
Disallow: /include	禁止所有搜索引擎访问/include目录（包括子目录）
Disallow: /templets	禁止所有搜索引擎访问/templets目录（包括子目录）
Disallow: /web3.0_docs	禁止所有搜索引擎访问根目录下的web3.0_docs文件
Disallow: /newsnippets	禁止所有搜索引擎访问/newsnippets目录（包括子目录）
Disallow: /static	禁止所有搜索引擎访问/static目录（包括子目录）
Disallow: /en	禁止所有搜索引擎访问/en目录（包括子目录）
User-agent: Googlebot	开始配置：Googlebot
Allow: /en	允许Googlebot访问/en目录（包括子目录）
Sitemap: https://www.polyv.net/sitemap.xml	Sitemap地址： https://www.polyv.net/sitemap.xml
Sitemap: https://www.polyv.net/sitemap_effects.txt	Sitemap地址： https://www.polyv.net/sitemap_effects.txt
Sitemap: https://www.polyv.net/sitemap_news.txt	Sitemap地址： https://www.polyv.net/sitemap_news.txt