Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: *	开始配置：所有搜索引擎
Crawl-delay:20	允许所有搜索引擎访问20目录（包括子目录）
Disallow:/s/	禁止所有搜索引擎访问/s目录
Disallow:/dj/	禁止所有搜索引擎访问/dj目录
Disallow:/search/	禁止所有搜索引擎访问/search目录
Disallow:/napi/	禁止所有搜索引擎访问/napi目录
Disallow:/submit/album/list/	禁止所有搜索引擎访问/submit/album/list目录
Disallow:/reg/	禁止所有搜索引擎访问/reg目录
Disallow:/login/	禁止所有搜索引擎访问/login目录
Disallow:/go/	禁止所有搜索引擎访问/go目录
Disallow:/album/people/	禁止所有搜索引擎访问/album/people目录
Disallow:/p/feedvideo/	禁止所有搜索引擎访问/p/feedvideo目录
Disallow:/feedvideo/	禁止所有搜索引擎访问/feedvideo目录
Disallow:/shopping/	禁止所有搜索引擎访问/shopping目录
Disallow:/blogs/item/	禁止所有搜索引擎访问/blogs/item目录
Disallow:/search/	禁止所有搜索引擎访问/search目录