Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
Sitemap: https://www.soundsnap.com/sitemap.xml	Sitemap地址： https://www.soundsnap.com/sitemap.xml
user-agent: *	开始配置：所有搜索引擎
Disallow: /audio/download/	禁止所有搜索引擎访问/audio/download目录
Disallow: /audio/mp3/	禁止所有搜索引擎访问/audio/mp3目录
Disallow: /files/	禁止所有搜索引擎访问/files目录
Disallow: /search/	禁止所有搜索引擎访问/search目录
Disallow: /favorite_nodes/	禁止所有搜索引擎访问/favorite_nodes目录
Disallow: /user/	禁止所有搜索引擎访问/user目录
Disallow: /u/	禁止所有搜索引擎访问/u目录
Disallow: /streamers/	禁止所有搜索引擎访问/streamers目录
Disallow: /api/recurly/log/	禁止所有搜索引擎访问/api/recurly/log目录
Disallow: /themes/	禁止所有搜索引擎访问/themes目录
Disallow: /modules/	禁止所有搜索引擎访问/modules目录
Allow: /themes/*/assets/	允许所有搜索引擎访问*/themes//assets**目录
Allow: /themes/*/js/	允许所有搜索引擎访问*/themes//js**目录
Allow: /themes/*/css/	允许所有搜索引擎访问*/themes//css**目录
Allow: /themes//.css$	允许所有搜索引擎访问/themes/目录下所有以.css结尾的文件
Disallow: /*/feed$	禁止所有搜索引擎访问/目录下所有以feed*结尾的文件
ALLOW: /tags/feed	允许所有搜索引擎访问/tags/feed目录（包括子目录）
Disallow: /node/add	禁止所有搜索引擎访问/node/add目录（包括子目录）

活动推荐

Robots检测