Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: *	开始配置：所有搜索引擎
Disallow: /pub	禁止所有搜索引擎访问/pub目录（包括子目录）
Disallow: /removed	禁止所有搜索引擎访问/removed目录（包括子目录）
Disallow: /doc/logs	禁止所有搜索引擎访问/doc/logs目录（包括子目录）
Disallow: /mirror.php	禁止所有搜索引擎访问根目录下的mirror.php文件
Disallow: /mirror-geo.php	禁止所有搜索引擎访问根目录下的mirror-geo.php文件
Disallow: /mirror-geo-redirect.php	禁止所有搜索引擎访问根目录下的mirror-geo-redirect.php文件
Disallow: /vlc/download-skins2-go.php	禁止所有搜索引擎访问/vlc目录下的download-skins2-go.php文件
Disallow: /private	禁止所有搜索引擎访问/private目录（包括子目录）
Disallow: /~videolan/	禁止所有搜索引擎访问/~videolan目录
Disallow: /developers/vlc/po	禁止所有搜索引擎访问/developers/vlc/po目录（包括子目录）
Disallow: /developers/vlc-branch/po	禁止所有搜索引擎访问/developers/vlc-branch/po目录（包括子目录）
User-agent: *	开始配置：所有搜索引擎
Disallow: CVS	禁止所有搜索引擎访问CVS目录（包括子目录）
Disallow: .svn	禁止所有搜索引擎访问根目录下的.svn文件
User-Agent: TurnitinBot	开始配置：TurnitinBot
Disallow: /	禁止TurnitinBot访问网站的任何部分
User-Agent: NPBot	开始配置：NPBot
Disallow: /	禁止NPBot访问网站的任何部分
User-Agent: SlySearch	开始配置：SlySearch
Disallow: /	禁止SlySearch访问网站的任何部分

活动推荐

Robots检测