Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: *	开始配置：所有搜索引擎
SiteMap: www.xilu.com/map.html	Sitemap地址： www.xilu.com/map.html
Disallow: /text/	禁止所有搜索引擎访问/text目录
Disallow: /junshi/?t=	禁止所有搜索引擎访问所有带参数为t=*的页面
Disallow: /junshi/?spm=	禁止所有搜索引擎访问所有带参数为spm=*的页面
Disallow: /?t=	禁止所有搜索引擎访问所有带参数为t=*的页面
Disallow: /?spm=	禁止所有搜索引擎访问所有带参数为spm=*的页面
Disallow: /?*	禁止所有搜索引擎访问任何带参数的页面
Disallow: /cgi-bin/	禁止所有搜索引擎访问/cgi-bin目录
Disallow: /?uID=1	禁止所有搜索引擎访问,参数为uID=1的页面
Disallow: /res/*	禁止所有搜索引擎访问/res下的所有文件
Disallow: /e/*	禁止所有搜索引擎访问/e下的所有文件
Disallow: /subaccess	禁止所有搜索引擎访问/subaccess目录（包括子目录）
Disallow: /iframe	禁止所有搜索引擎访问/iframe目录（包括子目录）
Disallow: /worker	禁止所有搜索引擎访问/worker目录（包括子目录）
Disallow: /wenxue	禁止所有搜索引擎访问/wenxue目录（包括子目录）
Disallow: /community	禁止所有搜索引擎访问/community目录（包括子目录）
Disallow: /survey	禁止所有搜索引擎访问/survey目录（包括子目录）
Disallow: /phpcms	禁止所有搜索引擎访问/phpcms目录（包括子目录）
Disallow: /junshihot	禁止所有搜索引擎访问/junshihot目录（包括子目录）
Disallow: /dtsd	禁止所有搜索引擎访问/dtsd目录（包括子目录）
Disallow: /view.php?iid=*	禁止所有搜索引擎访问view.php,参数为iid=*的页面
Disallow: /free000	禁止所有搜索引擎访问/free000目录（包括子目录）
Disallow: /shizheng	禁止所有搜索引擎访问/shizheng目录（包括子目录）
Disallow: /xiqu	禁止所有搜索引擎访问/xiqu目录（包括子目录）
Disallow: /xrjd	禁止所有搜索引擎访问/xrjd目录（包括子目录）
Disallow: /women	禁止所有搜索引擎访问/women目录（包括子目录）
Disallow: /utility/	禁止所有搜索引擎访问/utility目录
Disallow: /signwall/	禁止所有搜索引擎访问/signwall目录
Disallow: /tag_.php	禁止所有搜索引擎访问根目录下的tag_.php文件
Disallow: /lutaichangshipin/	禁止所有搜索引擎访问/lutaichangshipin目录
Disallow: he.xilu.com	禁止所有搜索引擎访问根目录下的he.xilu.com文件
Disallow: /psite/	禁止所有搜索引擎访问/psite目录
User-Agent: Baiduspider	开始配置：Baiduspider
Disallow: /special_*.html	禁止Baiduspider访问根目录下的*special_.html**文件
Disallow: /?	禁止Baiduspider访问,参数为的页面

活动推荐

Robots检测