| User-agent: * |
开始配置：所有搜索引擎 |
|
| Crawl-delay: 10 |
允许所有搜索引擎访问10目录（包括子目录） |
|
| Disallow: /includes/ |
禁止所有搜索引擎访问/includes目录 |
|
| Disallow: /misc/ |
禁止所有搜索引擎访问/misc目录 |
|
| Disallow: /modules/ |
禁止所有搜索引擎访问/modules目录 |
|
| Disallow: /profiles/ |
禁止所有搜索引擎访问/profiles目录 |
|
| Disallow: /scripts/ |
禁止所有搜索引擎访问/scripts目录 |
|
| Disallow: /themes/ |
禁止所有搜索引擎访问/themes目录 |
|
| Disallow: /CHANGELOG.txt |
禁止所有搜索引擎访问根目录下的CHANGELOG.txt文件 |
|
| Disallow: /cron.php |
禁止所有搜索引擎访问根目录下的cron.php文件 |
|
| Disallow: /INSTALL.mysql.txt |
禁止所有搜索引擎访问根目录下的INSTALL.mysql.txt文件 |
|
| Disallow: /INSTALL.pgsql.txt |
禁止所有搜索引擎访问根目录下的INSTALL.pgsql.txt文件 |
|
| Disallow: /INSTALL.sqlite.txt |
禁止所有搜索引擎访问根目录下的INSTALL.sqlite.txt文件 |
|
| Disallow: /install.php |
禁止所有搜索引擎访问根目录下的install.php文件 |
|
| Disallow: /INSTALL.txt |
禁止所有搜索引擎访问根目录下的INSTALL.txt文件 |
|
| Disallow: /LICENSE.txt |
禁止所有搜索引擎访问根目录下的LICENSE.txt文件 |
|
| Disallow: /MAINTAINERS.txt |
禁止所有搜索引擎访问根目录下的MAINTAINERS.txt文件 |
|
| Disallow: /update.php |
禁止所有搜索引擎访问根目录下的update.php文件 |
|
| Disallow: /UPGRADE.txt |
禁止所有搜索引擎访问根目录下的UPGRADE.txt文件 |
|
| Disallow: /xmlrpc.php |
禁止所有搜索引擎访问根目录下的xmlrpc.php文件 |
|
| Disallow: /admin/ |
禁止所有搜索引擎访问/admin目录 |
|
| Disallow: /comment/reply/ |
禁止所有搜索引擎访问/comment/reply目录 |
|
| Disallow: /filter/tips/ |
禁止所有搜索引擎访问/filter/tips目录 |
|
| Disallow: /user/logout/ |
禁止所有搜索引擎访问/user/logout目录 |
|
| Disallow: /node/add/ |
禁止所有搜索引擎访问/node/add目录 |
|
| Disallow: /search/ |
禁止所有搜索引擎访问/search目录 |
|
| Disallow: /user/register/ |
禁止所有搜索引擎访问/user/register目录 |
|
| Disallow: /user/password/ |
禁止所有搜索引擎访问/user/password目录 |
|
| Disallow: /user/login/ |
禁止所有搜索引擎访问/user/login目录 |
|
| Disallow: /?q=admin/ |
禁止所有搜索引擎访问/?q=admin目录 |
|
| Disallow: /?q=comment/reply/ |
禁止所有搜索引擎访问/?q=comment/reply目录 |
|
| Disallow: /?q=filter/tips/ |
禁止所有搜索引擎访问/?q=filter/tips目录 |
|
| Disallow: /?q=user/logout/ |
禁止所有搜索引擎访问/?q=user/logout目录 |
|
| Disallow: /?q=node/add/ |
禁止所有搜索引擎访问/?q=node/add目录 |
|
| Disallow: /?q=search/ |
禁止所有搜索引擎访问/?q=search目录 |
|
| Disallow: /?q=user/password/ |
禁止所有搜索引擎访问/?q=user/password目录 |
|
| Disallow: /?q=user/register/ |
禁止所有搜索引擎访问/?q=user/register目录 |
|
| Disallow: /?q=user/login/ |
禁止所有搜索引擎访问/?q=user/login目录 |
|
| Disallow: /?q=search/ |
禁止所有搜索引擎访问/?q=search目录 |
|
| Disallow: /*?sort* |
禁止所有搜索引擎访问所有带参数为sort*的页面 |
|
| Disallow: /*&sort* |
禁止所有搜索引擎访问所有包含&sort的文件 |
|
| Disallow: /*?solrsort* |
禁止所有搜索引擎访问所有带参数为solrsort*的页面 |
|
| Disallow: /*&solrsort* |
禁止所有搜索引擎访问所有包含&solrsort的文件 |
|
| Disallow: /profile |
禁止所有搜索引擎访问/profile目录（包括子目录） |
|
| Disallow: /profile/* |
禁止所有搜索引擎访问/profile下的所有文件 |
|
| Disallow: /?q=profile |
禁止所有搜索引擎访问,参数为q=profile的页面 |
|
| Disallow: /?q=profile/* |
禁止所有搜索引擎访问/?q=profile下的所有文件 |
|
| Disallow: /aggregator/* |
禁止所有搜索引擎访问/aggregator下的所有文件 |
|
| Disallow: /project/issues/search |
禁止所有搜索引擎访问/project/issues/search目录（包括子目录） |
|
| Disallow: /project/issues/search/* |
禁止所有搜索引擎访问/project/issues/search下的所有文件 |
|
| Disallow: /project/issues/*/search |
禁止所有搜索引擎访问/project/issues/*/search目录（包括子目录） |
|
| Disallow: /book/export/* |
禁止所有搜索引擎访问/book/export下的所有文件 |
|
| Disallow: /pift/retest/* |
禁止所有搜索引擎访问/pift/retest下的所有文件 |
|
| Disallow: /project/issues/subscribe-mail/* |
禁止所有搜索引擎访问/project/issues/subscribe-mail下的所有文件 |
|
| Disallow: /user/login?destination=* |
禁止所有搜索引擎访问login,参数为destination=*的页面 |
|
| Disallow: /user/register?destination=* |
禁止所有搜索引擎访问register,参数为destination=*的页面 |
|
| Disallow: /user?destination=* |
禁止所有搜索引擎访问user,参数为destination=*的页面 |
|
| Disallow: /user/*/track |
禁止所有搜索引擎访问/user/*/track目录（包括子目录） |
|
| Disallow: /user/*/track?page=* |
禁止所有搜索引擎访问track,参数为page=*的页面 |
|
| Disallow: /home/* |
禁止所有搜索引擎访问/home下的所有文件 |
|
