| User-agent: *
|
开始配置：所有搜索引擎 |
|
| Disallow:
|
允许所有搜索引擎访问网站的任何部分 |
|
| User-agent: googlebot
|
开始配置：googlebot |
|
| Disallow:
|
允许googlebot访问网站的任何部分 |
|
| User-agent: googlebot-news
|
开始配置：googlebot-news |
|
| Disallow:
|
允许googlebot-news访问网站的任何部分 |
|
| User-agent: bingbot
|
开始配置：bingbot |
|
| Disallow:
|
允许bingbot访问网站的任何部分 |
|
| Disallow: /admin/
|
禁止bingbot访问/admin目录 |
|
| Disallow: /comment/reply/
|
禁止bingbot访问/comment/reply目录 |
|
| Disallow: /filter/tips/
|
禁止bingbot访问/filter/tips目录 |
|
| Disallow: /node/add/
|
禁止bingbot访问/node/add目录 |
|
| Disallow: /search/
|
禁止bingbot访问/search目录 |
|
| Disallow: /user/register/
|
禁止bingbot访问/user/register目录 |
|
| Disallow: /user/password/
|
禁止bingbot访问/user/password目录 |
|
| Disallow: /user/login/
|
禁止bingbot访问/user/login目录 |
|
| Disallow: /user/logout/
|
禁止bingbot访问/user/logout目录 |
|
| Disallow: /?q=admin/
|
禁止bingbot访问/?q=admin目录 |
|
| Disallow: /?q=comment/reply/
|
禁止bingbot访问/?q=comment/reply目录 |
|
| Disallow: /?q=filter/tips/
|
禁止bingbot访问/?q=filter/tips目录 |
|
| Disallow: /?q=node/add/
|
禁止bingbot访问/?q=node/add目录 |
|
| Disallow: /search/*
|
禁止bingbot访问/search下的所有文件 |
|
| Disallow: /?q=user/password/
|
禁止bingbot访问/?q=user/password目录 |
|
| Disallow: /?q=user/register/
|
禁止bingbot访问/?q=user/register目录 |
|
| Disallow: /?q=user/login/
|
禁止bingbot访问/?q=user/login目录 |
|
| Disallow: /?q=user/logout/
|
禁止bingbot访问/?q=user/logout目录 |
|
| Disallow: /backstage
|
禁止bingbot访问/backstage目录（包括子目录） |
|
| Disallow: /rss.xml/2003/academy/Camila Cabello Talks Going Solo, Michael Jackson, Love & Poetry
|
禁止bingbot访问/rss.xml/2003/academy/Camila Cabello Talks Going Solo, Michael Jackson, Love & Poetry目录（包括子目录） |
|
| Disallow: /rss.xml/photos/applemusic.com/applemusic.com/GRAMMY Museum Experience Prudential Center
|
禁止bingbot访问/rss.xml/photos/applemusic.com/applemusic.com/GRAMMY Museum Experience Prudential Center目录（包括子目录） |
|
| Disallow: /rss.xml/tag/Downloads/Fleetwood Mac's ""Dreams"" Back On Charts Thanks To Viral Skateboard Video On TikTok
|
禁止bingbot访问/rss.xml/tag/Downloads/Fleetwood Mac's ""Dreams"" Back On Charts Thanks To Viral Skateboard Video On TikTok目录（包括子目录） |
|
| Disallow: /rss.xml/tags/Downloads/applemusic.com/0
|
禁止bingbot访问/rss.xml/tags/Downloads/applemusic.com/目录 |
|
| Disallow: /rss.xml/the-academy-cbs-announce-10-year-extension-for-the-grammy-awards |
