Привет.
Вот предлагаю вам качественный robots.txt для вашего сайта.
Думаю много слов тут не надо - просто берёте и копируете или обновляете свой robots.txt, и готово!
Общие понятия:
User-agent: - указание робота. * - означает всем. Бывают: Yandex, Googlebot и т.д.
Allow: - разрешить индерксировать раздел.
Disallow: - запретить раздел к индексации.
Например: Disallow: /user/ - запретить к индексации раздел /user/. Еще к примеру, Disallow: /index.php* - означает запрет к индексации всех адресов начинающихся с index.php.
Host: - указывает главное зеркало вашего. Данная директива понимается только Яндексом. Прописывайте ваше главное зеркало с www или без.
Sitemap: - указывает путь к карте сайта.
1. Вот первый вариант, для версии 9.5. Не очень
...
Читать дальше »