ad
Главная » 2012 » Июль » 16 » Делаем качественный robots.txt для сайта. DLE и Wordpress.
00:00
Делаем качественный robots.txt для сайта. DLE и Wordpress.


Привет.
Вот предлагаю вам качественный robots.txt для вашего сайта.
Думаю много слов тут не надо - просто берёте и копируете или обновляете свой robots.txt, и готово!

Общие понятия:
User-agent: - указание робота. * - означает всем. Бывают: Yandex, Googlebot и т.д.
Allow: - разрешить индерксировать раздел.
Disallow: - запретить раздел к индексации.
Например: Disallow: /user/ - запретить к индексации раздел /user/. Еще к примеру, Disallow: /index.php* - означает запрет к индексации всех адресов начинающихся с index.php.
Host: - указывает главное зеркало вашего. Данная директива понимается только Яндексом. Прописывайте ваше главное зеркало с www или без.
Sitemap: - указывает путь к карте сайта.

1. Вот первый вариант, для версии 9.5. Не очень строгий. Дублей страниц пока нет.

Code

User-agent: *
Disallow: /*print
Disallow: /*userinfo
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /index.php?subaction=userinfo
Disallow: /backupurl.php
Disallow: /admin.php
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /backup/
Disallow: /engine/
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /index.php
Disallow: /index.php?do=search&mode=advanced
Disallow: /index.php?do=addnews
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Disallow: /engine/images.php?area=
Host: site.ru

Sitemap: http://site.ru/sitemap.xml


2. Для более старых версий движка dle. Дублей не было. Строгий.
Code

User-agent: *
Disallow: /*print
Disallow: /*userinfo
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /2011/
Disallow: /2012/
Disallow: /index.php?subaction=userinfo
Disallow: /backupurl.php
Disallow: /admin.php
Disallow: /language/
Disallow: /templates/
Disallow: /tags/
Disallow: /upgrade/
Disallow: /backup/
Disallow: /engine/
Disallow: /user/
Disallow: /index.php?do=register
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /statistics.html
Disallow: /index.php
Disallow: /index.php?do=search&mode=advanced
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Disallow: /engine/images.php?area=
Host: site.ru

Sitemap: http://site.ru/sitemap.xml


3. Вот еще вам правильный роботс тхт для движка Wordpress.
Code

User-agent: Yandex
  Disallow: /cgi-bin
  Disallow: /wp-admin
  Disallow: /wp-includes
  Disallow: /wp-content/plugins
  Disallow: /wp-content/cache
  Disallow: /wp-content/themes
  Disallow: /wp-trackback
  Disallow: /wp-feed
  Disallow: /wp-comments
Disallow: /category/*/*
  Disallow: */trackback
Disallow: /trackback
  Disallow: */feed
Disallow: /feed
  Disallow: */comments
Disallow: /comments
Host: site.ru

User-agent: *
  Disallow: /cgi-bin
  Disallow: /wp-admin
  Disallow: /wp-includes
  Disallow: /wp-content/plugins
  Disallow: /wp-content/cache
  Disallow: /wp-content/themes
  Disallow: /wp-trackback
  Disallow: /wp-feed
  Disallow: /wp-comments
  Disallow: /category/*/*
  Disallow: */trackback
  Disallow: /trackback
  Disallow: */feed
  Disallow: /feed
  Disallow: */comments
Disallow: /comments
Sitemap: http://site.ru/sitemap.xml

Google Image:
User-agent: Googlebot-Image
Allow: /*
   
Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /


Подробности составления robots.txt можно изучить на странице помощи Яндекса - http://help.yandex.ru/webmaster/?id=996567
Проверить правильность составления файла можно в webmaster.yandex - Настройка индексирования - Анализ robots.txt

В Google robots.txt можно проверить по этой ссылке: https://www.google.com/webmasters/tools/crawl-access?hl=ru&siteUrl=http://site.ru/
Проверяемый сайт должен быть добавлен в панель веб-мастера.



    Ссылки на материал:

   Html - код
   

   BB - код
   





Добавить к себе в закладки
Категория: Все о движке DLE | Просмотров: 5835 | Добавил: Dolmatov | Рейтинг: 0.0/0
Всего комментариев: 1
0  
1 pakistani escort dubai   (26.12.2012 17:34) [Материал]
المجموع التحكم التسويق استعراض -- قطعة كبيرة من التفاصيل التي كنت قد وردت في هذا المقال الموقع. أمل أتمكن من الحصول على بعض أكثر ربما الكثير من الاشياء على موقع الويب الخاص بك. وسوف يصل مرة أخرى.

Добавлять комментарии могут только зарегистрированные пользователи.
[ Регистрация | Вход ]