Ваши рефералы :: Турнирная таблица конкурса рефоводов
Закрытая тема
Страница 1 из 3 1 2 3 ПоследняяПоследняя
Показано с 1 по 10 из 24

Тема: Каким должен быть robots.txt?

  1. #1
    Абитуриент Аватар для PROman
    Уровень репутации: 10
    Регистрация: 31.05.2010
    Сообщений: 12
    Спасибо: 3
    Поблагодарили 0 раз(а) в 0 сообщениях
    Файловый архив:
    Скачиваний: 1
    Закачек: 0

    Icon5 Каким должен быть robots.txt?

    Всем привет, у меня возник такой вопрос, каким должен быть robots.txt чтобы все поисковики нормально индексировали твой сайт? Так же бы хотел узнать про свой robots.txt, нормальный ли он у меня или нет. Мой robots.txt:

    Код:
    User-agent: *
    Disallow: /a/
    Disallow: /stat/
    Disallow: /index/7
    Disallow: /index/8
    Disallow: /index/9
    Disallow: /panel/
    Disallow: /admin/
    Disallow: /secure/
    Disallow: /informer/
    Disallow: /mchat
    Disallow: /search
    
    Sitemap: http://nod32bases.at.ua/sitemap.xml
    Sitemap: http://nod32bases.at.ua/sitemap-forum.xml
    Sitemap: http://nod32bases.at.ua/sitemap-shop.xml
    Скажите пожалуйста, какой должен быть robots чтобы его индексировали все поисковики?

    Мой сайт: _www.nod32bases.at.ua

  2. #2
    Администратор Аватар для WebTalking.ru
    Уровень репутации: 254
    Регистрация: 22.05.2010
    Сообщений: 12,551
    Записей в дневнике
    9
    Спасибо: 140
    Поблагодарили 262 раз(а) в 171 сообщениях
    Файловый архив:
    Скачиваний: 24
    Закачек: 4
    См. http://ru.wikipedia.org/wiki/Robots.txt

    Disallow - запрещает индексацию определенных страниц или разделов сайта. Синтаксис единый, но некоторые поисковики не воспринимают некоторые директивы, при этом не вызывая ошибки. Зарегистрируйтесь в сервисе вебмастеров от Яндекса и в аналогичном от Гугла - и там и там есть подробное описание оформления и синтаксиса robots.txt.

    И помните - никто, кроме Вас, не сможет правильно и корректно описать "роботс" для Вашего сайта Все зависит от желания индексации (или исключения) тех или иных страниц.

  3. #3
    Модератор Аватар для maximnara
    Уровень репутации: 24
    Регистрация: 27.05.2010
    Адрес: bepartner
    Сообщений: 444
    Записей в дневнике
    23
    Спасибо: 6
    Поблагодарили 18 раз(а) в 18 сообщениях
    Файловый архив:
    Скачиваний: 3
    Закачек: 1
    Уже не раз на форумах поднимали эту тему. У меня остался вот такой robots для дле, под свой движек пишите по аналогии.
    User-agent: *
    Disallow: /*print
    Disallow: /user/
    Disallow: /backup/
    Disallow: /engine/
    Disallow: /language/
    Disallow: /templates/
    Disallow: /upgrade/
    Disallow: /uploads/
    Disallow: /autobackup.php
    Disallow: /admin.php
    Disallow: /index.php?do=addnews
    Disallow: /index.php?do=feedback
    Disallow: /index.php?do=lostpassword
    Disallow: /index.php?do=pm
    Disallow: /index.php?do=register
    Disallow: /index.php?do=stats
    Disallow: /index.php?do=search
    Disallow: /index.php?subaction=newposts
    Disallow: /?do=lastcomments
    Disallow: /statistics.html
    Disallow: /teachers/
    Disallow: /js/
    Disallow: /include/
    Disallow: /updates/
    Host: site.ru
    Sitemap: http://site.ru/sitemap.xml

  4. #4
    Абитуриент Аватар для PROman
    Уровень репутации: 10
    Регистрация: 31.05.2010
    Сообщений: 12
    Спасибо: 3
    Поблагодарили 0 раз(а) в 0 сообщениях
    Файловый архив:
    Скачиваний: 1
    Закачек: 0
    Все я это уже читал, и в Яндексе и в Гугле, и зарегистрирован там тоже. На данный момент я хочу узнать, нормальный ли мой robots.txt, не блокирует ли он поисковых ботов, все ли в нем правильно. Да и вот еще что, в некоторых robots.txt я встречаю такую строчку "Host: site.ru", она должна быть обязательно?

  5. #5
    Администратор Аватар для WebTalking.ru
    Уровень репутации: 254
    Регистрация: 22.05.2010
    Сообщений: 12,551
    Записей в дневнике
    9
    Спасибо: 140
    Поблагодарили 262 раз(а) в 171 сообщениях
    Файловый архив:
    Скачиваний: 24
    Закачек: 4
    Цитата Сообщение от PROman Посмотреть сообщение
    Все я это уже читал, и в Яндексе и в Гугле, и зарегистрирован там тоже. На данный момент я хочу узнать, нормальный ли мой robots.txt, не блокирует ли он поисковых ботов, все ли в нем правильно. Да и вот еще что, в некоторых robots.txt я встречаю такую строчку "Host: site.ru", она должна быть обязательно?
    Сходу ошибок не видно.. Строчка не обязательна.

  6. Пользователь сказал cпасибо WebTalking.ru за это полезное сообщение:

    PROman (02.06.2010)

  7. #6
    Кандидат наук Аватар для Роман
    Уровень репутации: 95
    Регистрация: 28.05.2010
    Адрес: www
    Сообщений: 643
    Записей в дневнике
    5
    Спасибо: 58
    Поблагодарили 85 раз(а) в 78 сообщениях
    Файловый архив:
    Скачиваний: 1
    Закачек: 0
    Вижу ошибку
    Команду Host понимает только яндекс, насколько мне известно.
    Таким образом нужно удалить строчку хост и в конце роботса прописать:

    Код HTML:
    User-agent: Yandex
    Host: domain.com

  8. #7
    Абитуриент Аватар для PROman
    Уровень репутации: 10
    Регистрация: 31.05.2010
    Сообщений: 12
    Спасибо: 3
    Поблагодарили 0 раз(а) в 0 сообщениях
    Файловый архив:
    Скачиваний: 1
    Закачек: 0
    Цитата Сообщение от Роман Посмотреть сообщение
    Вижу ошибку
    Команду Host понимает только яндекс, насколько мне известно.
    Таким образом нужно удалить строчку хост и в конце роботса прописать:

    Код HTML:
    User-agent: Yandex
    Host: domain.com
    Код:
    User-agent: *
    Disallow: /a/
    Disallow: /stat/
    Disallow: /index/7
    Disallow: /index/8
    Disallow: /index/9
    Disallow: /panel/
    Disallow: /admin/
    Disallow: /secure/
    Disallow: /informer/
    Disallow: /mchat
    Disallow: /search
    
    User-agent: Yandex
    Host: domain.com
    
    Sitemap: http://nod32bases.at.ua/sitemap.xml
    Sitemap: http://nod32bases.at.ua/sitemap-forum.xml
    Sitemap: http://nod32bases.at.ua/sitemap-shop.xml
    Так? Если знаете как точно, то сделайте пожалуйста =)

  9. #8
    Абитуриент Аватар для PROman
    Уровень репутации: 10
    Регистрация: 31.05.2010
    Сообщений: 12
    Спасибо: 3
    Поблагодарили 0 раз(а) в 0 сообщениях
    Файловый архив:
    Скачиваний: 1
    Закачек: 0
    Цитата Сообщение от PROman Посмотреть сообщение
    Код:
    User-agent: *
    Disallow: /a/
    Disallow: /stat/
    Disallow: /index/7
    Disallow: /index/8
    Disallow: /index/9
    Disallow: /panel/
    Disallow: /admin/
    Disallow: /secure/
    Disallow: /informer/
    Disallow: /mchat
    Disallow: /search
    
    User-agent: Yandex
    Host: domain.com
    
    Sitemap: http://nod32bases.at.ua/sitemap.xml
    Sitemap: http://nod32bases.at.ua/sitemap-forum.xml
    Sitemap: http://nod32bases.at.ua/sitemap-shop.xml
    Так? Если знаете как точно, то сделайте пожалуйста =)
    Вопрос в силе.

  10. #9
    Модератор Аватар для maximnara
    Уровень репутации: 24
    Регистрация: 27.05.2010
    Адрес: bepartner
    Сообщений: 444
    Записей в дневнике
    23
    Спасибо: 6
    Поблагодарили 18 раз(а) в 18 сообщениях
    Файловый архив:
    Скачиваний: 3
    Закачек: 1
    Не волнуйтесь, вам ответят, как только так сразу)) Я уже ничем помочь не могу...

  11. #10
    Кандидат наук Аватар для Роман
    Уровень репутации: 95
    Регистрация: 28.05.2010
    Адрес: www
    Сообщений: 643
    Записей в дневнике
    5
    Спасибо: 58
    Поблагодарили 85 раз(а) в 78 сообщениях
    Файловый архив:
    Скачиваний: 1
    Закачек: 0
    Цитата Сообщение от PROman Посмотреть сообщение
    Вопрос в силе.
    Код HTML:
    User-agent: *
    Disallow: /a
    Disallow: /stat
    Disallow: /index/7
    Disallow: /index/8
    Disallow: /index/9
    Disallow: /panel
    Disallow: /admin
    Disallow: /secure
    Disallow: /informer
    Disallow: /mchat
    Disallow: /search
    Sitemap: http://nod32bases.at.ua/sitemap.xml
    Sitemap: http://nod32bases.at.ua/sitemap-forum.xml
    Sitemap: http://nod32bases.at.ua/sitemap-shop.xml
    
    User-agent: Yandex
    Host: domain.com
    Вот так.
    "User-agent: *" - общие для всех роботов инструкции, но нам нужна команда Host, которую понимает только яндекс, поэтому нужны отдельные указания для робота яндекса, для чего мы и используем "User-agent: Yandex"

  12. Пользователь сказал cпасибо Роман за это полезное сообщение:

    PROman (03.06.2010)

Закрытая тема
Страница 1 из 3 1 2 3 ПоследняяПоследняя


Похожие темы

  1. Друзья подскажите как быть с блогом?
    от feseich в разделе Оценка функционала, usability и дизайна сайтов
    Ответов: 11
    Последнее сообщение: 03.08.2012, 22:29
  2. robots.txt
    от karinka в разделе Внутренняя оптимизация
    Ответов: 8
    Последнее сообщение: 17.02.2012, 16:59
  3. Ответов: 5
    Последнее сообщение: 04.03.2011, 00:51
  4. Ответов: 6
    Последнее сообщение: 01.06.2010, 21:20

Метки этой темы

Ваши права

  • Вы не можете создавать новые темы
  • Вы не можете отвечать в темах
  • Вы не можете прикреплять вложения
  • Вы не можете редактировать свои сообщения
Счетчик цитирования