Когда я только начинал блог, то долго не мог понять, что это за файл robots.txt

Конечно я понимал только общие понятия «нужен для помощи поисковикам», но суть не понимал. Поставил первый попавшийся мне в сети шаблон и забыл. Наверное и не вспомнил бы, если бы, как говориться, не случай.

Как я уже писал недавно, я зарабатываю на постовых от http://www.rotapost.ru/ Решил найти несколько заказов для блога, но поиск упорно выдавал мне «Нет результатов». Я долго не мог понять почему, но когда обратил внимание на кол-во проиндексированных страниц гуглом, которые отображаются рядом со статистикой блога, все понял. Их кол-во было всего семь! RotaPost находит предложения для блогов только с более 50 проиндексированными поисковиками страниц.

Как и полагается в таких случаях, пошел на Google и набрал site:dimantos.ru Моему удивлению не было предела. Гугл действительно загрузил только семь(!) страниц, в то время как постов на блоге уже было более 30..да и страниц немало. Полез в «Инструменты для веб-мастеров» от Google и прочитал строчку: Заблокирован файлом robots.txt ~300 страниц (точно не помню). Теперь все стало более менее ясно. Стоит отметить, что Яндекс прекрасно индексировал сайт в поиске. Нужно было срочно менять содержание файла robots.txt т.к. для Google было явно прописано что-то не то. Не мне вам объяснять, как важно, чтобы сайт был хорошо проиндексирован поисковиками, ведь от них идет хороший процент посетителей.

Немного погуглив я нашел решение. Представляю вам мой, идеальный файл robots.txt.

Вы можете посмотреть у меня его по стандартной для всех блогов ссылки https://dimantos.ru/robots.txt

Как видите, никаких строк, никаких символов, букв, и прочего. По-другому, поисковикам разрешено индексировать ВСЁ. Абсолютно все файлы и папки находящиеся у меня на хостинге. Пусть в поиске будет немного лишнего мусора, зато точно ничего нужного упущено не будет.

Результаты не заставили себя долго ждать. Уже через сутки были проиндексированы все до единой статьи, страницы и т.п.

Индексация от Google
Индексация от Yandex

Странно, но почему-то в сервисе веб-мастеров от Google так и осталось большое число исключенных из индексации страниц. Видимо не обновлялись данные еще. В принципе, какая разницы. В поиске же они все равно есть.

Центр веб-мастеров от Google
Центр веб-мастеров от Yandex

Классные, оригинальные, интересные, зажигательные cмс с 23 февраля. Скоро праздник. Времени искать в сети может не хватить. Пользуйтесь! Сервис игр на поиск предметов очень увлекателен. Вы можете скачать любую понравившуюся.

Если вы нашли ошибку в тексте, пожалуйста, выделите её и нажмите сочетание клавиш «Ctrl» + «Enter».

Поделиться статьей: