Создаём файл robots.txt

Создаём файл robots.txt

  Всем приветик!

Тема предстоит сложная, поэтому стараюсь упростить её с самой первой строчки. В этот раз никак не обойтись корневых папок расположенных на хостинге. Хотя я и стараюсь обойти их, но этот файл один из самых важных на всём сайте.

Оптимизация и индексирование, наших блогов, зависит в первую очередь от Robots.txt. Именно с чтения этого файла начинается знакомство со всеми сайтами. В нём прописываются команды для всех поисковых роботов, а именно то, что им можно и что нельзя считывать. Проще говоря, вы ведь не хотите, чтобы поисковые роботы выдали в поисковую выдачу вашу админку, со всеми настройками? Также нам нужно, чтобы поисковики видели наши статьи и правильно их индексировали и продвигали в ТОП. Всё это зависит от текстового файла Robots.txt.

Кроме этого, в данном файле указывается ссылка на карту вашего сайта Sitemap, и именно отсюда роботы переходят на ваш сайт. В него вложено просто громадное количество функций, но не буду утомлять вас техническими подробностями. Самое главное, чтобы вам была понятна важность файла Robots.txt.

Есть два способа его установки:

1. Скачать файл, отредактировать его в блокноте или в текстовом редакторе, а затем закачать в файловый менеджер хостинга.

2. Создать файл в корневой папке хостинга, в этом же менеджере, вставить туда скопированный Robots.txt, вписать ваш домен и сохранить.

Так как я пользовалась вторым способом, то и вас буду учить именно этому. Просто не доверяю закрытым файлам. Скачаешь его, а он неполный или совсем не тот, что нужен.

Итак, поехали. Боитесь? Не бойтесь, я тоже боюсь! :-D Улыбнулись? Вот и славно!

Надеюсь, вы сохранили адрес входа в админку хостинга куда-нибудь в закладки? Если нет, то ищем письмо в почте. Если и его нет, тогда в поисковую строку вбиваем Timeweb и в верхней панели находим «Входи для клиентов». Вбиваем логин с паролем и входим нашу самую важную административную панель.

как создать robots.txt

Вспомнили? Я уже кликнула по знакомой нам кнопке «Файловый менеджер» и перешла в данный раздел. Теперь кликните два раза по папке «Wordpress». Увидите папку «public_html», по ней также нужно кликнуть дважды.

После того, как папка откроется, и перед вами появится список, кликните по кнопочке «Файл», в выпадающем списке выберите «Новый файл»:

как создать robots.txt

Перед вами появится небольшое окошко с двумя полями. Как на скрине в первом напишите robots, с маленькой буквы, можете скопировать с текста и вставить. Во втором поле нажмите на треугольничек и в списке найдите расширение «тхт». Кликните по нему. У вас должна быть такая запись в полях:

как создать robots.txt
как создать robots.txt

У меня этот файл добавлен, и система подсказывает, что он уже есть. Нажимаем – создать.

После этого перед вами откроется пустое окно. Если оно не открылось, кликните по robots.txt дважды и откройте его. Теперь в это окно скопируйте и вставьте следующую запись:

User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Allow: /wp-includes/js/*
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: *?s*
Disallow: /search
Disallow: */trackback/
Disallow: */feed
Disallow: */comments/
Disallow: */comment
Disallow: */attachment/*
Disallow: */print/
Disallow: *?print=*
Disallow: */wp-json/*
Allow: /wp-content/uploads/
Crawl-delay: 2
Host: ВАШДОМЕН.ru
User-agent: Googlebot
Disallow: /wp-admin
Disallow: /wp-includes
Allow: /wp-includes/js/*
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: *?s*
Disallow: /search
Disallow: */trackback/
Disallow: */feed
Disallow: */comments/
Disallow: */comment
Disallow: */attachment/*
Disallow: */print/
Disallow: *?print=*
Disallow: */wp-json/*
Allow: /wp-content/uploads/
Crawl-delay: 2
User-agent: Mail.Ru
Disallow: /wp-admin
Disallow: /wp-includes
Allow: /wp-includes/js/*
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: *?s*
Disallow: /search
Disallow: */trackback/
Disallow: */feed
Disallow: */comments/
Disallow: */comment
Disallow: */attachment/*
Disallow: */print/
Disallow: *?print=*
Disallow: */wp-json/*
Allow: /wp-content/uploads/
Crawl-delay: 2
User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Allow: /wp-includes/js/*
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: *?s*
Disallow: /search
Disallow: */trackback/
Disallow: */feed
Disallow: */comments/
Disallow: */comment
Disallow: */attachment/*
Disallow: */print/
Disallow: *?print=*
Disallow: */wp-json/*
Allow: /wp-content/uploads/
Crawl-delay: 2
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
Crawl-delay: 2
User-agent: YandexImages
Allow: /wp-content/uploads/
Crawl-delay: 2
User-agent: Mediapartners-Google
Disallow:
Crawl-delay: 2
User-Agent: YaDirectBot
Disallow:
Crawl-delay: 2
Sitemap: https://ВАШДОМЕН.ru/sitemap.xml

После того, как вставите скопированную запись в файл, вместо ВАШДОМЕН пропишите своё доменное имя, только маленькими буквами. После этого сохраняем изменения. И закрываем файл нажав на крестик в правом углу. На всякий случай откройте его ещё раз и проверьте, сохранилась ли запись. И ещё, несмотря на то, что у вас ещё не установлен сертификат и адрес прописывается через  http, всё равно запишите https. Так как SSL-сертификат мы установим уже в следующей статье. И если сейчас пропишите http, то после установки сертификата нужно будет вернуться в эту папку чтобы дописать одну букву «s».

Вот и всё. Самый важный файл на сайте установлен! Поздравляю вас с этим большим шагом! Установим ещё сертификат, настроим редирект и ваш блог готов! С этого момента поисковики начнут присматриваться к вашим страничкам, роботы начнут посещать их, индексировать, наблюдать и постепенно выводить в поисковую выдачу.

Идём вместе к успеху! Скорейшего индексирования вашим блогам, а вам всех благ!

До новых встреч!

aviso | рекламный сервис
Оцените статью
( 4 оценки, среднее 5 из 5 )
Понравилась статья? Поделиться с друзьями:
Понравилась статья? Поделиться с друзьями
Вместе к Успеху
Комментарии: 2
  1. Игорь

    Здравствуйте, Татьяна! Спасибо за статью. Делаю свой online-дневник по вашим статьям. Татьяна, в тексте, который нужно скопировать и вставить в robot.txt, присутствуют строчки с надписью wp-admin, а ведь в предыдущей статье, с помощью плагина, мы изменили эту строку на свою. Не повлияет ли это на роботов или может нужно заменить эти строки на те, что прописали в плагине?

    1. Булавина Татьяна (автор)

      Здравствуйте, Игорь!
      Нет, ничего заменять не нужно. Эту замена идёт как дополнительная мера защиты блога от взлома, но она не изменяет кардинально все настройки. В этом вы можете убедиться зайдя в админку и посмотрев адрес в адресной строке браузера. Там указан адрес домена/wp-admin/…

Добавить комментарий

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!:

Этот сайт использует Akismet для борьбы со спамом. Узнайте как обрабатываются ваши данные комментариев.

Мы используем cookie-файлы для наилучшего представления нашего сайта. Продолжая использовать этот сайт, вы соглашаетесь с использованием cookie-файлов.
Принять