Правильный Robots.txt для WordPress

Правильный Robots.txt для WordPress

В этой статье мы разберем что такое robots.txt для WordPress и как настроить robots.txt WordPress. Если вам интересно, как оптимизировать файл robots.txt для WordPress для улучшения SEO, вы попали в нужное место. В этой статье мы рассмотрим и узнаем где находиться robots txt wordpress, как и для чего он используется и что он может. Кроме того, рассмотрим влияние файла robots.txt WordPress на то, как поисковые системы видят ваш сайт

Что такое файл robots.txt WordPress?

Файл robots.txt WordPress — это файл на вашем сайте, который позволяет запретить поисковым системам доступ к определенным файлам и папкам. Вы можете использовать его для блокирования ботов Google (и других поисковых систем) от сканирования определенных страниц на вашем сайте. Вот пример файла robots.txt:

Правильный Robots.txt для WordPress

Так как же отказ от доступа к некоторым страницам поисковым системам полезен SEO?

Он работает следующим образом: чем больше страниц на вашем сайте, тем больше страниц Google должен сканировать.

Например, если в вашем блоге имеется много категорий и тегов, эти страницы некачественные и их не нужно сканировать поисковыми системами; они просто потребляют бюджет обхода вашего сайта (выделенное количество страниц Google будет сканировать на вашем сайте в любой момент времени).

Бюджет сканирования очень важен, поскольку он определяет, как быстро Google учитывает изменения на вашем сайте — и, следовательно, как быстро вы попадаете в рейтинг.

Robots.txt WordPress — блокировка папок

В этом примере предположим, что вы хотите заблокировать доступ к определенному файлу или папке (и всем подпапкам этой папки).Допустим, вы хотите заблокировать:

Всю папку wp-admin и wр-login.php

Вы можете использовать следующие команды, внося из в файл robots.txt wordpress:

User-agent: *
Disallow: / wp-admin /
Disallow: /wp-login.php

 

Как оптимизировать robots txt WordPress для улучшения SEO

Теперь давайте обсудим, как на самом деле получить (или создать) и оптимизировать файл robots.txt WordPress.

Обычно файл Robots.txt находится в корневой папке вашего сайта. Вам нужно будет подключиться к вашему сайту с помощью FTP-клиента или с помощью файлового менеджера cPanel для его просмотра. Это обычный текстовый файл, который можно открыть с помощью Блокнота.

Если у вас нет файла robots.txt в корневом каталоге вашего сайта, вы можете его создать. Все, что вам нужно сделать, это создать новый текстовый файл на вашем компьютере и сохранить его как robots.txt. Затем просто загрузите его в корневую папку вашего сайта.

Как выглядит файл robots.txt вордпресс?

Формат файла robots.txt в вордпресс очень прост. Первая строка обычно это User-agent. User-agent — это имя поискового робота, с которым вы пытаетесь установить связь. Например, Googlebot или Bingbot. Вы можете использовать звездочку * для указания всех ботов.

Следующая строка следует с инструкциями «Разрешить» — Allow или «Запретить» — Disallow для поисковых систем, чтобы они знали, какие части вы хотите индексировать, и какие из них вы не хотите индексировать.

Вот пример:

User-Agent: *
Disallow: /wp-admin/
Disallow: /wp-content/plugins/
Disallow: /readme.html
Allow: /wp-content/uploads/


Sitemap: http://yoursite.com/sitemap.xml

Обратите внимание: если вы используете SEO плагин, такой как Yoast или All in One SEO Pack, вам может не понадобиться добавлять раздел Sitemap, поскольку эти плагины пытаются сделать это автоматически. Если это не удается, вы можете добавить его вручную, как в приведенном выше примере.

Что нужно скрывать от поисковых систем в robots.txt?

В руководствах веб-мастеров Google они советуют веб-мастерам не использовать файл robots.txt для скрытия контента низкого качества. Таким образом, использование файла robots.txt для запрета Google по индексированию ваших категорий в блоге, тегов, дат и других страниц архива не может быть разумным выбором.

Помните, что цель robots.txt — проинструктировать ботов о том, что делать с содержимым, которое они сканируют на вашем сайте. Это не мешает им сканировать ваш сайт.

Кроме того, вам не нужно добавлять страницу входа в WordPress, каталог администратора или страницу регистрации в файл robots.txt, поскольку на страницах входа и регистрации тег noindex автоматически добавляется WordPress.

Однако я рекомендую вам запретить файл readme.html в файле robots.txt. Этот файл readme может использоваться кем-то, кто пытается выяснить, какую версию WordPress вы используете. Если это человек, они могут легко получить доступ к файлу, просто просмотрев его. Кроме того, включение тега запрета может блокировать вредоносные атаки.

Говоря об этом, вы также можете закрыть доступ в свой каталог WordPress плагинов для повышения безопасности вашего сайта против любого, кто ищет уязвимый плагин для использования.

Как отправить файл robots.txt для WordPress в Google?

После того как вы обновили или создали файл robots.txt, вы можете отправить его в Google с помощью Google Search Console.

Тем не менее, я рекомендую сначала протестировать его с помощью Google’s robots.txt testing tool.

Вот и все).

Правильный файл robots.txt:

User-agent: *

Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: /xmlrpc.php
Disallow: *utm=
Disallow: *openstat=
Disallow: /tag/
Allow: */uploads

User-agent: GoogleBot
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: /xmlrpc.php
Disallow: *utm=
Disallow: *openstat=
Disallow: /tag/
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: /xmlrpc.php
Disallow: /tag/
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php
Allow: /yandex/news/

Sitemap: https://prostowordpress.ru/sitemap.xml

 

ПОСМОТРИТЕ ТАКЖЕ:
Организация новостной или тематической рассылки сайта созданного на WordPress напрямую связана с созданием собственной базы
Плагин Global Content Blocks Если вам нужно вставить произвольный код в посты и страницы WordPress
Как установить favicon на WordPress Установка favicon на WordPress может осуществляться несколькими методами. Рассмотрим каждый из них.
Миниатюра в WordPress — это всего лишь обычное изображение, которое можно добавить через Медиабиблиотеку движка.
Для подгрузки загрузки постов на странице есть несколько вариантов решения. Рассмотрим самый простой — с
Хотите добавить всплывающее окно, сообщающее об использовании файлов cookie в WordPress? Закон Европейского Союза о

Добавить комментарий