В WordPress 5.3 будет использоваться мета-тег для запрета индексации сайтов поисковыми роботами

В WordPress изменится метод, используемый для предотвращения индексации сайтов со стороны поисковых систем. Ранее после выбора опции «Запретить поисковым системам индексировать сайт» на странице Settings – Reading в WordPress добавлялась строка Disallow: / к файлу robots.txt. Это помогало запретить краулинг (сканирование), однако сайт все равно мог появляться в поисковых результатах.

В WordPress 5.3 вместо метода с robots.txt появится обновленный мета-тег meta name=’robots’ content=’noindex,nofollow’. Мета-тег позволяет надежнее предотвратить индексацию и последующий краулинг сайта.

Параметр, запрещающий поисковым системам индексировать сайт, нередко воспринимался пользователями как способ скрыть свои сайты из выдачи. Однако он не всегда работает именно так. Джоно Алдерсон резюмировал проблему и предлагаемое решение в комментарии к тикету, связанному с данным изменением:

«Параметр Reading предназначен для того, чтобы предотвратить индексацию контента поисковыми системами. При этом краулинг все равно остается разрешенным. Наличие правила disallow в robots приводит к тому, что поисковые работы не добираются до директивы noindex и потому могут индексировать «фрагменты» (когда страница индексируется без контента).

Специалисты Google недавно объявили о том, что они прилагают все усилия для предотвращения индексации фрагментов. Однако пока этот вариант возможен, мы должны скорректировать текущее поведение. Давайте удалим правило disallow из robots.txt и разрешим Google (и другим поисковым системам) сканировать сайт»

В заметке, связанной с изменением, Питер Уилсон порекомендовал разработчикам, желающим запретить индексацию разрабатываемых сайтов, добавить HTTP-заголовок X-Robots-Tag: noindex, nofollow при передаче всех ресурсов сайта, включая изображения, PDF, видео и другие ресурсы.

Источник: wptavern.com

ПОСМОТРИТЕ ТАКЖЕ:
В предстоящем релизе WordPress 5.3 появится новый экран email-верификации для администраторов. Он будет появляться каждые
Спустя год с начала своей разработки улучшенный компонент Date/Time наконец-то появится в WordPress. Версия WordPress
3 октября SVN-система WordPress.org была повышена до версии 7.2. Это означает, что авторы плагинов теперь
Команда разработчиков WordPress выпустила релиз 5.2.4. Новая версия решает 6 проблем безопасности, которые были приватно
Разработчики WordPress на днях выпустили релиз WordPress 5.3 бета 1. Главная особенность новой беты –
В прошлом месяце вышел релиз Font Awesome 5.9, в котором появилась 421 новая и обновленная

Добавить комментарий