Редирект для робота яндекс
Возможные изменения статусов и URL для 302-х, 303-х и 307-х редиректов
В ближайшее время мы будем проводить технические работы, в ходе которых могут меняться статусы в Вебмастере и логика отображения URL в поиске:
— для 302-х, 303-x, 307-x редиректов;
— для редиректов, заданных при помощи метатега refresh.
Сейчас при настройке временного редиректа целевая страница отображается в Вебмастере со статусом «не в поиске», а источник — «в поиске». При этом в поисковой выдаче ранжируется именно целевая страница, а в сниппете сайта показывается URL источника.
Во время технических работ страница в Вебмастере может показываться со статусом «в поиске», а источник — «не в поиске». В поисковой выдаче, как и раньше, будет ранжироваться целевая страница, а в сниппете может появиться её URL.
Изменения могут повлиять на временные редиректы:
— со страниц без слеша на конце (site.ru/page) на страницы со слешем (site.ru/page/);
— со страниц без ЧПУ (example.com/?p=123) на страницы с ЧПУ (example.com/category/product_name).
Обратите внимание: технические работы не повлияют на видимость сайта и трафик в поиске. Вам не о чем беспокоиться. Если на вашем сайте используются временные редиректы — вам не требуется изменять тип редиректа или делать что-то ещё. Мы лишь предупреждаем вас о том, что статусы страниц в Вебмастере и URL в сниппете могут измениться.
Если у вас появятся вопросы или трудности — обращайтесь в нашу службу поддержки, и мы обязательно вам поможем.
Что такое 301 редирект и как его настроить
При работе с веб-ресурсами возникают ситуации, когда происходит удаление, перенос или изменение url-адреса отдельных страниц или сайта целиком. При этом требуется сохранить индексацию в поисковых системах и перенаправить пользовательский трафик на новый адрес. Для решения этой задачи используется функция под названием 301 Redirect. Это один из инструментов SEO, который позволяет не только избежать ошибок при открытии отдельных страниц, но и добиться корректной работы ресурса. Правильные настройки редиректа дают дополнительную возможность получить синергетический эффект в поисковой оптимизации и увеличить количество органического трафика на релевантные страницы. Рассмотрим более подробно, как происходит настройка редиректа 301.
Что такое переадресация 301
Permanent Redirect 301 применяется с целью организации постоянной переадресации с неактуального доменного адреса или url отдельной страницы на рабочую версию. Редирект может понадобиться в связи с глобальным переносом сайта на другой домен, техническими изменениями в написании адреса, удалением страниц, необходимостью внутренней и внешней перелинковки. Один из вариантов использования перманентной переадресации – редирект с нескольких доменных имен, созданных в разных зонах, на один актуальный адрес. Грамотное использование редиректа позволяет перемещать контент без потерь в поисковой индексации, сохранить и даже увеличить прежний вес и позицию в выдаче.
Настроить код состояния HTTP 301 можно разными способами:
с помощью HTML и PHP;
через панель управления или плагины соответствующей CMS;
при помощи специальных скриптов (программ);
на уровне хостинг-провайдера;
Последний способ является наиболее простым и надежным. О нем чуть позже поговорим подробнее.
Альтернативные методы переадресации
В большинстве случаев постоянная переадресация является более правильным решением, чем временная. На практике это объясняется просто. Предположим, сайт сменил доменную зону, а затем еще и обзавелся защищенным протоколом https. При настройке временной переадресации в индексе Яндекса и Google по одним и тем же запросам появились три версии сайта с пропорциональным проседанием позиций в выдаче. После настройки редиректа 301 на приоритетный url произошло склеивание дублей, робот вернул сайт в топ выдачи.
Не рекомендуется использовать постоянный редирект при временном переносе сайта или наличии серьезных проблем со старым доменным именем. Если адрес забанен или попал под поисковую фильтрацию, смена дислокации с применением переадресации не поможет избавиться от этих ограничений.
В каких случаях используется постоянный редирект 301
Смена доменного имени, перенос сайта. Необходимо произвести тотальную настройку переадресации со старого адреса на новый, чтобы все без исключения запросы к old_site.ru перенаправлялись на new_site.ru.
Изменение написания url определенных страниц в целях SEO-продвижения, смены CMS или по иным причинам. Требуется настроить редирект с site.ru/1hdkr5 на site.ru/page_adress.
Перенос разделов на субдомены. Необходимо сменить адрес www.site.ru/example на example.site.ru.
Для аккумуляции трафика с адресов, купленных в разных доменных зонах, на один приоритетный ресурс.
Исключение дублирующихся страниц из индекса.
Склейка зеркал сайта – вариантов сайта с идентичным контентом, но разным написанием адресов: site.ru, www.site.ru, https://site1.ru и т.д. В этом случае выбирается один приоритетный домен и на него настраивается редирект со всех остальных зеркал.
Удаление ранее существовавшей страницы. В этом случае пользователи обычно видят ошибку 404. Большое количество таких сообщений негативно воспринимается как пользователями, так и поисковиками.
Для быстрого перехода пользователя на мобильную версию ресурса со смартфонов и планшетных устройств.
Создание постоянной переадресации 301 через настройки и плагины CMS
В большинстве популярных конструкторов сайтов и CMS (OpenCart, Joomla!, Битрикс, Wix, Тильда) предусмотрена настройка редиректов с помощью встроенных инструментов. Если сайт создан с помощью WordPress, для настройки переадресации можно воспользоваться следующими плагинами:
Redirection — самый популярный плагин для настройки редиректов. Кроме основной функции обладает следующими возможностями: сбором статистики переадресаций, отслеживанием ошибок 404, поддержкой регулярных выражений.
Safe Redirect Manager — простой плагин, который также поддерживает регулярные выражения, практически не влияет на производительность сайта.
Quick Page/Post Redirect Plugin — еще один удобный инструмент оптимизации. Один из недостатков — отсутствие поддержки регулярных выражений. К ссылкам можно добавлять атрибут «nofollow».
Simple 301 Redirects. Данный модуль обладает одним недостатком – url для переадресации необходимо прописывать вручную.
Для Битрикс кодировка будет выглядеть следующим образом:
В Joomla настройки переадресации производятся через панель администратора в разделе «Компоненты» => «Перенаправление». Здесь можно не только установить правила редиректа, но и отслеживать страницы с битыми ссылками и перенаправлять их на корректные адреса.
Но настроить редирект 301 довольно просто в базовом редакторе.
Найти файл можно через панель управления хостинга либо использовать FTP-клиент. При любом варианте нужно включить отображение скрытых файлов.
Для создания 301 редиректа перейдите в панель управления вашего сайта.
Рекомендуем все условия редирект записывать в блоке IfModule, дабы избежать ошибок при выполнении файла htaccess.
Перед тем как начать прописывать правила перенаправления, необходимо включить механизм преобразований (RewriteEngine) при помощи команды RewriteEngine On.
Хостинги применяют по умолчанию 302 или любой другой 3xx редирект. В связи с этим в правилах используются флаги. Рекомендуем дописывать в своих правилах [R=301,L].
Склейка зеркал сайта (www / без www)
Сайты http://name.site и http://www.name.site для поисковых систем являются разными. А по факту это разные адреса одного сайта.
Если произошла обратная ситуация и необходима переадресация с без «www» на «www», то в файл прописывается:
Редирект с http на https для всего сайта
Если данная конструкция не сработает, попробуйте другой вариант:
Если редирект не работает и в этом случае, попробуйте такой вариант:
В результате пройдет перенаправление на https всех пользователей и поисковых систем.
Постранично
Бывают случаи, когда необходимо создать редирект на https всех страниц, кроме одной. В этом случае используют постраничный редирект:
Для одной страницы
Для редиректа с http на https одной страницы (например page.php), в файл добавьте следующую конструкцию:
Редирект сайта с https на http
Если необходимо сделать 301 редирект всего сайта с https на http, в файл прописывается следующее:
Изменение домена
Редирект на страницу с другим url (без параметров)
Редирект для url (с параметрами)
Если адрес содержит параметр (например, http://name.site/articles.php?section=1, где параметром является «section=1» ), то прописывают следующую конструкцию:
Редирект с index.php на главную страницу
В тех случаях, когда главная страница сайта может быть недоступна по нескольким адресам одновременно, применяют следующую конструкцию:
Редирект со страниц со слешем на без слеша (для всего сайта)
Или более короткий вариант:
Редирект со страниц без слеша на слеш (для всего сайта)
Обратный вариант применяется, когда нужно использовать адреса со слешем.
301 редирект с 404 Not Found
Код 404 Not Found (страница не найдена) присваивается удаленной или несуществующей странице на сайте. Создание постоянного перенаправления с таких страниц актуально для контентных сайтов и крупных интернет-магазинов, где страницы часто удаляются по естественным причинам. Тогда возникает потребность перенаправить посетителей на одну из главных страниц сайта, чтобы они не уходили с ресурса при виде ошибки.
301 редирект для страниц 404 Not Found сделать совсем не сложно. Например, этот код перенаправит со всех 404-страниц на главную:
Однако делать такие редиректы в массовом порядке не рекомендуется, так как это может испортить SEO-статистику всего ресурса.
Пример файла htaccess, после добавления в него редиректов:
точка заменяет произвольный символ
обозначает перечень знаков, совпадающих с буквами a, b, или с
список символов вне указанного диапазона (кроме a, b, с)
указывает на то, что предыдущий знак может повторяться 0 или больше раз
команда найдет идущие подряд символы из заданного набора
приводит к противоположному эффекту
заменяет любой набор символов
ищет все подстроки между кавычками
начало строки (когда используется в начале выражения)
означает конец строки
цифра, буква или подчеркивание _
заменяет любую цифру
может заменить любой знак, кроме цифры
для замены любой цифры
для всех букв от a до z в нижнем регистре
для каждой буквы от A до Z в верхнем регистре
любая буква от a до Z во всех регистрах
Другие способы создания переадресации 301
Через PHP
Данный вариант подойдет тем, кто хорошо разбирается в web-программировании и PHP. Необходимо открыть файл index.php в корне CMS-движка и прописать там:
(в первой строке укажите старый url, а во второй — новый)
ASP-редирект
ASP.NET редирект
Найдите в корне своего сайта файл web.config и вставьте в секцию синтаксис:
ColdFusion редирект
JSP (Java) редирект
Данный способ подойдет для небольшой корректировки простых сайтов. Код можно прописать лишь в одном файле, а сам файл добавить на все нужные страницы, указав:
CGI-скрипт на PERL
Ruby on Rails
Редирект в Nginx
HTML-редирект
Этот способ подойдет для небольших статических сайтов, когда требуется настроить переадресацию для одной страницы. Для этого необходимо добавить специальный мета-тег внутри кода HTML. Пример записи редиректа на другой ресурс после 5-секундной задержки:
Если поставить значение 0 вместо 5, то переадресация на https://livepage.pro произойдет моментально.
Однако для больших сайтов HTML-перенаправление делать сложно и затратно по времени, поэтому лучше отдать предпочтение другому варианту.
Редирект 301 в панелях управления сервера
Большинство панелей управления сервера предоставляют возможность настройки переадресации с кодом 301. Рассмотрим варианты решения этой задачи на примере двух популярных ПУ для VDS.
Cpanel
Нужно перейти в блок «Домены» => «Перенаправления». В появившемся окне выполнить следующее:
В строке «Тип» выбрать «Постоянный 301».
В строке «https://www» из выпадающего списка выбрать домен сайта (например, example.ru).
В строке «Перенаправляет на» указать для домена адрес http://example.ru.
В блоке «Перенаправление www» поставить галочку напротив «Перенаправлять только с www».
Сохранить изменения кликом на «Добавить».
ISPmanager
Автоматическое создание переадресации
При отсутствии знаний и опыта самостоятельной настройки редиректа можно воспользоваться сервисами автоматической генерации:
Проверка корректности настроек 301 редиректа
Самый простой способ проверки переадресации – ручное тестирование. Для этого необходимо вставить в адресную строку браузера url сайта или страницы, с которой настроено перенаправление. Если при открытии будет доступен ресурс, на который настроен редирект, то переадресация выполняется правильно.
Для автоматической проверки можно воспользоваться специальными сервисами:
программой Screaming Frog Seo Spider, способной просканировать весь сайт.
Существует ряд ошибок, которые следует избегать при настройке редирект 301:
использование перенаправлений между страницами сайта без изменения их url в ссылках;
установка временной переадресации вместо постоянной;
неправильный выбор типа редиректа;
перенаправление файла robots.txt;
непонимание разницы между rel=canonical и кодом 301;
редирект на нерелевантный контент;
переадресация, которая не приводит к 200-й странице.
Стоит отметить проблему создания цепочки ссылок, которая может привести к появлению циклического редиректа — ошибки с кодом «ERR_TOO_MANY_REDIRECTS». Наиболее распространенные причины возникновения такого бага – неправильная настройка в процессе создания переадресации, вирусная атака, слишком длинная цепочка редиректов. Не рекомендуется настраивать редирект, содержащий более пяти адресов. Оптимальной является прямая переадресация со старого на новый url.
Заключение
Использование редиректа 301– очень важный способ поисковой и пользовательской оптимизации веб-ресурса. Использовать его следует с осторожностью. Неправильная настройка может привести к сбоям в работе сайта и потере поисковых позиций.
Довольно часто веб-мастеры сталкиваются с ситуацией, когда из Яндекса выпадают практически все страницы сайта кроме главной. Особенно это явление хорошо знакомо строителям сеток сателлитов. И больше чем в половине случаев виноват сам вебмастер.
Чаще всего бывает так: Яндекс определяет основным адрес сайта с www (или же это было прописано в Host файла robots.txt), а владелец сайта устанавливает 301 редирект с него на адрес без www. В таком случае индексирующий робот пытается проиндексировать сайт по адресу с www. Но, пытаясь попасть на сайт с www, поисковик перенаправляется на сайт без www при помощи серверного 301 редиректа. Таким образом, страница, с которой установлен редирект, не индексируется, а заменяется на ту, на которую этот редирект ведёт. Данное явление принято называть “склейкой”. При повторных попытках индексации, робот продолжает перенаправляться на сайт без www, который, по мнению поисковика, является дополнительным зеркалом. В результате соединение разрывается по таймауту и сайт не индексируется. Частично уже об этом упоминалось в статье – 6 ошибок в SEO, которые нужно перестать допускать.
Рассмотрим более подробно, для чего нужен 301 редирект и файл robots.txt.
Robots.txt для WordPress
Этот файл должен располагаться в корневом каталоге сайта. Весьма подробную информацию о нём вы можете получить по ссылке – A Standard for Robot Exclusion. Robots.txt предназначен для всех поисковых систем. Основным его предназначением является запрет индексации каких-либо разделов или файлов вашего сайта.
Файл robots.txt составлен не правильно если:
Во всех этих случаях считается по умолчанию, что к индексации сайт разрешён полностью.
Пример файла robots.txt
Как правило, файл состоит из нескольких блоков, т.к. Яндекс поддерживает расширенный набор функций для него. Каждый отдельный блок используется своей поисковой системой, название которой прописывается после “User-agent: “. Любой путь указывается в файле относительно корневого каталога сайта. Если после названия папки поставить слэш, то к индексации будет запрещена только эта папка, если же слэш не ставить, то к индексации будут запрещены все файлы, начинающиеся с названия папки.
Когда индексирующий робот анализирует файл robots.txt, первым делом он ищет указания именно для своей поисковой системы в соответствующем разделе, например: “User-agent: Yandex“. Если такого раздела в файле нет, то робот руководствуется общими правилами для всех поисковиков, прописанными в блоке “User-agent: *“. Блоки для разных поисковых систем разделяются в файле между собой пустой строкой.
Существуют две противоположные по функциям директивы: “Disallow” и “Allow“. Первая запрещает к индексации папки/файлы, указанные в ней, вторая – разрешает. Но здесь есть разные решения и исключения:
Disallow: / – полный запрет индексации сайта.
Allow: / – разрешение индексации всего сайта.
Disallow: – разрешает индексацию сайта
Allow: – запрещает индексацию сайта
Кроме того, если в файле robots.txt присутствуют две, противоречащие друг другу команды, то действует та, которая выше, т.е. ближе к началу блока.
Директива “Sitemap:” указывает на место расположения карты сайта в формате xml. Директиву “Host:” понимает только робот Яндекса. Она указывает на то, как следует индексировать сайт: с www или без.
Проверить, правильно ли составлен файл robots.txt можно при помощи инструментов для веб-мастера Яндекса или Google.
Главная страница вашего сайта может быть проиндексирована по достаточно большому количеству адресов:
Существуют и другие форматы адреса главной страницы. При этом поисковая система может считать, что все эти адреса принадлежат разным сайтам и все их индексировать. Именно поэтому, например, PageRank вашего сайта без www может иметь одно значение, а с www – совершенно другое. Если контент на вашем сайте по всем таким адресам одинаковый, то поисковый робот обычно автоматически склеивает все их, считая основным адресом только один. Все остальные адреса главной являются дополнительными зеркалами сайта. Как уже было сказано выше, Яндексу помогает определить главное зеркало сайта директива “Host:” в файле robots.txt. Но, по словам представителей Яндекса, эта директива носит лишь рекомендательный характер и порой склейки сайта таким способом можно ждать на протяжении многих месяцев. Для Google этот вопрос решается намного проще: достаточно указать главное зеркало в панели инструментов веб-мастера.
В данном примере главным зеркалом выбран адрес с www, на который ведёт редирект. Такой шаблонный редирект хорош тем, что если пользователь наберёт в адресной строке браузера адрес абсолютно любой страницы сайта без www, то он будет автоматически перенаправлен на эту страницу с www. Точно так же это работает и для роботов поисковых систем.
ПОНРАВИЛСЯ ПОСТ? ПОДЕЛИСЬ ССЫЛКОЙ С ДРУЗЬЯМИ!