Страница просканирована но пока не проиндексирована как исправить
Страница просканирована но пока не проиндексирована как исправить
С чем может быть связано? Ответ 200ок, страница открывается, в роботсе запрета нет.
ps старый сайт, не очень нужен был, но тут решили заглянуть в панель.
Присоединяюсь к вопросу. Постоянно растет количество таких страниц. Раньше они четко сидели в индексе.
Я к сожалению не в курсе, как на этом нашем сайте, растет или статично количество, т.к. нет данных за прошлый период.
Плюсую к вопросу ТСа.
Сначала падало количество почти до нуля. Теперь же отрастает обратно.
С чем может быть связано? Ответ 200ок, страница открывается, в роботсе запрета нет.
Спасибо
ps старый сайт, не очень нужен был, но тут решили заглянуть в панель.
Может быть глюк. Посмотрите в поиске есть ли эти страницы в выдаче.
С чем может быть связано? Ответ 200ок, страница открывается, в роботсе запрета нет.
Спасибо
ps старый сайт, не очень нужен был, но тут решили заглянуть в панель.
Как дела с мобайл френдли?
postavkin:
Всё мобильно.
Вообще сегодня глянул после прочтения топика. У себя тоже нашел такое. В основном там редиректы сидят. Нашел пару страниц нормальных, проверил. Они даже при проверке на самом гугле уже проиндексированными оказались. А на одну страницу вообще трафик с гугловского поиска шел.
Страница просканирована, но пока не проиндексирована
Те урл которые там, некоторые из них ищутся по урл, НО. нет кеша (что логично)
— и ПРИ ЭТОМ некоторые из них не ищутся по точному соответствию заголовка, а некоторые ищутся (никакой закономерности).
Видимо это список страниц, которые в соплях.
Осталось понять причины. Преимущественно страницы товаров. Но дублей нет. Причины не ясны.
Вопрос: когда смотрим инфу о странице
какую ссылку он не нашел, внутри сайта что ли?
Был уверен, что все в порядке. Сегдоня увидел, что из 16к проиндексированных, только 3к мобайл.
НО при этом с ошибками нет? Где же они?
В списке «исключенных» (то что выше показал) только 1 из 10 урл попалась надпись в гугле что страница не оптимизирована для мобильных.
Списком мобильные не дает выгрузить (только 1000 страниц). А так бы можно было сверить какие не моб и удивиться.
У меня с формулировкой «Страница просканирована, но пока не проиндексирована» выпало из индекса 1000+ страниц только с одного сайта
Статус «Страница просканирована, но не проиндексирована»: что это значит и как от него избавиться?
Поделиться с друзьями:
Перевод статьи с портала MOZ
Отчет об индексировании от Google дает SEO-специалистам уникальную возможность понять, как происходит краулинг и индексирование страниц. Эта функция очень удобна для диагностики технических проблем, возникающих у клиентов.
В отчете встречается много разных «статусов», которые предоставляют веб-мастерам подробную информацию о том, как Google обрабатывает контент их сайта. И хотя большинство статусов дают понимание о решениях Google по краулингу и индексированию, один из них остается неясным. Речь идет о статусе «Crawled — currently not indexed» («Просканировано, но не проиндексировано).
Обращая внимание на подобные отчеты и выявив причины возникновения ошибок, можно будет с уверенностью ответить на вопрос «Почему сайт не индексируется в Google?».
Появления статуса «Crawled — currently not indexed» вызывает у владельцев сайтов много вопросов. Одно из преимуществ крупной компании — это возможность работать с большим объемом данных. Поэтому после появления этого статуса в нескольких учетных записях мы начали отслеживать тенденции по указанным URL-адресам.
Определение Google
Для начала давайте посмотрим, какое определение этому статусу дает сам Google. Согласно официальным документам Google, за непонятной фразой скрывается следующее: «Страница была просканирована Google, но не проиндексирована. Возможно, она будет проиндексирована в будущем; нет необходимости повторно отправлять этот URL для краулинга».
Итак, мы можем сделать следующие выводы:
1. Google может получить доступ к странице.
2. Google потратил время на сканирование страницы.
3. После сканирования Google решил не индексировать страницу.
Чтобы лучше понять этот статус, нужно подумать о причинах, по которым Google решил отказать странице в индексации. Очевидно, что Google без труда находит страницу, но почему-то не считает ее достаточно полезной для включения в поисковую выдачу.
Получать отказ в индексировании от Google всегда неприятно, особенно если вы не понимаете, что сделали не так. Ниже мы рассмотрим несколько наиболее распространенных причин, по которым этот загадочный статус может быть присвоен вашему сайту.
1. Ложная тревога
Приоритет: низкий
Прежде всего нелишним будет сделать несколько выборочных проверок URL-адресов, получивших статус «Crawled — currently not indexed». Нередко можно найти URL-адреса, которые отмечены как исключенные, но тем не менее присутствуют в поисковой выдаче Google.
Например, вот URL-адрес, получивший такой статус в отчете для нашего веб-сайта: https://gofishdigital.com/meetup/
Однако, используя оператор поиска по сайту, мы обнаруживаем, что URL по-прежнему включен в индекс Google. Вы можете сделать это, добавив site: перед URL, как показано на рисунке ниже.
Таким образом, если вы обнаружили статус «Crawled — currently not indexed» у URL-адреса, рекомендуется начать с оператора поиска по сайту, чтобы наверняка убедиться, проиндексирован он или нет. Иногда появление такого статуса — ложная тревога о статусе индексации в Google.
Решение: ничего делать не нужно. Все хорошо.
2. Адреса RSS-каналов
Приоритет: низкий
Один из достаточно распространенных случаев, с которыми нам приходилось сталкиваться. Если на вашем сайте используется RSS-канал, возможно, вы обнаружите у URL-адресов статус «Crawled — currently not indexed». Часто к этим URL-адресам будет добавлена строка /feed/. В отчете это выглядит следующим образом:
Google нашел эти URL-адреса RSS-каналов, связанных с основной страницей, затем просканировал, но не проиндексировал.
Связывание часто происходит с использованием элемента rel=alternate. Плагины WordPress, такие как Yoast, могут автоматически генерировать подобные URL.
Решение: ничего делать не нужно. Все хорошо.
Скорее всего, Google выборочно не индексирует эти URL-адреса, и вовсе не напрасно. Если вы перейдете по адресу RSS-канала, то увидите XML-документ, подобный приведенному ниже:
Хотя этот документ полезен для RSS-каналов, обычным пользователям он совершенно без надобности. Именно поэтому Google не индексирует такие URL-адреса.
3. Разбитые на страницы URL-адреса
Приоритет: низкий
Еще одна распространенная причина появления статуса «Crawled — currently not indexed» — разбивка на страницы. В отчете мы часто наблюдаем большое количество разбитых на страницы URL-адресов. На рисунке ниже приведено несколько URL-адресов с крупного сайта интернет-магазина:
Решение: ничего делать не нужно. Все хорошо.
Для полного краулинга сайта Google должен сканировать все разбитые на страницы URL-адреса. Это могут быть страницы с довольно важным контентом, например, с категориями или описанием продуктов. Однако поисковой системе вовсе не обязательно индексировать все подобные URL-адреса.
Тем не менее нужно удостовериться, что вы сами не препятствуете сканированию отдельных страниц. Убедитесь, что все ваши страницы имеют самореферентный канонический тег и не содержат nofollow-тегов. Подобная разбивка позволяет Google сканировать другие ключевые страницы вашего сайта.
4. Отсутствующие продукты
Приоритет: средний
После выборочной проверки отдельных страниц, перечисленных в отчете, мы обнаружили еще одну общую проблему многих клиентов. Речь идет об URL-адресах, содержащих текст «товары с истекшим сроком годности» или «нет в наличии». Похоже, что на сайтах интернет-магазинов Google проверяет наличие определенного продукта. Если выясняется, что продукта нет в наличии, Google убирает страницу из индекса.
С точки зрения пользовательского опыта, это действительно имеет смысл, поскольку Google сканирует и исключает из индекса товары, которые пользователи не могут приобрести.
Однако, если данные продукты доступны на вашем сайте, исключение из индекса сулит неприятные последствия. Если страница не была проиндексирована, ваш контент не получает никакого рейтинга.
Кроме того, Google не просто проверяет видимый контент на странице. Бывали случаи, когда видимый контент никоим образом не указывал на отсутствие того или иного продукта. Однако при проверке структурированных данных мы видим, что для свойства Availability («Доступность») установлено значение OutOfStock («Нет на складе»).
Похоже, что Google использует не только видимый контент, но и структурированные данные о доступности того или иного продукта. Поэтому важно проверять оба источника данных. Если проблема имеет массовый характер, Google не проиндексирует не только страницы, но и сайт в целом.
Решение: проверьте наличие продуктов на складе.
Если вы обнаружите, что ваш продукт, который на самом деле есть в наличии, почему-то исключен из индекса, это повод проверить и другие продукты, указанные в отчете. Проведите сканирование своего сайта с помощью инструментов извлечения, таких как Screaming Frog SEO Spider.
Например, если вы хотите увидеть все ваши URL-адреса, где присутствует значение OutOfStock, используйте регулярное выражение «availability»:».
С помощью «class=»redactor-autoparser-object»>http://schema.org/OutOfStock» автоматически отобразятся все URL-адреса с этим значением:
Вы можете экспортировать этот список и перекрестные ссылки с данными о наличии товара, используя Excel или инструменты бизнес-аналитики. Это позволит вам быстро найти расхождения между структурированными данными на вашем сайте и продуктами, которые действительно есть в наличии. Аналогичным образом можно обнаружить случаи, когда ваш видимый контент указывает, что срок годности продуктов истек.
5. Переадресация 301
Приоритет: средний
Конечный URL — еще один тип адресов в зоне риска. Мы часто видим, что Google сканирует конечный URL, но не включает его в индекс. Однако, посмотрев на поисковую выдачу, мы обнаружим, что Google индексирует перенаправленный URL. Поскольку перенаправленный URL индексируется, конечный URL-адрес добавляется в отчет «Crawled — currently not indexed».
Проблема в том, что Google, вероятно, еще не распознает переадресацию. В результате он рассматривает конечный URL как «дубликат» перенаправленного URL.
Решение: создайте временный файл sitemap.xml.
Если подобное происходит на большом количестве URL-адресов или сайт полностью не индексируется в Google, стоит принять меры для отправки в Google более сильных сигналов консолидации. Проблема может указывать на то, что Google своевременно не распознает ваши переадресации, что приводит к появлению сигналов о неконсолидированном контенте.
Одним из вариантов может стать создание временного файла sitemap. Это поможет значительно ускорить сканирование перенаправленных URL-адресов. Именно такую стратегию рекомендовал Джон Мюллер в одной из предыдущих статей.
Как сделать временную карту сайта с конечными URL адресами для редиректов:
1. Экспортируйте все URL-адреса из отчета «Crawled — currently not indexed».
2. Сопоставьте их в Excel с предварительно настроенными редиректами.
3. Найдите все переадресации, у которых в области «Crawled — currently not indexed» находится конечный URL.
4. С помощью Screaming Frog создайте статический файл sitemap.xml этих URL-адресов.
5. Загрузите sitemap и просмотрите отчет в Search Console.
Google будет сканировать URL-адреса во временном файле sitemap.xml чаще, что приведет к более быстрой консолидации редиректов.
6. Контент низкого качества
Приоритет: средний
Иногда мы видим в отчете URL-адреса с контентом очень низкого качества. На таких страницах могут быть правильно настроены все технические элементы и внутренние ссылки, однако им недостает фактического контента, что также замечает Google. Ниже приведен пример страницы с информацией о продукте, на которой очень мало уникального текста:
Этой странице был присвоен статус «Crawled — Currently Not Indexed». Наиболее вероятная причина — низкое качество контента.
Google посчитал ее либо недостаточно полезной, либо дубликатом другой страницы. В результате страница была удалена из индекса.
Вот еще один пример: Google просканировал страницу с отзывом на сайте Go Fish Digital (рисунок выше). Хотя этот контент является уникальным для нашего сайта, но Google, вероятно, не считает, что страница из одного предложения с рекомендацией заслуживает индексации.
Поэтому Google принял решение исключить страницу из индекса по причине низкого качества контента.
Решение: добавьте больше контента или настройте сигналы индексации.
Следующие шаги зависят от того, насколько важно для вас проиндексировать те или иные страницы.
Если вы считаете, что страница обязательно должна попасть в индекс, добавьте больше уникального контента. В этом случае Google посчитает страницу достаточно полезной и проиндексирует ее.
Если тот или иной контент, на ваш взгляд, не нуждается в индексации, встает совершенно другой вопрос: следует ли вам предпринять дополнительные меры и убедительно показать, что данный контент не следует индексировать. Ведь, как мы помним, статус «Crawled —currently not indexed» указывает на то, что контент был просканирован и мог быть включен в индекс, но Google решил этого не делать.
Однако Google применяет эту логику не ко всем страницам низкого качества. Вы можете выполнить общий поиск по сайту с помощью оператора site:, чтобы найти проиндексированный контент, который соответствует приведенным выше критериям низкого качества. Если обнаружится, что большое количество таких страниц появляется в индексе, вы можете предпринять ряд мер, таких как тег noindex, ошибка 404 или полное удаление внутренних ссылок.
7. Дублированный (неуникальный) контент
Приоритет: высокий
Среди наших клиентов данная проблема встречается наиболее часто. Если Google посчитает ваш контент дублированным, он может сканировать его, но не включать в индекс. Это один из способов, с помощью которых Google избегает дублирования поисковой выдачи. Удаляя подобный контент, Google обеспечивает пользователям широкий выбор уникальных страниц. Иногда в отчете URL-адреса получают статус «дубликатов» (Duplicate, Google chose different canonical than user). Тем не менее не каждая страница является дублирующей в строгом смысле этого слова.
Эта проблема особенно актуальна для интернет-магазинов. Ключевые страницы, например, с описанием продукта, часто содержат контент, аналогичный или похожий на многие другие страницы в интернете. Если Google обнаружит, что по содержанию или структуре ваши страницы слишком похожи на страницы других сайтов, он может исключить их из индекса.
Решение: добавьте в дублированный контент уникальные элементы.
Если вы считаете, что это относится к вашему сайту, проведите следующую проверку:
1. Скопируйте сниппет потенциального дублированного текста и вставьте его в Google.
2. Добавьте в конец URL-адреса (в браузере) следующую строку: &num=100. Отобразятся первые 100 результатов.
3. Используйте функцию «Поиск», чтобы увидеть, появляется ли ваш результат среди первой сотни. Если нет, вероятно, он был удален из индекса.
4. Вернитесь к URL-адресу (в браузере) и добавьте следующую строку: &filter=0. Это должно показать вам нефильтрованные результаты Google (спасибо Патрику Стоксу за совет).
5. Используйте функцию «Поиск», чтобы найти ваш URL. Если теперь ваша страница появляется в выдаче, это говорит о том, что ваш контент удаляется фильтром из индекса.
6. Повторите процесс для нескольких URL-адресов с потенциально дублированным или очень похожим контентом, которые получили статус «Crawled — currently not indexed».
Если вы продолжаете замечать, что URL-адреса удаляются фильтром из индекса, необходимо сделать контент более уникальным.
Универсального средства для таких случаев не существует, но мы можем предложить несколько вариантов:
1. Перепишите контент на самых важных страницах, чтобы сделать его более уникальным.
2. Используйте динамические свойства для автоматической вставки уникального контента на страницу.
3. Удалите большие куски шаблонного текста. Иногда страница признается дубликатом именно по этой причине.
4. Если ваш сайт зависит от пользовательского контента, повысьте требования к уникальности текстов. Это может помочь предотвратить случаи, когда пользователи размещают один и тот же контент на нескольких страницах или доменах.
8. Скрытый контент
Приоритет: высокий
В некоторых случаях Google может сканировать контент, к которому у него не должно быть доступа. Если Google находит URL-адреса, на которых ведется разработка, он может включить их в отчет. Однажды мы столкнулись с тем, что Google сканировал субдомен, предназначенный для задач JIRA. Это вызвало тотальный обход сайта, содержащего страницы, совершенно не предназначенные для индексации.
Таким образом, Google тратит время на сканирование (и, возможно, индексацию) URL-адресов, которые не предназначены для обычных пользователей. Это может иметь серьезные последствия для краулингового бюджета сайта.
Решение: примите меры для краулинга и индексации.
Это решение будет полностью зависеть от ситуации и того, к чему Google может получить доступ. Как правило, первым делом необходимо выяснить, как Google смог обнаружить скрытые URL-адреса, особенно если это произошло через структуру внутренних ссылок.
Начните сканирование с домашней страницы основного субдомена и проверьте, может ли Screaming Frog получить доступ к скрытым субдоменам стандартным способом. Если да, то можно с уверенностью сказать, что робот Google мог использовать аналогичную лазейку. Вы можете ограничить доступ Google, удалив все внутренние ссылки на этот контент.
Следующим шагом может стать проверка статусов URL-адресов, которые должны быть исключены из индекса. Справляется ли Google с этой задачей, или некоторые из адресов все же были проиндексированы? Если Google не индексирует большой объем данного контента, вы можете настроить файл robots.txt так, чтобы он сразу блокировал сканирование. В противном случае используйте теги noindex, атрибуты canonical и страницы, защищенные паролем.
Пример: дублированный пользовательский контент
В качестве живого примера можно привести случай, когда мы диагностировали проблему на сайте клиента. Этот сайт очень похож на интернет-магазин, поскольку большая часть его контента состоит из страниц с описанием продуктов. Тем не менее все такие описания являются пользовательским контентом.
Третьим лицам разрешено создавать листинги продуктов на этом сайте. Однако очень часто пользователи составляют слишком короткие описания, что расценивается как контент низкого качества. По этой причине страницы с описанием продуктов от пользователей стали попадать в отчет «Crawled — currently not indexed». Таким образом, страницы, способные генерировать органический трафик, были вовсе исключены из индекса, что имело ряд неприятных последствий.
После проведения диагностики мы обнаружили, что страницам с описанием продуктов существенно не хватало уникального контента. Все исключенные страницы содержали не более одного абзаца уникального текста. Кроме того, основное содержание всех страниц представляло собой один и тот же шаблон. Из-за недостатка уникальности шаблонного текста Google мог рассматривать страницы как дубликаты. В результате они были исключены из индекса с присвоением статуса «Crawled — currently not indexed».
Совместно с клиентом мы решили, какой неуникальный контент необходимо убрать со страниц описания продукта. Мы удалили одинаковое содержание с тысяч страниц. Это привело к значительному уменьшению URL-адресов со статусом «Crawled — currently not indexed», так как Google начал рассматривать каждую страницу как более уникальную.
Заключение
Надеюсь, наша статья поможет SEO-специалистам лучше понять загадочный статус «Crawled — currently not indexed», который появляется в Отчете об индексировании. Конечно, могут быть и другие причины, по которым Google классифицирует URL-адреса подобным образом, однако мы привели наиболее распространенные среди наших клиентов случаи.
Таким образом, Отчет об индексации является одним из самых мощных инструментов Search Console. Мы настоятельно рекомендуем с ним ознакомиться, поскольку во многом благодаря этому инструменту мы своевременно обнаруживаем все аномалии краулинга и индексирования, особенно на крупных сайтах. Если вы сталкивались с другими причинами попадания URL-адресов в отчет «Crawled — currently not indexed», сообщите об этом в комментариях!
Об авторе:
«Страница просканирована, но не проиндексирована» и «Страница обнаружена, но не проиндексирована» — в чем разница?
Ответ
Сообщение «Страница просканирована, но не проиндексирована» означает, что технически со страницей нет никаких проблем, но Google решил не добавлять ее в индекс и не ранжировать. Основные причины, по которым Google не индексирует страницы:
Сообщение «Страница обнаружена, но не проиндексирована» означает, что ссылка на страницу обнаружена, но пока только добавлена в очередь на сканирование (чего в итоге может и вовсе не произойти из-за перегруженности сайта).
Google определяет, какие страницы сканировать в первую очередь, на основании их PageRank, который является сигналом важности страницы. Поэтому, если непросканированных страниц на сайте большое количество и они являются ценными для продвижения, в первую очередь необходимо проанализировать внутреннюю перелинковку сайта. Вполне возможно, что нарушена структура сайта и некоторые ценные страницы получают недостаточное количество внутренних ссылок или не получают их вовсе.
Также следует оптимизировать скорость загрузки сайта, уменьшить глубину сайта, устранить мусорные и битые страницы, уменьшить количество редиректов и устранить их цепочки, проработать и актуализировать файл Sitemap, чтобы улучшить скорость сканирования сайта. Подробнее о способах увеличить краулинговый бюджет можно узнать в нашей статье.
Хотите получить ответ на свой вопрос? Задайте его нам через телеграм-бота!↓
Решено: Страница Обнаружена, не просканирована
Когда ваш проект начинает расти и у него появляются тысячи публикаций, следует очень внимательно следить за его индексацией, так как сколько бы вы не создавали новых страниц, их отсутствие в поисковом индексе не приведет вам читателя и будет бессмысленным. На минувшем месяце я на одном из своих крупных проектов наткнулся на интересую ситуацию, я выпустил цикл новых статей, отправил их на ручную индексацию Google и забыл, какого же было мое удивление, когда я их не обнаружил в индексе гугла, а в Яндексе все появилось буквально через минуту. Начав копать я обнаружил, что они имеют статус «Страница Обнаружена, не просканирована«. Давайте разбираться из-за чего они получили такой статус и как это исправить.
Что означает статус «Страница Обнаружена, не просканирована»
В Google Search Console есть раздел «Покрытие» в котором вебмастер может отслеживать состояние страниц на его ресурсе:
Если пролистать немного ниже, заведомо выбрав пункт «Исключено«, то можно очень детально посмотреть состав исключенных страниц, тут то я и обнаружил раздел с «Страница Обнаружена, не просканирована«.
Перейдите в него и вы увидите состав данных страниц, вот мои бывшие примеры:
Поиск проблем и причин
Когда при индексации вы видите подобный статус страницы, то с большой вероятностью когда пришел Google-bot отвечающий за сканирование ваших страниц, он осознал, что создает большую нагрузку на ваш ресурс. Дабы его не положить он откладывает данный процесс на неизвестное время и старается вас меньше напрягать. Что это значит для нас, это очень плохо, так как страницы не будут индексироваться, значит не будет трафика и далее заработка.
Что делать, нужно смотреть нагрузку на сайт. Первым делом вам необходимо зайти на ваш сервер или хостинг и проанализировать логи. В моем случае, это хостинг. Открыв админку, я увидел сильную нагрузку на сайт и на базу данных, выглядело это вот так. Обычно в пиковые значения нагрузка на БД не превышала 5-6%, что меня очень заинтересовало.
Нас будет интересовать среднее время ответа, это по сути аналог PING, при обращении к хосту. Как видите у меня он в среднем был 260, а затем резко подскочил до 700. Потом то, я нашел причину и он уменьшился, как вы видите по графику, но это успело повлиять на ресурс, и бот стал слегка осторожнее при обходе.
Вспоминая хронологию действий я понял, что причиной всему стало обновление плагина WordPress под названием WP Super Cache. И реально я заметил, что на хостинге в статистике была нагрузка, так как будто сайт работает без кэширующего плагина. Что я сделал, я полностью удалил кэш, а затем провел его тестирование, в итоге штампы совпадают, значит все хорошо.
На следующий день я проверил статистику по нагрузке на хостинге, в итоге увидел привычную картину.
Так же я проверил скорость загрузки сайта в Google через сервис, в итоге все вернулось в зеленую зону.
Дополнительно
Проверить заголовок Last Modified можно на вот этом ресурсе » https://lastmodified.ru/ «. Например, я проверю статью «Какими компаниями владеет Сбербанк».
Ваш сервер отдал корректный заголовок Last-Modified.
Через некоторое время ваши выпавшие из индексации страницы появятся в индексе, можете периодических их пытаться засунуть в ручную Google Search Console через кабинет.