google indexing api php
Google Indexing API, как настроить, использовать, и избежать ошибки 403
Фактически же это хорошая замена канувшим уже в лету и плохо работающим пингерам, которые я все равно еще не отключал. Приходит бот и ладно.
Но, вернемся к Google Indexing API.
Во-первых, подчеркну, что работает API для всех страниц. По крайней мере, у меня никаких JobPosting нет, только Article, но странички заходят влет.
Во-вторых, не ожидайте напихать в индекс мусор. Бот придет, страничку подберет, а потом может и выкинуть. Все правила, распространяющиеся на запрос индексации в консоли, распространяются и на API.
Вот основная справка: ➽
Да, от sitemap отказываться все равно не рекомендую. Не путайтесь, что вам там рассказывают по ссылке выше.
Необходимо создать проект и сервисную учетку. Она будет конских размеров и к вашему емейлу отношения иметь не будет. Да, на учетках GSuite все тоже замечательно работает. В смысле, что авторизоваться для настройки всего этого счастья можно и из под GSuite-учетки. Я когда упирался, собирался уже найти свою старую гугловую учетку, вот это делать не надо.
Все описания, которые сейчас есть в интернете, описывают, как добавить владельца в старой версии консоли. Я решил этот квест за вас. Заходите в Пользователи и разрешения, но не спешите жмакать в «Добавить пользователя». У вас есть владелец уже в списке, вот тыкайте в три точки справа от надписи «Владелец»
это как раз то, что вам нужно. Вот в том разделе и добавьте делегированного владельца, ту сервисную учетку, которую вы завели раньше.
Дальше все достаточно просто, кидаете себе на хост где-то файлик (я использую PHP, соответственно, файлик брал на этом языке)
Некоторый геморрой я получил при попытке зацепить библиотечку ➽ на которой вышеуказанный пример работает. Дело в том, что на данный момент релизнулась версия 2.6, однако, к моему удивлению, ни git clone, ни прямое скачивание по линкам исходников версии не давали полный комплект файлов. Все время чего-то не хватало. Так вот, чтобы хватало, берите 2.5 и конкретно файл google-api-php-client-2.5.0.zip оттуда, а не исходники.
Необходимо упомянуть, что я еще включил API в консоли ➽ точно не могу сказать, что это обязательно. Однако, включил и с этим работает. Заодно и позволяет видеть, что оно работает.
Задавайте вопросы, если что-то не описал, поправляйте.
Инструкция по использованию Google Indexing API
Инструкция по использованию Google Indexing API
После выхода новой версии А-Парсер’а в которой была внедрена полноценная поддержка NodeJS модулей, открылись новые возможности, а именно работа с Google API.
В данном примере рассмотрим работу с Indexing API, сервис позволяет владельцам сайтов напрямую уведомлять Google о добавлении или удалении страниц.
Таким образом ваш сайт будет быстрее просканирован Google, что способствует повышению качества трафика.
Google рекомендует использовать Indexing API вместо файлов Sitemap, так как сканирование роботом Googlebot с помощью Indexing API происходит раньше, чем через Sitemap.
Вводим название проекта и нажимаем Создать, по желанию можно изменить Идентификатор проекта.
Когда проект создан, теперь можно создать сервисный аккаунт.
Вводим название и описание аккаунта.
Права доступа не обязательны, можно пропустить.
На данной странице нужно Создать ключ.
На боковой панели выбираем формат ключа – JSON. после создания ключа, нажимаем готово.
Теперь нужно пройти проверку подтверждения сайта.
Переходим в Google Search Console. Нажимаем Добавить ресурс.
Выбираем Ресурс с Префиксом в URL, вводим свой домен, нажимаем продолжить.
Дальше подтверждаем права собственности сайта любым удобный вам способ.
После подтверждения выбираем наш ресурс, переходим в настройки и нажимаем Пользователи и разрешения.
На странице Пользователи и разрешения нажимаем добавить пользователя.
В поле адрес электронной почты нужно ввести почту своего сервисного аккаунта, его можно найти в закрытом ключе JSON, который был скачан при создания сервисного аккаунта.
Открываем наш ключ в формате JSON и копируем адрес из поля client_email.
Пример электронной почты: [email protected]project-name.google.com.iam.gserviceaccount.com
Нужно еще добавить владельца в Центре веб-мастеров.
Нажимаем на три точки владельца и переходим в Управление владельцами ресурса.
Нажимаем Добавить владельца, вводим наш email из файла ключей и продолжить.
Мы создали сервисный аккаунт и подтвердили что являемся владельцами сайта.
Теперь перейдем к самому парсеру.
Сам код достаточно простой и понятный.
В init() считываем наш ключ JSON с помощью модуля fs.
И передаем данные client_email, private_key для авторизации.
Порядок работы с Indexing API
Перед началом использования Indexing API необходимо выполнить следующие действия:
Как создать проект для вашего клиента
Прежде чем отправлять запросы к Indexing API, сообщите Google о клиенте и активируйте доступ к API. Для этого в Google API Console создайте (набор настроек и данных о доступе к API под общим именем) и зарегистрируйте приложение.
Чтобы начать работу с Indexing API, вам нужно воспользоваться специальным инструментом настройки. Он будет предлагать вам пошаговые инструкции, с помощью которых вы сможете создать проект в Google API Console, включить API и добавить учетные данные.
Создание сервисного аккаунта
Как добавить свой сервисный аккаунт в качестве владельца сайта
Выполните следующие действия:
1. Подтвердите, что сайт принадлежит вам
Подтвердите, что вы являетесь владельцем сайта, любым из способов, доступных в Search Console. Вы можете создать доменный ресурс (example.com) или ресурс с префиксом в URL (https://example.com или https://example.com/some/path/), представляющий ваш сайт. Помните, что в Search Console сайты называются ресурсами.
2. Получите статус владельца для своего сервисного аккаунта
Затем добавьте свой сервисный аккаунт в качестве делегированного владельца сайта. Вот как это сделать:
Как получить токен доступа
Для каждого вызова Indexing API необходимо выполнить аутентификацию с помощью токена OAuth, который вы можете получить в обмен на свой закрытый ключ. Срок действия токена ограничен. Клиентские библиотеки API от Google позволяют получать токены OAuth для различных языков.
Требования
Отправляя запросы к Indexing API, соблюдайте следующие требования:
Примеры
В примерах ниже показаны способы получения токена доступа OAuth.
Как индексировать 200 URL в Google каждый день через Indexing API
В условиях, когда Google закрыл инструмент для индексации страниц, мы (seo-специалисты) ищем альтернативные способы. В этом нам поможет Indexing API Google для переиндексации.
Как отправлять страницы на переиндекс массово, а не по одной ссылке, мы знаем давно благодаря этой статье. Ребята создали скрипт на базе Indexing API, который позволит отправлять на сканирование и последующую индексацию до 200 страниц в день. В нашей статье будет перевод основных тезисов, дополненный скринами.
Что нам понадобится для освоения Indexing API:
Эти настройки делают один раз. Далее вы просто редактируете файл urls и запускаете скрипт переиндекса. Но об этом позже.
1. Настройка Indexing API: создание сервисного аккаунта и JSON-ключа
Начнём с настройки доступа в консоли Indexing API. Переходим на Google Cloud Platform и создаём там сервисный аккаунт.
Шаг 1:
Здесь можно ввести желаемое название проекта либо оставить предлагаемое. Местоположение оставляем как есть, редактировать необязательно.
Продолжаем создавать сервисный аккаунт: вы должны видеть перед собой следующее окно (название проекта у вас будет другое):
Далее вводите ещё одно произвольное название на латинице.
Шаг 2:
Назначаем роль этого аккаунта — Владелец:
Последний пункт «Предоставление пользователям доступа к сервисному аккаунту» можно оставить как есть.
После нажатия «Готово» вы увидите следующее:
Шаг 3:
Переходите в «Действия» — «Создать ключ». В открывшемся окне выбираем JSON:
Шаг 4:
Скачиваете ключ на компьютер.
2. Настройка сканирующего скрипта
Готовый ключ нужен для запуска сканирующего скрипта (качаем скрипт из Github).
Скрипт будет в виде папки, один из файлов которой будет называться service_account.
Далее нужно заменить содержимое файла service_account на содержимое вашего скачанного JSON-ключа. В итоге файл service_account в папке скрипта будет выглядеть примерно так:
Скрипт готов. Теперь его нужно связать с Google Search Console.
3. Связь скрипта с Google Search Console
Для этого назначаем полным владельцем client_email из нашего JSON-ключа.
Вот как это выглядит в Google Search Console:
Назначить владельца можно через форму Google Search Console: Настройки — Пользователи и разрешения — Управление владельцами ресурса.
Кнопка «Добавить пользователя» не подойдёт: она даёт либо ограниченный, либо полный доступ. Этого недостаточно.
Нажатие на «Управление владельцами ресурса» открывает окно, где мы добавляем нового владельца. Новый владелец — это client_email из нашего ключа.
Теперь наш сервисный аккаунт, он же client_email, значится владельцем.
Осталось только включить использование именно Index API в нашем проекте. Для этого переходим по ссылке.
Выбираем сервисный аккаунт и включаем API.
Теперь наш скрипт готов к использованию.
4. Запуск скрипта
Всё это получится, если у вас настроен node.js и установлена библиотека, принимающая такие запросы.
Найти исходный код node.js можно по ссылке.
После установки всё в том же PowerShell установите библиотеку через команду npm install requests.
Частая ошибка при запуске скрипта — это 403 ответ:
Это значит, что в консоли предоставлен полный доступ, а не доступ владельца. Нужно исправить, как прописано в предыдущем пункте.
Теперь всё готово. Настроив скрипт единожды, вы сможете использовать его каждый день, редактируя файл urls.
Если у Вас возникли проблемы с индексацией сайта — обращайтесь к нам!
Работала в рекламе, занималась копирайтингом.
Дожила до своих лет, предсказала будущее, вывела в ТОП сайт ветеринарной клиники.
Сейчас помогаю развивать клиентские проекты в SiteClinic.
Девиз: Рано или поздно это придется сделать, поэтому лучше рано.
Оцените мою статью:
Задайте их прямо сейчас, и мы ответим в течение 8 рабочих часов.
33 комментария к статье “ Как индексировать 200 URL в Google каждый день через Indexing API ”
Спасибо, классный мануал, всё чётко и по делу. Надеюсь, Гугл уже выкатит нормальное индексирование урлов, потому что такие пляски с бубном — ну это просто стыд и срам… Господи, когда уже Ahrefs свой поисковик запустят и мы забудем про этого дряхлого Гуглятора-терминатора…
Статья супер, столкнулся с проблемой при запуске скрипта:
Error: Cannot find module ‘request’
Сработало, но теперь то же самое пишет про googleapis))
В командной строке введите
npm i request —save-dev
У меня после этого пропала эта ошибка и все заработало
У меня точна такая же ошибка. Что делать?
А ограничение 200 адресов, это на 1 ресурс или домен? Например у меня 100 поддоменов, то ограничение будет 20 000 адресов в сути?
Подскажите, можно ли как-то увеличить лимиты? И можно ли с разных аккаунтов API посылать запросы?
Пробуйте. Но думаю, 200 на домен.
Что-то вы пропустили в мануале. Скрипт нужно перенести в папку Node или куда ее вставить? Вряд ли он будет работать с места куда скачал с GitHub ))
Разобрался) Сначало нужно запустить скрипт в той папке. Для открытия PowerShell в нужной папке сначала откройте саму папку, потом нажмите слева вверху на Файл > Запустить Windows PowerShell
Начался для меня тёмный лес со слов: «node index.js»
вы прошли больше половины) там немного осталось
Наконец такой скрипт появился.
Долго я такого ждал.
Хотя с DataStudio работать сложно.
Все этапы прошел, но скрипт запустить не получилось.
Скрипт моментального индекса не дает((( Не полноценная замена консоли к сожалению
Большое спасибо! думаю очень пригодится
Четкая статья! Спасибо.
Что-то гугл сломался с сентября. Есть какие-то новости?
Как быстро появляются страницы после запуска скрипта?
Шикарный мануал, спасибо!
Все ошибки решались ВНИМАТЕЛЬНЫМ прочтением тех мест, где они вылезали 😉
Готовьте версию «с англоязычными картинками» — русский язык скоро уберут 🙁
Здравствуйте!
При выполнении команды node index.js выдает ошибку
PS G:\triamart> node index.js
node:internal/modules/cjs/loader:1148
throw err;
^
SyntaxError: G:\triamart\service_account.json: Unexpected token / in JSON at position 1
at parse ()
[90m at Object.Module._extensions..json (node:internal/modules/cjs/loader:1145:22)[39m
[90m at Module.load (node:internal/modules/cjs/loader:967:32)[39m
[90m at Function.Module._load (node:internal/modules/cjs/loader:807:14)[39m
[90m at Module.require (node:internal/modules/cjs/loader:991:19)[39m
[90m at require (node:internal/modules/cjs/helpers:92:18)[39m
at Object. (G:\triamart\index.js:4:11)
[90m at Module._compile (node:internal/modules/cjs/loader:1102:14)[39m
[90m at Object.Module._extensions..js (node:internal/modules/cjs/loader:1131:10)[39m
[90m at Module.load (node:internal/modules/cjs/loader:967:32)[39m
PS G:\triamart> node index.js
node:internal/modules/cjs/loader:1148
throw err;
^)
200 запросов — это квота на сайт или поддомен?
где мониторить успешную отправку страниц, кроме как в 200ok в PowerShell?
через какое время страницы попадают в индекс при таком подходе?
Спасибо автору за подробный мануал. Как с этим бороться
https://ibb.co/SrfmyT3
?
а нормально по итогу будет то, что скрипт передает боту для индексации урлы вида «https://siteclinic.ru/\r» с символом «\r» в конце урла? Ведь, по итогу боту будут выдаваться 404 страницы?
Юзаем индексинг апи где-то с апреля, но нам нужно закидывать миллионы страниц в индекс. Все отлично работало до даты отключения добавления урлов через консоль (хоть это не одно и тоже, но походу они что-то там пофиксили после этого и в indexing api). И где-то с середины октября и индексинг апи перестал закидывать страницы. Возможно, на новых сайтах это будет работать (и в количестве пары тысяч страниц), какое-то время, но на старых, которые юзали его все очень плохо, даже по 200 не закидывается. Более того, не знаю связанно это или нет, самый первый сайт, который использовал индексинг апи за два месяца почти выкинули из индекса (с начала ноября), было в индексе около миллиона страниц, а стало 70 тыс. После того как врубили добавление в консоле по индексинг апи в декабре ничего не восстановилось( Буду тестить на новых сайтах, но походу инструмент уже так хорошо работать не будет, как раньше(
А если кому надо закидывать больше 200 страниц в день, то просто делаете в одном аккаунте больше одного проекта, там максимум 12 можно делать. Если и этого мало, то просто покупайте gmail аккаунты и делайте там. Можно закидывать в день хоть миллион страниц, точнее можно было, у меня после середины октября перестало все это работать(
Благодарю за совет!
Вопрос был как раз в том, как, помимо, увеличения квоты индексировать больше 200 урлов в день.
Теперь вопрос в том, как это автоматизировать))
У кого выдает 403 ошибку, но вы сделали все правильно — проверьте в гугл консоли для какого именно сайта вы открыли доступ — http://site.com/
https://site.com/
http://site.com
https://site.com
выдает ошибку 400
HTTP/1.1 400 Bad Request
Vary: Origin
Vary: X-Origin
Vary: Referer
Content-Type: application/json; charset=UTF-8
<
«error»: <
«code»: 400,
«message»: «Missing attribute. ‘url’ attribute is required.»,
«status»: «INVALID_ARGUMENT»
Подскажите, пожалуйста, а этот скрипт будет работать на iOS? PowerShell нужно отдельно устанавливать?
Порядок работы с Indexing API
Перед началом использования Indexing API необходимо выполнить следующие действия:
Как создать проект для вашего клиента
Прежде чем отправлять запросы к Indexing API, сообщите Google о клиенте и активируйте доступ к API. Для этого в Google API Console создайте (набор настроек и данных о доступе к API под общим именем) и зарегистрируйте приложение.
Чтобы начать работу с Indexing API, вам нужно воспользоваться специальным инструментом настройки. Он будет предлагать вам пошаговые инструкции, с помощью которых вы сможете создать проект в Google API Console, включить API и добавить учетные данные.
Создание сервисного аккаунта
Как добавить свой сервисный аккаунт в качестве владельца сайта
Выполните следующие действия:
1. Подтвердите, что сайт принадлежит вам
Подтвердите, что вы являетесь владельцем сайта, любым из способов, доступных в Search Console. Вы можете создать доменный ресурс (example.com) или ресурс с префиксом в URL (https://example.com или https://example.com/some/path/), представляющий ваш сайт. Помните, что в Search Console сайты называются ресурсами.
2. Получите статус владельца для своего сервисного аккаунта
Затем добавьте свой сервисный аккаунт в качестве делегированного владельца сайта. Вот как это сделать:
Как получить токен доступа
Для каждого вызова Indexing API необходимо выполнить аутентификацию с помощью токена OAuth, который вы можете получить в обмен на свой закрытый ключ. Срок действия токена ограничен. Клиентские библиотеки API от Google позволяют получать токены OAuth для различных языков.
Требования
Отправляя запросы к Indexing API, соблюдайте следующие требования:
Примеры
В примерах ниже показаны способы получения токена доступа OAuth.