Как проверить индексацию всего сайта в Яндексе и Гугле
У меня стояла задача проверить сайт более 3000 страниц на индексацию каждой страницы в Гугле и Яндексе быстрым, надежным и бесплатным способом. И я его нашел! О чем и расскажу!
Мы не будем проверять индексацию каждой страницы, мы будем проверять индексацию всего сайта.
Для этого нам понадобится Screaming Frog (или бесплатный Xenus), Яндекс Вебмастер, Search console и Гугл таблицы! И все!
Для нетерпеливых ссылка на ДЕМО
1. Парсим наш сайт
Это можно сделать с помощью программы Xenus (бесплатная) или SiteAnalyzer (бесплатная с хорошим функционалом) или Screaming Frog (платная). Нам надо получить список всех страниц сайта, который обошел парсер. Далее создаем Гугл Док таблицу и вставляем на первый лист данный список урлов сайта.
2. Получаем список проиндексирвоанных страниц в Яндекс Вебмастере
Заходим в Яндекс Вебмастер. Выбираем Индексирование – Страницы в поиске – Все страницы. И выбираем внизу “Скачать таблицу” в XLS. И далее копируем этот список на второй лист нашей Гугл Таблицы.
3. Получаем список проиндексированных страниц в Search Сonsole
Открываем Search console – Покрытие – Страница без ошибок. И далее нам интресны 2 раздела, а именно:
- Страница отправлена и проиндексирована
- Страница проиндексирована, но ее нет в файле Sitemap
И тут оказывается, что мы можем экспортировать эти данные, но! только 1000 строк. Если у вас сайт до 1000 страниц – то всё отлично, экпортируйте в xls или прямо в гугл таблицы этот список и копируйте его на наш 3й лист в Гугл Таблицы. И переходите к шагу 4. А если у вас больше, чем 1000 страниц – то все равно экспортируйте и копируйте этот список и дополняйте еще одинм списком, полученным далее. (и не переживайте, что у вас будут дублироваться строки)
Как получить все другие строки? Для этих целей есть плагин search analytics for sheets (сайт разработчика – https://searchanalyticsforsheets.com/), который позволяем выгружать до 5000 строк. Устаналиваем это дополнение, далее ходим в гугл таблицу, выбираем Дополнения – Search Analytics For Sheets – Open Sidebar. Далее выбираем нужный нам сайт, указываем максимальный диапазон “Date Range”, указываем “Group By: Page”, указываем, чтобы данные отобразились на новом листе в “Create New Sheet” и нажимаем “Request Data”. Через несколько секунд заполнится необходимая нам таблица.
Важно! что это таблица не именно страниц “Покрытие”, а страниц, которые показывались в выдаче Гугла – c CTR, позицией и кол-вом показов. Да, это не совсем то, что нам нужно, но лучше, чем ничего! Совокупная сумма страниц полученная путем экспорта через Покрытие в search console и этот плагин дала мне почти полную картину индексацию сайта без погрешностей!
Я надеюсь вы разберетесь как им пользоваться, в результате мы должны получить список этих страниц на нашем третьем листе Гугл Таблицы.
4. Дополняем нашу Гугл Таблицу, функция VLOOKUP
Мы используем функцию VLOOKUP, которая сравнивает урлы на 1, 2 и 3 листе – и сообщаем нам результат.
В демо все будет понятно – ДЕМО ТУТ !
Для удобства я заполняю колонки на 2 и 3 листе – словом “да” для удобства отображение результата работы функции VLOOKUP на 1 листе.
В результате получаем итогову таблицу на первом листе – “Screming Frog”. С возможностью фильтрации для удобства пользования.
Я привел пример на своем сайте, который совсем новый, однако сам алгорит и последовательность предельно понятно!
Буду рад комментариям и вопросам!
