Итак, в прошлый раз мы проделали достаточно большую работу: собрали полное семантическое ядро, собрали спрос по нему, разбили ключевые запросы по смысловым группам (кластерам), декомпозировали кластеры до максимального уровня, чтобы логика сайта при этом не терялась. На основании кластеризованного СЯ мы уже имеем представление о том, как организована структура проекта.

Первое, с чего мы начнем – это определение количества страниц, которые проиндексированы роботами поисковых систем. Информацию можно получить, имея доступы к сервисам Яндекс Вебмастер и Гугл Консоль. Очень настороженно следует относиться к тем подрядчикам, которые не имеют доступы, т.е. мониторинг за Вашим проектом фактически не ведется. Если у СЕО-компании есть доступы, попросите специалистов предоставить Вам их. В случае если подрядчик не может предоставить Вам доступы, попросите установить коды верификации и привязать их к Вашему аккаунту на Яндексе и Гугле, чтобы для Вас расшарился Яндекс Вебмастер и Гугл Консоль.

После этого Вы заходите на вкладку «Индексирование» и оттуда экспортируете Excel-файл с полным перечнем проиндексированных страниц. Располагая числом проиндексированных страниц, мы можем сравнить количество проиндексированных страниц в Яндексе с тем же показателем в Гугле. Стоит подчеркнуть если разница у них на порядок существенная, то необходимо уточнить причины у подрядчиков. Их может быть много. Как правило, это происходит в следующих случаях:

• Специфика каждой поисковой системы отличается, т.е. роботы Яндекса и Гугла индексируют одну и ту же страницу сайта по-своему;
• Изначально в служебном файле «.» какие-то разделы для одной поисковой системы могут быть открыты, а для другой – закрыты.

После того, как мы разобрались в причине разницы проиндексированных страниц в Яндексе и Гугле, мы начинаем сравнивать этот показатель с тем количеством страниц, которые на самом деле должны быть проиндексированы роботами поисковых систем. Данная характеристика указана в кластеризованном семантическом ядре, которое декомпозировано до максимального уровня, чтобы логика при этом не рушилась. В обязательном порядке должны быть проиндексированы страницы «Главная», «О компании», «Контакты» и т.д. Как правило, проблемы чаще всего вызывают страницы из раздела «Каталог» (товаров или услуг). Именно из-за этого раздела в большинстве случаев возникают проблемы, что приводит к существенной разнице между страницами, которые должны быть проиндексированы и которые проиндексированы на данный момент.

После сравнения этих показателей, на примере корпоративного сайта, подробно разберем следующую ситуацию: количество проиндексированных страниц значительно меньше, чем количество страниц, которые должны быть проиндексированы. Это говорит о том, что декомпозиция произведена не полностью. Например, на сайте фирмы, которая занимается строительством домов, одна из услуг – строительство домов. И на странице данной услуги представлены все виды строительства различных видов домов: из оцилиндрованного бревна, газосиликатных блоков, кирпича и т.д. Эта ситуация приводит к тому, что происходит размывание релевантности каждого отдельно взятого запроса, по которому могли бы найти Ваш ресурс. В таком случае при ранжировании Вы теряете очень много целевого трафика, поскольку не были созданы под каждый вид строительства домов отдельные странички.

Допустим, Вы создали отдельно взятые страницы, и в структуре сайта они имеются. В такой ситуации надо разбираться, имеются ли какие-то проблемы с индексацией.

Что касается интернет-магазина, то возможна ситуация, когда не индексируются страницы фильтров. Например, интернет-магазин бытовой техники, на котором мы ищем телевизор, имеет фильтр товаров, настроенный обычно по брендам, а также бегунок по ценам. Однако пользователь может искать необходимый товар по цвету, диагонали, технологиям и другим параметрам. Во всех этих случаях, страницы обязательно должны индексироваться роботами ПС. Поэтому необходимо добиться того, чтобы некоторые страницы фильтрации индексировались, поскольку если будут индексироваться все страницы фильтра, это может привести к ряду проблем.

Во втором случае, когда фактическое количество проиндексированных страниц гораздо больше планового количества, это может свидетельствовать о том, что:

• Необходимо подробно изучить вопрос декомпозиции, т.е. проверить, соответствует ли своя страница определенной группе запросов;
• Очень много всяких служебных и ненужных пользователю разделов страниц находится в поисковой системе. Это может существенно затруднять индексацию роботами ПС тех разделов, которые могут быть полезными и интересными для Вашего посетителя. В первую очередь следует проверить, чтобы не индексировались: служебные разделы (корзина, сравнение товаров и т.д.), страницы фильтрации, штатного поиска и т.д.