Необходимые технические доработки часто подразделяются на:

• критичные;
• желательные.

Рассмотрим более подробно каждую группу доработок, проводимых в рамках технической оптимизации сайта.

Критичные технические доработки

Создание на сайте файла Robots.txt

Robots.txt предназначен для роботов поисковых систем. В этом файле указываются параметры индексирования сайта: какие страницы заносить в поисковую базу, а какие исключить. В нём можно указывать директивы, как для всех роботов поисковых систем сразу, так и для роботов каждой поисковой системы в отдельности. Про составление этого файла и настройку можно подробнее узнать на сайте помощи вебмастерам от Яндекса.

Настройка Редиректов

Редиректы (перенаправления) делаются с помощью файла .htaccess, который расположен в корне сайта и доступен только вебмастеру. Так как поисковые системы могут считать сайт с www и без www совершенно различными, то прописывается редирект c сайта без www (http://vashsait.ru) на сайт с www (http://www.vashsait.ru) или наоборот. Это автоматически переадресовывает всех, кто заходит на сайт на нужную страницу.

Настройка видов url страниц

Корректный вид url также настраивается с помощью .htaccess. Важно, чтобы все внутренние ссылки на сайте имели одинаковый вид. Это можно оценить по следующим критериям:

• На всех страницах присутствуют или отсутствуют закрывающие слэши;
• адрес сайта полностью написан латинскими буквами (http://www.vashsait.ru/katalog) или в адресе встречаются какие-либо параметры (http://www.vashsait.ru/?id_news=72);
• используются латинские или русские буквы в url.

Лучше всего, если во внутренних ссылках сайта содержатся псевдостатические адреса. Это значит, что в них не используются спецсимволы: «?», «=», «&», а сами адреса ссылок имеют вид: http://www.vashsait.ru/about.

Настройка 404 ошибки

Настройка 404 ошибки – одна из самых важных технических доработок, которые обязательно проводить. Если адрес ссылки, ведущей на страницу сайта введен неправильно, важно чтобы посетителю сайта и поисковому роботу отдавалась страница с кодом 404 (несуществующая страница). Тогда в индекс поисковой системы не попадет большое количество страниц с одинаковым текстом. Если же 404 ошибка на сайте не настроена, то, при попадании одинаковых страниц в индекс поисковой системы возможно наложение санкций на сайт со стороны поисковой системы и понижение его в результатах выдачи.

Идентификаторы сессий

Пользователям, впервые попавшим на сайт, присваивается уникальный идентификатор сессии. Адреса страниц сайта в этом случае имеют вид http://www.vashsite.ru/.?PHPSESSID=код_сессии. В результате одна и та же страница может иметь неограниченное количество адресов из-за различных кодов сессий (появляются т. н. дубли страниц). В базе поисковых систем уже сейчас находится множество страниц сайта с такими адресами, различающимися только набором символом после «PHPSESSID=». Наличие большого числа дублей страниц затрудняет индексацию корректных страниц, снижая тем самым эффективность поисковой оптимизации.

Для устранения этого необходимо внести правки в программную часть таким образом, чтобы идентификаторы сессий не появлялись в URL страниц вообще, либо были не видны поисковым роботам.

Неинформативные страницы, страницы-дубли и зеркала сайта

В индексе поисковых систем может находиться большое количество страниц, имеющих одинаковое содержание, но разные адреса (страницы-дубли). Роботы поисковых систем считают такие страницы разными и индексируют их все, в результате поисковый индекс «замусоривается» большим количеством дублированного контента, что приводит к проблемам с индексацией сайта роботами поисковых системам. Наличие дублей страниц в индексе поисковой машины является серьезным препятствием для корректного ранжирования страниц.

Другой проблемой является наличие в поисковом индексе служебных, пустых и иных неинформативных страниц сайта. Такие страницы также «засоряют» поисковый индекс и препятствуют корректному ранжированию страниц.

Для исключения всех страниц-дублей, других «мусорных» страниц из индекса поисковых систем следует создать в корневой директории сайта текстовый файл robots.txt и с помощью специальной директивы закрыть их от индексации. В корне каждого сайта-зеркала также необходимо создать файл robots.txt и закрыть его от индексации.

Коррекция регистрозависимых адресов страниц

Некоторые ссылки на страницы сайта могут иметь адреса, содержащие как строчные латинские буквы, так и заглавные (напр., http://www.vashsait.ru/sportAndHealth). При этом если попробовать ввести аналогичный адрес, но полностью в нижнем регистре (напр., http://www.vashsait.ru/sportandhealth), сайт может выдать совершенно другую страницу или ошибку.

Проблема заключается в том, что адреса ссылок в Интернете, как правило, записываются полностью в нижнем регистре. По мере того, как сайт будет набирать популярность и накапливать естественные внешние ссылки (например, люди будут рекомендовать сайт друзьям) – будет  невозможно осуществить контроль за этим процессом. Таким образом, может получится, что внешние ссылки ведут на несуществующие страницы, люди не будут получать информацию за которой пришли и посещаемость будет падать.

Желательные технические доработки

Использование тегов <noindex>

Для того, чтобы закрыть ненужную информацию на странице сайта от индексации роботами поисковой системы используют тег <noindex>. На данный момент этот тег «понимают» только две поисковые системы: Яндекс и Рамблер. Чтобы не передавать ссылочный вес страницы другому сайту, поисковой системой Google введен атрибут для ссылки rel=”nofollow”.

Абсолютная и относительная адресация

Абсолютная и относительная адресация может повлиять на корректность ссылок сайта. Абсолютные ссылки на сайте выглядят, как <a href=”https://www.i-vi.ru”>Компания i-Vi</a>, относительные имеют вид <a href=”/”>Компания i-Vi</a>. Для того, чтобы избежать возможных ошибок на сайте рекомендуется использовать только абсолютные ссылки.

В этой статье указаны лишь самые популярные ошибки, которые устраняются на этапе проведения технической оптимизации сайта. В каждом отдельно взятом случае этот список может дополняться другими ошибками.