1.1. Магадан

14 апреля 2008 года адресу buki.yandex.ru начала тестироваться новый поисковый алгоритм «Магадан». Кроме того, что увеличилось вдвое количество факторов ранжирования, был также добавлены следующие нововведения:

• Яндекс начал понимать аббревиатуры, т.е. если пользователь искал «МГУ», Яндекс понимал, что пользователю интересен «Московский Государственный университет». Также начали обрабатываться написания транслитом – например, запросы «Мазда» и «Mazda» стали практически тождественны и результаты поиска по запросам стали схожими.
• Также Яндекс научился распознавать переходы из одной части речи в другую, например, для существительного «продвижение» переходом стал глагол «продвинуть», т.е. при поиске по запросу «продвинуть сайт» релевантным стали документы, содержащие слова «продвижение сайтов». В итоге учет слов-переходов вылился в то, что продвижение по всем запросам, содержащим слова-переходы, стало дороже – ведь теперь нужно конкурировать не только с теми сайтами, которые продвигаются непосредственно по вашему ключевому слову, но и с теми, кто продвигается по слову-переходу.
• Также, по словам Яндекса, было «улучшено ранжирование по запросам, слова которых в релевантных документах идут далеко друг от друга, например, «хармс цирк вертунов»». Правда, на деле это вылилось в такую ситуацию, что поиск по многим многословным запросам начал выдавать результаты хуже – в выдаче стали появляться более авторитетные сайты, но с плохим текстовым содержимым. Из-за попадания таких сайтов в топ конкуренция по низкочастотным запросам усилилась.
• Яндекс начал массово индексировать зарубежные сайты (примерно 1 млрд страниц на зарубежных языках было добавлено в индекс). Это привело к усилению конкуренции по запросам, содержащим только иностранные слова, так как в выдаче начали появляться зарубежные сайты.

Итоговый релиз «Магадана» состоялся 16 мая и сопровождался практически недельной тряской в выдаче – позиции по запросам постоянно менялись, то взлетая в топ, то пропадая из выдачи.

1.2. Находка

Тестирование новой версии алгоритма Яндекса началось 9 июля 2008 года. По заявлениям Яндекса «основные изменения в программе связаны с новым подходом к машинному обучению и, как следствие, отличиями в способе учета факторов ранжирования в формуле».
11 сентября 2008 года Находка появилась в основной выдаче.

Из нововведений, внедренных Яндексом, можно отметить следующие:

• Улучшилось ранжирование по запросам, содержащим стоп-слова – союзы, предлоги.
• Расширился тезаурус (словарь связей). Теперь по запросу [авто ваз] найдется и [автоваз]
• Также было замечено, что по ряду запросов произошло «разбавление» выдачи сайтами информационного характера. В частности по многим запросам в выдаче начала появляться интернет-энциклопедия Википедиа.

1.3. Арзамас

10 апреля 2009, сразу в основном поиске, без выкладки на тестовый, в Яндексе заработала поисковая программа Арзамас.
24 июня произошел апгрейд алгоритма и в основном поиске заработал Арзамас 1.1
А 20 августа вышла версия Арзамас 1.2 c новым классификатором гео-зависимости запросов.

• Первым нововведение стало внедрение алгоритма снятия омонимии. На основании лексической статистики слов Яндекс научился определять наиболее частотную форму омонимичной фразы, а также научился по дополнительным словам из запроса определять наиболее вероятный смысл фразы. Например, при запросе «стойка лука» в результатах поиска будут сайты, где рассказана техника стрельбы из лука и в частности, описана правильная стойка при стрельбе.
• Пожалуй, самое важное нововведение Арзамаса – учет региона пользователя. Теперь для пользователей, находящихся в разных регионах, выдача стала различаться и пользователи, задававшие запрос «такси» в Москве начали видеть сайты московских служб такси, а пользователи из Санкт-Петербурга – ленинградских.
• В поддержку регионального поиска был создан классификатор гео-зависимости запросов. Запросы начали делиться на два типа – гео-зависимые и гео-независимые. Соответственно по гео-зависимым запросам регион пользователя учитывался, а по гео-независимым – нет, и выдача у всех пользователей России была идентична.

Нововведения Арзамаса серьезным образом отразились на продвижении сайтов как с положительной стороны, так и с негативной:

• С одной стороны был дан толчок развитию «регионального продвижения». Теперь без особых затрат стало возможным продвижение сайтов по запросу «юридические услуги», например, в Тульской области. Раньше выдачу оккупировали московские сайты, но после Арзамаса у региональных появился отличный шанс.
• С другой стороны молодым сайтам стало еще сложнее и дольше пробиваться в топ выдачи по той причине, что у многих сайтов Яндекс не мог определить региональную принадлежность. Могло несколько месяцев продвижения уходить лишь на то, чтобы нарастить ссылочную массу и подать заявку в Яндекс на присвоение нужного региона.

1.4. Снежинск

10 ноября 2009 года Яндексом была анонсирована новая версия поискового алгоритма – Снежинск.

Коренные изменения произошли в алгоритме расчета релевантности – представители Яндекса написали следующее: «Нам удалось создать более точную и гораздо более сложную математическую модель, которая привела к существенному приросту в качестве поиска. Благодаря переработке архитектуры ранжирования в поиске удалось реализовать учет нескольких тысяч поисковых параметров для одного документа».
17 ноября алгоритм был выложен на основном поиске.

Основным нововведением Снежинска стало внедрение нового метода машинного обучения – технологии Матрикснет. Рассказ о ней – тема отдельного разговора и для полного понимания лучше прочитать первоисточник – http://company.yandex.ru/technology/matrixnet /
Нам интереснее другой момент – как же это отразилось на продвижении сайтов?

1. Фактически продвижение сайтов стало менее подконтрольным оптимизаторам. Притом, что методика работы над проектами осталась примерно такой же, анализ результатов продвижения стал на порядок сложнее – ведь влияние отдельных факторов и показателей на позиции сайта стало практически невозможно отследить. Использование сложных зависимостей в формуле привело к тому, что в различных ситуациях изменение одного и того же показателя по-разному влияло на итоговый показатель – релевантность. Например, для молодых сайтов закупка ссылок с авторитетных площадок не давало такого эффекта, как для старых сайтов. Одни запросы можно было употреблять в тексте достаточно часто, а для других даже трехкратный повтор приводил к значительному снижению релевантности.
Яндекс, используя формулу, связал все показатели, характеризующие сайты и запросы, чтобы итоговое ранжирование было максимально релевантным. При этом отдельно взятые показатели в формуле сами по себе не несут никакого смысла – они лишь часть математической модели.
Если год-два назад можно было моделировать эксперименты, чтобы отследить влияние отдельно взятого фактора, то сейчас это во многом потеряло смысл. В идеальных условиях эксперимента анализируемый фактор действует одним образом, в условиях продвижения сайта А – уже другим образом, в условиях продвижения сайта Б – третьим.

2. Ранжирование по гео-зависимым и гео-независимым запросам стало отличаться еще сильнее. По многим частотным гео-независимым запросам большинство коммерческих сайтов пропало с первых позиций, уступив свое место информационным сайтам с большим текстовым содержимым (в частности, Википедии). Объясняется это тем, что гео-независимые запросы (выдача по которым для пользователей одинакова во всех регионах) отождествляются Яндексом с информационными запросами и по логике Яндекса правильнее выводить в выдачу именно информационные сайты. Сможет ли коммерческий сайт фирмы, занимающейся реализацией календарей, что-то противопоставить Википедии, Яндекс.Календарям или календарям лунным? Если запрос не очень частотный, то иногда получается вывести сайт в десятку традиционными способами, т.е. с помощью оптимизации текста и покупки ссылок.

3. Вывод в топ-10 молодых сайтов по высокочастотным запросам сильно усложнился и стал занимать значительно больше времени. К сожалению, большинство клиентов абсолютно не воспринимают данную особенность ранжирования в Яндексе и несмотря ни на что хотят вывод своего новенького сайта по запросу «скачать фильмы» в топ за месяц.
Не так давно представители Яндекса поделились своим видением того, какой должна быть выдача по запросу «пластиковые окна».  Основная мысль – «в идеальном случае хочется, чтобы на первую страницу фирмы попадали, исходя из качества услуги, которую они оказывают. Для этого, правда, придется сначала научиться оценивать качество услуги. Более простая цель – чтобы в выдачу попадали наиболее известные компании, хорошо представленные как в сети, так и в оффлайне.» Так вот, как тогда в топ может попасть сайт, сделанный месяц назад и на который никто даже не ссылается?
Даже если не рассматривать высокочастотные запросы, то часто на вывод молодого сайта все равно необходимо несколько месяцев, в течение которых сначала набирается тИЦ, а потом вручную меняется регион на московский.

4. В начале 2010 года произошли значительные изменения в методике анализа текстового содержимого сайтов. Страницы, насыщенные ключевыми словами, начали попадать под фильтр и исчезать из выдачи. На первый план вышел качественный копирайтинг – умение написать релевантный текст, при этом не получив санкций со стороны Яндекса. Естественно, услуги на продвижение сайтов тоже выросли. Продвижение небольших сайтов по большому количеству запросов стало сложнее и более затратным по времени.

5. Появился новый тип апдейта – апдейт алгоритма Матрикснет и соответственно уменьшилась частота «традиционных» апдейтов – текстовых и ссылочных. Теперь раз в месяц Матрикснет «обучается» – как следствие меняются позиции сайтов в выдаче без учета новой информации о проставленных ссылкам и размещенных текстах.

Как мы видим, Яндекс не стоит на месте, и я уверен, что поисковые технологии этой системы будут развиваться и дальше, чтобы повышать качество поиска, которое пока трудно назвать идеальным.

Сейчас улучшение поиска идет несколькими путями (уверен, что тенденции сохранятся):

• С одной стороны Яндекс все четче и глубже пытается понять, что хочет пользователь, задавая тот или иной вопрос. В принципе, подобрать-то формулу расчета релевантности не проблема, вопрос только, к какому результату нужно стремиться. Как раз более точное определение потребностей пользователя позволяет улучшить качество поиска. Один из важных шагов в данном направлении за последнее время – введение регионального поиска (по гео-зависимым запросам). Ведь действительно пользователям из регионов по многим запросам хотелось бы видеть как раз местные сайты, которым Яндекс и отдает приоритет.
• С другой стороны, если рассматривать уже область SEO, то Яндекс пытается минимизировать влияние искусственного увеличения рейтинга сайта, в частности за счет снижения эффекта от покупных ссылок. Но снижать только по тем запросам, где это улучшает ранжирование. Яркий пример тому – сложность продвижения молодого сайта и попадания его в топ по частотным гео-независимым запросам, где, по мнению Яндекса, должны присутствовать сайты с объемным текстовым содержимым. Однако по многим «коммерческим» запросам влияние ссылок еще очень велико.

Одним из вариантов развития услуги продвижения сайтов в Яндексе мне видится переход к более прозрачной системе ценообразования, когда seo-компания будет предоставлять клиентам все отчеты по себестоимости, а брать фиксированную плату только за оказанные услуги (проведение доработок, копирайтинг, аналитические исследования). Стоимость услуг будет определяться объемом работ, качеством и известностью бренда. В этом случае, основной задачей seo-компании будет анализ и отбор наиболее эффективных ключевых фраз и поиск оптимальных источников привлечения трафика на сайт.

Ну, и напоследок хочется сказать: