Спам в поисковой системе Google

За последние месяцы нам удалось существенно расширить охват поиска и повысить свежесть его результатов. Мы проиндексировали очень много нового содержания, и часть его, к сожалению, оказалась спамом. Напомню, что веб-спам – это мусор, отображающийся в результатах поиска из-за того, что некоторые веб-мастера используют обманные приемы для повышения рейтинга своих сайтов или иным способом нарушают рекомендации по работе с поисковыми системами.

Чтобы решить эту проблему, мы запустили усовершенствованный классификатор документов, который мешает спаму попадать на верхние строчки результатов поиска. Новый классификатор лучше распознает спам на отдельных веб-страницах. Например, он четко отсеивает повторяющиеся спамовые слова и фразы, которые часто встречаются в автоматически сгенерированных рекламных комментариях в блогах. Мы также существенно усовершенствовали методику распознавания взломанных сайтов, ставших источником значительного количества спама в 2010 году. На данный момент, мы оцениваем ряд мер, призванных помочь нам в дальнейшей борьбе со спамом. Мы стали уделять больше внимания «контент-фермам», низкокачественным сайтам-аффилиатам, сайтам-сателлитам, то есть сайтам с пустым или некачественным содержанием, сделанным исключительно для легкого заработка на поисковом трафике.

В последнее время широко распространилось ошибочное мнение, что Google менее строго отсеивает спам при индексировании сайтов, на которых размещена реклама Google. Необходимо прояснить ситуацию.

• Google одинаково поступает со всеми сайтами, нарушающими рекомендации по обеспечению качества, независимо от того, есть на них реклама Google или нет.


• Наличие рекламы Google не влияет на рейтинг сайта в поисковой системе Google.


• Приобретение рекламы Google не может увеличить рейтинг сайта в результатах поиска Google.

Мы никогда не нарушали эти принципы и не собираемся делать этого сейчас.

В 2010 году мы внесли несколько значительных изменений в алгоритмы, направленные на выявление низкокачественных сайтов. Однако интернет-аудитория настойчиво требует более решительных мер в отношении малосодержательных сайтов, состоящих преимущественно из заимствованного содержания. К счастью, пользователи прямо (и порой очень экспрессивно) говорят нам о том, что они хотят улучшить в Google. Мы очень ценим их мнения. И используем их наряду с собственными научными оценками для поиска возможных путей развития. Не стесняйтесь предлагать нам свои идеи, ведь наша цель – сделать Google лучше.

Новое в поиске (январь 2011) Яндекс

Первые новости в поиске в этом году:

Пользователи Яндекса из Украины могут прямо в результатах поиска переводить страницы с русского на украинский и наоборот и читать документы на том языке, на котором им удобнее. Вот так, например, переводится на русский язык рассказ об этом запуске, размещенный в нашем украинском блоге.

Яндекс.Картинки научились переводить запросы с украинского языка на русский и учитывать оба варианта при поиске изображений.

Обновилась логика показа колдунщиков. Теперь, если запрос того требует, может быть показано одновременно несколько колдунщиков. Например, задавая запрос [Бритни Спирс], пользователи хотят послушать музыку, посмотреть картинки и почитать новости. При этом картинками интересуются чаще, поэтому картиночный колдунщик оказался выше других.

Колдунщик адресов научился понимать запросы с очень точным указанием географии – с точностью до дома. Он позволяет, например, найти аптеку на Ленинградском проспекте рядом с домом 5 или с домом 55.

Поиск научился кратко отвечать ещё на несколько видов прямых вопросов. Если вам хочется узнать, например, когда день рождения Шостаковича, какова высота Эльбруса или химическая формула гипса, на странице результатов поиска будет выделен соответствующий ответ.

У сервиса Поиск для сайта появился собственный поисковый робот, который существенно ускоряет индексацию сайтов с нашей поисковой формой.

Google предлагает решение для ускорения загрузки сайтов

Скорость загрузки сайта – один из важных факторов ранжирования, поскольку создателям поисковых систем известно, что пользователям больше нравятся именно быстрые сайты. Талантливые программисты Google разработали модуль для популярнейшего веб-сервера Apache с открытым кодом, который позволяет заметно повысить скорость загрузки сайта (то есть генерацию и отдачу страниц сервером). Некоторые сайты после установки на Apache mod_pagespeed от Google будут загружаться в два раза быстрее – во всяком случае, так говорит пресс-служба поисковика. У Google и ранее был инструмент для ускорения загрузки под названием Page Speed, но он показывал, что делать, а mod_pagespeed автоматически выполняет все нужные операции. По сути, это набор фильтров для оптимизации JavaScript, HTML и CSS, а также изображений в формата х JPEG и PNG.

Персонализированная выдача в Яндексе реальность?

Наверняка многие seo-специалисты еще в начале мая столкнулись с необъяснимой на первый взгляд проблемой: на разных компьютерах в пределах одного офиса по одному и тому же запросу сайт клиента мог находиться на различных позициях. Что это – браузерный кэш или шторм незакончившегося апдейта? Чистка cookies, как правило, не приносила видимых результатов, а АПометры показывали отсутствие каких-либо движений в выдаче. Ситуация осложнялась еще и тем, что клиенты получившие отчет по результатам продвижения или поддержки недоумевали почему заявленные в нем позиции сайта не соответствуют действительности, т.е. тем позициям, которые они видят на экране своего компьютера.
Дальнейший анализ ситуации позволил собрать и сопоставить факты, тем самым, получить общую картину. Итак, что мы имеем.
Во-первых, первые обсуждения на тему необъяснимых различий в выдаче датируются на форуме seo-сообщества http://forum.searchengines.ru/ 4-6 мая.
Во-вторых, было замечено, что при вводе поискового запроса с главной страницы www.yandex.ru в адресной строке результатов поиска добавляется новый параметр ex=v11. Как следствие, результаты поиска при вводе запроса с главной страницы и со страницы, например, расширенного поиска, отличались между собой. Буквально неделю назад параметр ex=v11 исчез из адресной строки. По мнению некоторых авторитетных seo-специалистов, ex=v11 статистический параметр, также как и msp, clid, from, yasoft и другие. Его цель – собирать статистические данные для внутреннего использования поисковой системой, оказывать влияния на выдачу он не может. Тем не менее, многие считали именно ex=v11 показателем причастным к формированию персонализированной выдачи.
В-третьих, Яндекс начал активно «кормить» браузеры своими куками (cookies). Для примера вот содержимое одного из них: 35046313.1272830457.1.1.utmcsr=yandex|utmccn=(organic)|utmcmd=organic|utmctr***
Но самое главное то, что, опираясь на куки, Яндекс стал формировать альтернативную выдачу (или как ее окрестили – экспериментальная выдача), которая коренным образом отличалась от выдачи «по умолчанию» для всех пользователей. Подобная ситуация описана в блоге пользователя chiffa 18 мая на ya.ru:

“С недавних пор яндекс стал сувать втихаря куки, а в частности fuid01, которая волшебным образом делает выдачу альтернативной или еще хрен знает какой. Причем на всех браузерах. Ловится не на всех запросах и компах.
 
Выдача по запросу "автостекла" нормальная, без куки (совпадает с xml):
1. autoglass-market.ru
2. avtosteclo.ru
3. stekloset.ru
4. Car-Glass.ru
5. ivanko.ru
6. GlassCar.ru
7. mobiscar.ru
8. steklostav.ru
9. Paritet-Doraglass.ru
10. autoglass.ru

Выдача после того, как Яндекс записал куки:
1. autoglass-market.ru
2. GlassCar.ru
3. mobiscar.ru
4. avtosteclo.ru
5. glass2000.ru
6. Car-Glass.ru
7. autosteklo.su
8. autoglass.ru
9. lobovik.ru
10.Paritet-Doraglass.ru

Как видим, различия в позициях ТОПовых сайтов весьма существенны, наверняка именно это является объяснением для веб-мастеров, которые отмечали резкое падение трафика на свои проекты наряду с ростом позиций после апдейтов.
Давно известно, что поведение пользователей учитывается поисковой системой «Яндекс» посредством многопараметных редиректных ссылок из результатов выдачи, отслеживаются возвраты в пределах сессии и поведение пользователя на сайте куда был осуществлен переход (в случае наличия на нем кода Яндекс.метрики). Огромный массив данных для анализа о поведении пользователей предоставляет компании «Яндекс» Яндекс.Бар – это, как говорят настоящая «находка» для шпиона компании, которую к тому же пользователь устанавливает по собственному желания.
Факт существования экспериментальной выдачи был подвержен Яндексом в блоге:
“… на сегодняшний день мы не гарантируем, что у двух разных пользователей, задавших один и тот же запрос с разных компьютеров, будет одинаковая выдача. Выдача может зависеть от многих параметров (наиболее известный пример здесь - это регион пользователя), и "попадание в эксперимент" - один из таких параметров.
Вместе с тем, вне зависимости ни от каких дополнительных параметров, мы всегда стремимся, чтобы выдача была хорошая. Некачественную выдачу по какому-либо запросу (не важно, эксперимент это или нет) мы считаем своей ошибкой и будем исправлять.”
Проанализировав все вышесказанное, можно сделать вывод, что на протяжении мая месяца Яндекс проводил эксперименты с персонализацией выдачи, подтверждениями тому является активная работа поисковика с cookies, введение дополнительных параметров в адресной строке и опубликованные комментарии в clubs.ya.ru. Однако, когда, а, главное, в каком виде в поисковой системе «Яндекс» появится персонализированная выдача неизвестно. Ведь, даже Google с многомиллиардными прибылями и огромными вычислительными мощностями не в состоянии реализовать персонализированную выдачу. Сложно себе представить какими же тогда мощностями должна обладать компания «Яндекс» для ее реализации.
Учитывая то, что в последнее время поисковая система «Яндекс» во всем следует большому брату Google, не исключено, что тестирование было первым этапом на пути к запуску аналогичного алгоритма учитывающего интересы каждого посетителя. Напомним, компания Google еще в конце 2009 года “совершила очередной переворот в системе поиска информации в интернете”, реализовав учет интересов всех посетителей за последние 180 дней. В процессе формирования индивидуальной выдачи для каждого пользователя за основу берется следующий принцип: чем чаще пользователь посещает определенный сайт, тем выше он должен быть в результатах поиска. Как этим можно воспользоваться в целях продвижения – да очень просто – создайте хороший сайт, завоюйте постоянных посетителей и уже через некоторое время позиции вашего сайта в персонализированной и общей выдаче будут неуклонно расти.
Можно предположить, что в будущем Яндекс в не зависимости от того, в какой форме появится персонализированный поиск, будет использовать тот же принцип – чем чаще пользователь посещает сайт, тем выше он в результатах поиска. С одной стороны – это будет даже на руку seo-оптимизаторам. Каждый второй клиент любит проверять позиции своего сайта вручную, переходя на него, соответственно следуя логике формирования персонализированной выдачи, в результатах поиска для клиента его сайт может быть чуть ли не в ТОП-1 по всем запросам.
Развеем мифы. В независимости от успешности тестирования, на сегодняшний день переход поисковой системы «Яндекс» к персонализированной выдаче (в классическом понимании) видится скорее как стратегическая цель, нежели как ближайшая перспектива. Существует еще множество вопросов, на которые стоит дать четкий и однозначный ответ: что может быть показателем качества сайта…
длительное нахождение пользователя на сайте? А если он открыл сайт и ушел на обед? Качественная навигация по сайту? А понятие «качественная» для пользователя и поискового робота идентичны?
Возврат пользователя на сайт? А если это ошибочный клик по закладке в браузере?

Быстрое индексирование в Поиске для сайта Яндекс

Сегодня на сервисе Яндекс.Поиск для сайта появилась новая возможность – отдельный поисковый робот.

Для тех, кто не знает: Поиск для сайта – это сервис, который помогает организовать без лишних хлопот поиск по своему ресурсу. Для индексирования используется основной поисковый робот Яндекса. А чтобы вы могли ускорить индексирование некоторых страниц и предоставлять посетителям самую свежую и полную информацию, мы добавили к основному роботу дополнительного. Этот робот оперативно обходит сайты, на которых установлен наш Поиск, и строит дополнительный индекс, который используется только при поиске через форму сервиса Поиск для сайта.

Владельцы сайта могут самостоятельно сообщить роботу о новых или обновленных страницах на своем сайте – так будет совсем быстро. Для этого существует два способа: форма добавления страниц в разделе «Индексирование» и http-запрос. В обоих случаях необходимо подтвердить в Яндекс.Вебмастере права на тот сайт, на котором размещается поисковая форма.

Команда Поиска и роботы, большие и маленькие