«Технически распознавать со 100-процентной точностью, персональные это данные или нет, невозможно», - поделился размышлениями Волож. Однако возможно обнаружить «нечто, похожее на персональную информацию». В таких случаях система будет рассылать вебмастерам уведомления, чтобы обратить их внимание на необходимость скрытия этих данных.
Также Аркадий сообщил, что компания планирует удалить ранее просочившуюся в поиск конфиденциальную информацию.
При наведении курсора появлялась следующая надпись, которая означала, что Дэнни Салливан был связан с компанией через Google+, что соответствовало действительности (напомним, что компания Ford состоит в тестовой группе брендов, допущенных в Google+).
Когда Дэнни разлогинился в Google, страница Ford ушла из выдачи за ТОП-50. Очевидно, что социальная информация положительно повлияла на позиции компании в выдаче. Дэнни также сделал предположение, что Google может учитывать отметки не только прямых друзей пользователя на Google+, но и друзей этих друзей.
С одной стороны, в этом нет ничего нового. Функция Social Search еще c 2009 года связывала социальный граф с SERP англоязычного Google. Но влияние на выдачу оказывали, как правило, только частные лица. Компаниям разрешалось иметь свои Google-профили только до марта этого года, но они и раньше неактивно пользовались этой возможностью. Теперь связи с брендом в Google+ будут значительно влиять на позиции компании в выдаче, заключил западный эксперт.
Делегирование прав на управление сайтом может быть полезно, если вы хотите дать кому-либо доступ к cтатистике Яндекс.Вебмастера повыбранному сайту, но не желаете передавать логин и пароль от своего аккаунта в Яндексе, который может быть привязан и к другим сервисам, содержащим конфиденциальные данные.
Также появился еще один дополнительный способ подтвердить права — через подтверждение адреса электронной почты, который указан в качестве контактного адреса в WHOIS-записи вашего сайта. Необходимо указать этот адрес в специальной форме (http://validator.yandex.ru), и после автоматической проверки соответствия адреса WHOIS-записи права на сайт будут подтверждены.
Мы не могли представить себе, что в функциональность инструмента для анализа сайта нужно добавлять средства управления доступом. Для этого существуют общепринятые инструменты. Однако миф о том, что для защиты приватной информации достаточно сложного адреса страницы, оказался таким распространенным среди вебмастеров, что мы решили добавить в Метрику возможность не передавать в поиск Яндекса адреса страниц, которые стали ей известны. Однако это не означает, что поисковая система никогда не узнает о той или иной странице. Существует огромное количество других путей, которыми страница может оказаться в поиске. Новая опция Метрики влияет только на непосредственную связь между Метрикой и поиском.
Эта опция появилась на сервисе, на страницах с выбором счетчика. Также вы можете добавить в код счетчика на вашем сайте параметр ut=noindex. В результате этого адреса страниц, полученные только через Метрику, не будут индексироваться поиском Яндекса.
Приватные страницы, не защищенные вебмастером, которые по тем или иным причинам оказались в поисковом индексе, можно удалить несколькими способами. Если вы – вебмастер или владелец сайта и видите в поисковой системе те страницы, которые, по вашему мнению, не должны там находиться, вам нужно либо закрыть их паролем, либо запретить индексацию страниц с помощью robots.txt или метатега noindex.
Процесс обновления данных в поиске Яндекса можно ускорить. Для этого воспользуйтесь инструментом для удаления адресов страниц в Яндекс.Вебмастере. Или вы можете обратиться в службу поддержки. После обработки заявки робот Яндекса переобойдет указанные адреса и удалит их или изменит содержимое, сниппет и сохраненную копию - в зависимости от действий вебмастера.
В настоящее время процесс синхронизации содержимого сайта и результатов поиска занимает несколько часов, но мы работаем над тем, чтобы значительно сократить это время.
Если у странички стандартное имя, например, /admin или /login, ее быстро найдут всевозможные сканеры уязвимостей, которые постоянно обходят интернет. Про нее могут знать интернет-провайдеры всех тех систем, которые мы перечислили выше, провайдер самого сайта и все провайдеры по пути. Не в последнюю очередь про нее могут знать сотрудники спецслужб, использующие системы СОРМ. Иначе говоря, к этому моменту про новую страницу знает уже половина «роботной» части мирового интернета.
И только теперь на страницу заходит первый пользователь. Например, сидя в интернет-кафе, человек кликнул по ссылке в Твиттере и перешел на страницу. Конечно, этот клик зафиксировал javascript системы статистики сайта — в данном случае Твиттера. Как правило, пользователь попадает на страницу через сервис сокращения ссылок, и переход осядет в логах этого сервиса. Дальше браузер открывает страницу и начинает загружать объекты — картинки, анимацию, скрипты, css, рекламу, коды счетчиков и систем статистики. Если в браузере установлен антифишинговый или антивирусный плагин (собственный есть почти во всех браузерах и почти везде включен, а некоторые антивирусные компании еще добавляют свой), он отправляет адрес посещенной страницы на проверку. В браузер могут быть встроены и другие плагины. Например, Яндекс.Бар или Google.Бар показывают ранг страницы, для чего передают ее адрес на сервер. Бывает так, что трафик пользователей в публичных местах пропускается через прокси-сервер — для защиты от атак, экономии IP-адресов или ускорения загрузки страниц. В этом случае все указанные взаимодействия пройдут через прокси-сервер, и он тоже узнает о странице.
Если на страничке есть картинки или flash-объекты с других ресурсов, то о странице будут знать все эти ресурсы. При наличии на странице iframe о ней будет известно системе показа рекламы или сервисам других систем, загруженных через iframe. Если вебмастер использовал скрипты из внешней библиотеки, счетчики и системы сбора статистики, то о новой страничке будут знать все эти сервисы и их провайдеры. Данные получат прокси-серверы и серверы антивирусной и антифишинговой систем, встроенных в браузер. А также юноша, сидящий в кафе за соседним столиком и недавно прочитавший в молодежном журнале, как просматривать чужой трафик в публичных wifi-сетях.
Итак, теперь можно сказать, что почти весь мировой интернет знает про существование этой ссылки. Дальше информация о таких ссылках анализируется и проверяется, сравнивается и обсчитывается, агрегируется и консолидируется многими-многими системами. Происходит это довольно быстро. Бывает — всего за несколько секунд. В конечном итоге многие такие ссылки так или иначе становятся известными поисковым системам.
В этом месте хочу еще раз обратить внимание: поисковая система получает из разных источников только ссылки, а не содержимое страницы. Сколько может быть этих ссылок? Очень много. Например, еще в 2008 году Google сообщил, что их поисковой машине известно более одного триллиона (это тысяча миллиардов) уникальных ссылок. Разумеется, с той поры мировой интернет стал еще больше. И это при том, что индексируются только страницы, которые доступны всем пользователям.
Все ссылки поисковая система пропускает через фильтры, чтобы определить, нужно индексировать конкретную ссылку или нет. Некоторые ссылки отфильтровываются. Из полученного списка формируется очередь для обхода поисковым роботом. Порядок обхода может быть разным, он зависит от многих факторов. Важно, что робот старается отобрать и проиндексировать в первую очередь самые востребованные ссылки.
Дальше система управления поисковым роботом идет по списку ссылок и готовится индексировать содержимое страниц. Но прежде чем поисковый робот обращается к конкретной странице сайта, он обязательно проверяет файл robots.txt. И если владелец сайта не желает, чтобы новая страница индексировалась поисковой системой, он может попросить поискового робота этого не делать. И поисковый робот не будет этого делать. Конечно, злоумышленники, желающие украсть важный файл, не обратят внимание на содержимое robots.txt, но все крупные поисковые системы в обязательном порядке выполняют директивы этого файла.
Только если поисковый робот убедился, что robots.txt не запрещает индексирование странички, он будет ее индексировать. Это — единственный путь, по которому содержимое страницы попадает в поисковую систему. Другого способа нет.
Когда робот получил контент страницы, он снова применяет фильтры — отсекает мусор и спам. После того, как страницы отфильтрованы, можно приступать к ранжированию. Все страницы, доступные поисковой системе на этом этапе, могут появиться в результатах поиска. Таким образом, в поиске находится всё, что открыто всем и не запрещено вебмастером
«Я продаю одни и те же товары на трех разных сайтах. На каждом сайте разный подход к продаже, ценообразованию, они нацелены на разную аудиторию. Не посчитает ли Google это спамом или черным методом SEO?».
«Исходя из собственного опыта, могу сказать, что когда есть 50 или 100 сайтов, в них не вкладывается столько стараний и любви, как если бы был всего один ресурс. И со временем это скажется», - говорит г-н Каттс.
По словам представителей корпорации, команда Google постоянно экспериментирует с разными способами отображения информации в AdWords. Однако в этот раз пользователи по всему миру смогут увидеть целый ряд изменений в сервисе.
Функция, безусловно, полезная, но не для повсеместного использования. Может быть полезна при создании новых рекламных кампаний на период проведения какой-либо акции, - говорит Алена Сенченко, менеджер по ведению контекстной рекламы агентства интернет-рекламы i-Media. - Особенно полезна рекламным агентствам, ведущим единовременно большое количество клиентов".
«Поддомены могут помочь отделить тот контент, который полностью отличается от остального на сайте – например, на таких доменах как wordpress.com. Однако, владельцы сайтов не должны ожидать, что просто добавление нового поддомена на сайт вызовет резкий подъем позиций сайта в выдаче».
Выглядит это следующим образом:
К тому же, Яндекс.Вебмастер позволяет подписаться на уведомления о заражении зарегистрированного в нём сайта и запросить его перепроверку после устранения проблемы.
Но лучше, конечно, не допускать заражения сайта. Обновляйте ПО, пользуйтесь антивирусами, ограничивайте доступ и берегите пароли.
Дорогой владелец или вебмастер сайта http://www.domain.com/,
Мы обнаружили, что некоторые страницы вашего сайта, возможно, используют технологии, которые выходят за рамки Руководства Google для вебмастеров.
В частности, поищите искусственные, неестественные ссылки, ведущие на ваш сайт и, возможно, созданные для манипуляции PageRank. Примеры неестественных ссылок могут включать покупку ссылок для передачи PageRank или участие в ссылочных схемах.
Мы призываем вас внести изменения на свой сайт с тем чтобы он соответствовал нашему руководству по качеству. После того как вы внесете эти изменения, просим вас добавить ваш сайт для пересмотра в поисковых результатах Google.
Если вы найдете ведущие на ваш сайт неестественные ссылки, которые вы не можете контролировать или удалить, сообщите об этом подробно в вашем запросе на пересмотр.
Если у вас есть какие-либо вопросы о том, как решить эту проблему, обратитесь на наш форум Webmaster Help Forum.
Напомним, Wonder Wheel был запущен в мае 2009 году вместе с другими поисковыми нововведениями Google. Wonder Wheel показывал тесно связанные поисковые запросы, структурированные по темам. Инструмент использовал метод скрытого тематического индексирования (LSI: Latent Semantic Indexing) и предлагал глубокий взгляд на то, как Google группирует ключевые слова. За время своего существования данные сервис успел понравиться интернет-маркетологам, которые активно использовали его для подбора ключевых слов.
Например, Рэнд Фишкин (SEOMoz) на прошлогодней конференции Search Marketing Expo Advanced рекомендовал использовать Google Wonder Wheel для получения текстов, наилучшим образом подходящих целевым запросам, т.к. данный сервис представляет данные поисковых систем о семантических связях.
Помимо Wonder Wheel пользователи Google также лишись функции Realtime Search (поиск в реальном времени), запущенной в конце 2009 года. Но это, по словам представителей Google, временная утрата, связанная с запуском социальной сети Google+. Как только компания встроит свою соцсеть в функционал Realtime Search, последний заработает.
Помните, что Webmaster Tools тоже показывает только выборку ссылок, но не гарантирует показ 100% ссылок.
Традиционно уже проблема клонов составляет пробел в реализации правил размещения рекламы в Директе. Компании давно научились обходить требования, изложенные в пункте №5: создаются разные сайты под разные продукты, на них разные объявления и т.д. Наличие клонов используется конкурентами, доносящими о них в Директ.
Редакторы Roem.Ru полагают, что отмена «клонобойки» повлечет за собой создание новых правил игры, которые смогут препятствовать забиванию выдачи Директа одной компанией.
GET /white-paper.pdf HTTP/1.1
Host: www.example.com
(...rest of HTTP request headers...)
HTTP/1.1 200 OK
Content-Type: application/pdf
Link: <http://www.example.com/white-paper.html>; rel="canonical"
Content-Length: 785710
(... rest of HTTP response headers...)
