Яндекс пришел в Татарстан

С 30-го июня 2010 года жители республики Татарстан могут пользоваться Яндексом на родном языке, причем речь идет не о локализации интерфейса, а о полноценном морфологическом поиске и применении регионального ранжирования. К татарским реалиям адаптирована не только основная услуга Яндекса – поиск, но и большинство других ключевых сервисов: Маркет, Авто и другие. Для рекламодателей в Казани открыт коммерческий офис – в общем, 2 миллиона носителей татарского языка, проживающих в Татарстане (и еще более 3 миллионов в России), получили «настоящий Яндекс».

Caffeine - новая система индексирования веб-сайтов от Google

Кэрри Грим, разработчик Google

Сегодня мы рады сообщить вам о завершении работы над нашей новой системой индексирования веб-сайтов – Caffeine. Caffeine на 50% «свежее» предыдущего индекса и представляет собой самую большую коллекцию веб-страниц за нашу историю. Что бы вы ни искали — новости, сообщения в блогах или на форумах, — нужные вам страницы теперь еще быстрее попадут в наш индекс, а вы сможете их быстрее найти.

Несколько слов для тех, кто не так хорошо знаком с поисковыми технологиями. Когда вы ищете информацию в Google, вы не работаете с «живой» сетью. Поиск осуществляется по индексу сети, созданному Google. Этот индекс очень похож на предметный указатель в конце книги, помогающий вам найти нужную информацию.

Зачем нам понадобилось создавать новую систему индексации? По двум причинам. Во-первых, количество информации в сети растет, а форматы ее представления становятся все разнообразнее. На современном сайте вы найдете видеоролики, изображения, новости и обновления в реальном времени. Страницы стали насыщеннее и сложнее по структуре. Во-вторых, люди ждут намного большего от поиска. Пользователей интересует самая свежая информация по теме, а издатели хотят, чтобы их аудитория могла найти материал сразу же после публикации.

Чтобы не отставать от стремительного развития сети и удовлетворять растущим ожиданиям пользователей, мы и создали систему Caffeine. На картинке вы видите, как работала старая система индексации и как теперь работает новая.



В нашем старом индексе было несколько слоев, некоторые из которых обновлялись регулярнее, чем другие. Большая часть индекса обновлялась каждые две недели. Чтобы обновить слой индекса, нам нужно было проанализировать всю сеть, что создавало задержку между моментом нахождения страницы и тем, когда она становилась доступной пользователю.

Caffeine, в свою очередь, позволяет нам анализировать информацию в Интернете «по частям» и непрерывно обновлять наш поисковый индекс. Это означает, что результаты поиска будут отображать максимально свежую информацию, вне зависимости от времени и места публикации.

Каждую секунду система обрабатывает сотни тысяч страниц. Если мы представим себе, что эти страницы бумажные, стопка из них росла бы со скоростью около 5 км в секунду. В базе данных Caffeine содержится порядка 100 млн. гигабайт данных, а новая информация добавляется со скоростью нескольких сотен тысяч гигабайт в день. Вам бы понадобилось 625 тысяч iPod-ов с самым большим объемом памяти, чтобы сохранить такой массив информации.

При создании Caffeine мы ориентировались на будущее Интернета. Эта система является отличной основой для построения других, более быстрых и объемных индексов, так как она способна лучше адаптироваться к развитию сети. Этим летом появятся и другие улучшения. Следите за новостями!

Изменение User-Agent роботов Яндекса

В течение июня 2010 года все роботы Яндекса изменят вид своего представления в User-Agent.

С помощью этих изменений мы хотим:
― привести представления всех роботов к единому виду;
― сделать представления роботов более информативными.

Понять по нынешнему User-Agent, какой из роботов проиндексировал страницу на сайте, можно либо обладая очень хорошей памятью, либо проштудировав Яндекс.Помощь (http://help.yandex.ru/webmaster/?id=995329). Новые User-Agent позволят легко определить по имени робота его принадлежность к тому или иному сервису Яндекса.

Список новых User-Agent:
Mozilla/5.0 (compatible; YandexBot/3.0) — основной индексирующий робот.
Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector) — робот, определяющий зеркала сайтов.
Mozilla/5.0 (compatible; YandexImages/3.0) — индексатор Яндекс.Картинок.
Mozilla/5.0 (compatible; YandexVideo/3.0) — индексатор Яндекс.Видео.
Mozilla/5.0 (compatible; YandexMedia/3.0) — робот, индексирующий мультимедийные данные.
Mozilla/5.0 (compatible; YandexBlogs/0.99; robot) — робот поиска по блогам, индексирующий комментарии постов.
Mozilla/5.0 (compatible; YandexAddurl/2.0) — робот, обращающийся к странице при добавлении ее через форму «Добавить URL».
Mozilla/5.0 (compatible; YandexFavicons/1.0) — робот, индексирующий пиктограммы сайтов (favicons).
Mozilla/5.0 (compatible; YandexDirect/3.0) — робот, индексирующий страницы сайтов, участвующих в Рекламной сети Яндекса.
Mozilla/5.0 (compatible; YandexDirect/2.0; Dyatel) — «простукивалка» Яндекс.Директа.
Mozilla/5.0 (compatible; YandexMetrika/2.0) — робот Яндекс.Метрики.
Mozilla/5.0 (compatible; YandexCatalog/3.0; Dyatel) — «простукивалка» Яндекс.Каталога.
Mozilla/5.0 (compatible; YandexNews/3.0) — индексатор Яндекс.Новостей.
Mozilla/5.0 (compatible; YandexImageResizer/2.0) — робот мобильных сервисов

Анонс GDD 2010

Алексей Шелестенко, маркетинг Google Россия



Вниманию всех веб-разработчиков, интересующихся ежегодной конференцией Google Developer Day: мы анонсируем GDD 2010 Москва. Пометьте календари!

Когда: 12 ноября 2010 г.
Где: г. Москва, выставочный центр "Крокус Экспо".

На конференции пройдут технические выступления, посвящённые мобильным и веб-технологиям, включая Android, Chrome, Google Web Toolkit, App Engine и др. Будет отличная возможность встретиться и пообщаться как с командой Google, так и с другими веб-разработчиками.

Об открытии регистрации будет сообщено дополнительно в сентябре, а пока забронируйте эту дату, если Вы собираетесь посетить конференцию. Официальный хэш-тэг конференции - #gddru, официальный твиттер GDD - @gddru.

До встречи на GDD!

Разделы для онлайн-энциклопедий и банков рефератов в Яндекс.Вебмастере

В Яндекс.Вебмастере появилось два новых раздела, предназначенных сайтам определенных тематик. На этот раз это онлайн-энциклопедии и банки письменных работ и рефератов.

Словарно-энциклопедические сайты могут подать заявку на участие в партнерской программе обновленного сервиса Яндекс.Словари, который теперь показывает пользователям ответы не только из справочных изданий, размещенных на сервисе, но также из интернет-справочников. Подробнее об этой возможности написано в корпоративном блоге Яндекса, а также в помощи.

Для сайтов, предлагающих пользователям скачать рефераты и другие письменные работы, в результатах поиска могут быть сформированы сниппеты, содержащие подробности о конкретной работе, например, рубрику, тип, размер файла для скачивания, число скачиваний и т.д. Для передачи таких данных владелец сайта может воспользоваться новым разделом. Подробности также можно найти в анонсе и в помощи.

Оба раздела не показываются всем пользователям по умолчанию. Если они актуальны для вашего сайта, необходимо включить их в разделе «Дополнительная информация» -> «Настройки». Также обращаем ваше внимание на то, что раздел «Словари» в настоящий момент доступен только сайтам с ТИЦ выше 100. О снижении этого порога мы сообщим отдельно.