Caffeine – новый движок поисковой системы Google

Google наконец-то объявила о завершении обновления движка своей поисковой системы. Тестирование нового механизма поиска, получившего название Caffeine, длилось почти год – процесс начался в августе прошлого года. Google не раз заявляла, что это нововведение станет одним из самых ощутимых из тех, которые вносились в схему поиска с 2006 года.

Выпуск технологии Caffeine сопровождался публикацией небольшой статьи в официальном блоге Google позавчера поздно вечером. Автор поста Керри Граймз (Carrie Grimes), инженер-программист компании, утверждает: "Caffeine обеспечивает результаты веб-поиска на 50 процентов свежее, чем аналогичный наш прошлогодний показатель. Теперь мы можем предложить пользователем поискового сервиса огромную коллекцию веб-контента. Будь это новость, запись в блоге или на форуме, теперь вы сможете найти ссылки на подобную нужную информацию гораздо быстрее с момента ее публикации в Интернете».

Google заявил, что система поиска должна прогрессировать и учитывать то, что в течение последних двух лет с появлением блогов, видео и социальных медиа-технологий, быстро увеличивался объем веб-содержимого. Caffeine создавался для того, чтобы идти в ногу с развитием Интернета и целиком удовлетворять постоянно растущие ожидания пользователей. На рисунке ниже показано, как работала старая технология индексации веб-страниц поискового движка по сравнению с Caffeine.

Как видим, раньше вся масса веб-страниц была разделена на несколько слоев, некоторые из которых обновлялись чаще и быстрее, чем другие. Основной слой обрабатывался в свою очередь приблизительно каждые 2 недели. Чтобы обновить оставшуюся часть информации, нужно было проанализировать всю сеть, что затягивало время между моментом обнаружения страницы и моментом, когда Google делал ее доступной для поиска.

Каждую секунду поисковая система обрабатывает сотни тысяч страниц. Чтобы представить себе масштабы работы поисковика, представим, что эти страницы бумажные. Тогда стопка из них росла бы со скоростью около 5 км в секунду. В базе данных Caffeine содержится порядка 100 млн. гигабайт данных, а новая информация добавляется со скоростью нескольких сотен тысяч гигабайт в день.

"Мы создавали Caffeine с взглядом в будущее. Это не только свежая эффективная технология, это надежный фундамент, который позволяет нам создать более быструю и достаточно объемную поисковую систему. Она должна соответствовать главному критерию - с ростом объема информации в сети предоставлять для пользователей еще больше релевантные результаты поиска", - оптимистично заявила Керри Граймз.