"Рамблер" ускорил свой поисковик, Интернет

Компьюлента. 23 сентября 2003 года, 22:59

Компания "Рамблер" заявила о запуске качественно новой версии своей поисковой системы. Теперь обновление индекса может проводиться ежедневно. Раньше это делалось раз в месяц (это значит, что поисковик "узнавал" о любых изменениях в интернете лишь через несколько недель). Скорость поиска увеличилась. Кроме того, теперь "Рамблер" стал значительно точнее обрабатывать запросы, содержащие специальные символы.

Внедрение новой версии началось в июне. После изменения механизма работы поисковой машины в течение двух месяцев последовательно перестраивались все компоненты системы. Сначала был запущен новый индексатор, а за ним - технология автоматической доставки данных на поисковые сервера. С середины июля индекс стал пополняться ежедневно.

В прошлой версии поисковика база данных была разбита на две части, и обновлять её было непростым и долгим делом. Теперь структура базы переработана: она состоит из восьми частей. Одна из частей содержит сайты, входящие в "Рамблер Топ-100". Она перестраивается каждые двенадцать часов. Оставшиеся семь частей делят между собой все сайты Рунета. Каждый день обновляется одна из них.

Робот поисковой системы скачивает с каждого сайта от 200 до 3000 страниц в сутки. Поэтому, по утверждению разработчиков, для большинства сайтов "Рамблер" автоматически отследит изменение структуры в течние одной-двух недель.

Поиск по всем восьми базам осуществляется параллельно, результаты поиска объединяются. За счет этого поиск происходит в несколько раз быстрее по сравнению с поиском по монолитной индексной базе. Каждая из семи частей основной базы размещена на одиннадцати серверах. Всего у поисковика "Рамблера" 97 серверов.