В те далекие времена Интернет использовали в основном как специализированный инструмент для научных целей, и доступ к нему имели преимущественно научные работники. Лаборатории, исследовательские центры, университеты, а также некоторые оборонные предприятия, вот, собственно, и весь перечень первых пользователей Сети. Поиск информации, сосредоточенной в определенных сегментах Интернета, не был тогда настолько актуален, как сегодня.
Шло время, Сеть развивалась и совершенствовалась, появлялись все новые массивы данных, сайты. Массовое создание сайтов привело к катастрофической нехватке поисковых инструментов. Первым решением проблемы стали каталоги, в которые вносились ссылки на сайты. Ссылки в первых каталогах были распределены по тематике, и искать нужные ресурсы было достаточно просто и удобно. Первым каталогом сайтов стал проект Yahoo, созданный в 1994 году. Проект развивался, и уже через год, когда количество сайтов в нем стало достаточным, в нем появился поиск. Конечно, Yahoo не был полноценной поисковой системой в современном понимании, поскольку поиск осуществлялся только по ресурсам, которые входили в каталог. Каталоги ссылок были прекрасным решением для своего времени. Однако с увеличением количества сайтов в Интернете их целесообразность стремительно уменьшалась. Сегодня даже самый обширный каталог не охватывает даже небольшой части Сети. Для сравнения можно привести следующие данные: В самом обширном каталоге Интернета Open Directory Project содержится информация о 5 миллионах ресурсов, тогда как по данным Google количество сайтов в Сети превзошло 8 миллиардов. Пока Вы читаете эти строки, в Интернете появилось еще несколько тысяч сайтов. Окончательно мировая интернет общественность пришла к выводу о необходимости создания поисковых систем в 1994 году. Искать информацию в разросшемся Интернете стало сложно и неудобно, приходилось, что называется, играть в рулетку. Если сайт не был занесен в один из редких тогда каталогов, отыскать его на просторах Сети было практически невозможно. Первый поисковик, созданный для поиска не по каталогу, а в Сети, родился в 1994 году. С тех пор началась новая эра в развитии Всемирной паутины, эра поисковых технологий, а раскрутка сайтов стала задачей номер один для успеха в электронной коммерции.