Разделы



Службы поиска информации, важнейшие русскоязычные и мировые источники информации.

Классификация информации (что можно искать в Internet ).

С точки зрения потребителя вся информация в Internet может быть разделена на телекоммуникационные информационные рынки (рис. 1.).


Поисковые системы (классификация и сферы использования).

Поиск необходимых сведений в большом объеме достаточно разнообразной информации - задача, которую человечество решает уже многие столетия. По мере роста объема информационных ресурсов были разработаны достаточно совершенные поисковые средства и приемы, позволяющие найти необходимый документ. В качестве основного инструмента для поиска информации в библиотеках используются каталоги (алфавитные, систематические и предметные). Однако каждый инструмент имеет свои недостатки. При больших объемах информации (которые характерны для Internet ) поиск информации становится очень сложной процедурой. Для того, чтобы найти нужные сведения в Inernet необходимо иметь специальные знания и навыки. Специалист, обладающий такими знаниями и навыками и осуществляющий поиск информации по поступившим заказам называется информационным брокером. Он знает, как устроены классификаторы, как их интерпретируют систематизаторы, какие существуют инструменты для поиска информации в Inernet , технологические приемы и методики поиска, особенности различных поисковых машин и т.д. В беседе с заказчиком он изучает его информационную потребность и превращает ее в поисковое предписание. В нашей стране специалисты такого профиля - пока редкость, хотя потребность в них уже ощущается.

В Internet доступны информационно-поисковые системы (ИПС) трех типов: классификационные, словарные и предметные.

Классификационные ИПС используют иерархическую организацию информации, которая описывается с помощью классификатора. Разделы классификатора называются рубриками. В библиотечном деле для этой цели используется, например, систематический каталог.

Классификатор разрабатывается и совершенствуется коллективом авторов. Затем его использует другой коллектив специалистов, называемых систематизаторами, которые, зная классификатор, читают документы и приписывают им классификационные индексы, указывающие, каким разделам классификатора эти документы соответствуют. В качестве примера классификационной ИПС в Internet можно назвать Yahoo ! , в которой одновременно работает более 100 систематизаторов, Excite , Look Smart , Yellow Web , “Созвездие Интернет”, “Ау”.

Классификационные ИПС обладают рядом специфических недостатков. Разработка классификатора связана с оценкой относительной важности различных областей человеческой деятельности. Любая оценка является социальным действием - она связана с обществом, культурой, социальной группой, к которой принадлежит производящий оценку человек. Поэтому классификаторы, озданные разными коллективами в разных странах сильно различаются. Кроме того, у систематизаторов возникают сложности с интерпретацией материалов, написанных на иностранных языках (не только исходных документов, но и классификаторов). Поскольку абсолютно строгой классификации не удается сделать никому, всегда существуют документы, которые можно отнести к нескольким разделам классификатора.

п»ї

Систематизаторы в сложных случаях (когда неясно, к какому из разделов должен быть отнесен документ) применяют два приема: отсылка и ссылка. Отсылка (в Yahoo ! она обозначается знаком @) помещается в тех разделах классификатора, в которые не попал данный документ - в ней указывается, к какой рубрике он отнесен систематизатором. Ссылка используется в тех случаях, когда аналогичная информация может находиться в других разделах классификатора.

Словарные ИПС используют базу данных, построенную из слов, встречающихся в документах Internet а. В такой базе при каждом слове хранится список документов, из которых оно взято. Поскольку все морфологические единицы в словаре упорядочены, поиск нужного слова может выполняться достаточно быстро, без последовательного просмотра.

По одному слову найти требуемую информацию довольно сложно. Поэтому, каждая словарная ИПС имеет свой язык запросов, позволяющий комбинировать слова, наиболее полно характеризующие искомую информацию.

К словарным ИПС Internet а относятся такие, как Alta Vista , Rambler , Я ndex , Апорт.

Словарные ИПС способны выдавать списки документов, содержащие миллионы ссылок. Даже простой просмотр таких списков затруднителен. Поэтому многие словарные ИПС предоставляют возможность ранжирования результатов поиска - наиболее важные документы помещаются в начало списка. В языке запросов таких ИПС предусмотрены специальные средства, например, в режиме сложного поиска в Alta Vista можно указать перечень терминов, которые повышают ранг найденного документа (что для этой ИПС особенно актуально, так как она показывает только первые 200 найденных документов). Rambler и Я ndex позволяют указать вес каждого из терминов, что позволяет довольно точно настраивать порядок следования найденных документов.

Прогнозирования являются стержнем любой торговой системы, вот почему компетентно воспроизведенные прогнозы Форекс могут сделать Тебя архи денежным.

В предметных ИПС с поисковым образом связаны списки ресурсов Сети, содержащих нужную информацию и ссылки на близкие по тематике сайты. В таких ИПС создаются кольцевые ссылочные структуры. Так, сервер содержит несколько десятков тысяч тематических колец (средний размер кольца - около 12 серверов, но есть и кольца-гиганты, в состав которых входят тысячи серверов). Пока кольца были небольшими, поиск информации трудностей не представлял. Для облегчения поиска на указанном сервере используются свои классификационная и словарная ИПС, помогающие найти необходимую информацию.

п»ї

С помощью информационно-поисковых систем можно искать вполне определенные информационные объекты, список которых приведен на рис.  2.

Описание поисковых систем. Поисковая система Alta Vista .

У каждой поисковой системы существует свой язык запросов, который определяет правила, в соответствии с которыми формулируются запросы на поиск информации.

В классификационных и словарных ИПС запрос составляется на основе ключевых слов, которые являются наиболее яркой характеристикой искомой информации (по сути, без этих слов данная информация обойтись не может). Лучше, если эти ключевые слова имеют специфический смысл, присущий только искомому информационному материалу, отличающему данный материал от всех остальных.

Поисковая система AltaVista относится к разряду словарных ИПС и является одной из самых информационно насыщенных. Обратиться к ней можно по адресам:

2)    Поисковый образ может состоять из одного или нескольких ключевых слов.

3)    В зависимости от способа соединения ключевых слов в поисковом запросе различают простые и сложные запросы.

4)    Сложный запрос отличается от простого тем, что в нем можно указать дату создания искомого документа (чтобы выделить материалы, имеющие последнее обновление после указанной даты), специальную логику поиска (определяемую использованием операторов AND , OR , NOT , NEAR ), выбрать один из трех вариантов упорядочивания результатов поиска при их выводе: “только в качестве итога”, “компактная форма”, и “стандартная форма” (последняя используется по умолчанию), и использовать круглые скобки для выделения логически самостоятельных частей запроса.

5) Ключевые слова могут набираться на разных регистрах клавиатуры - в зависимости от этого поисковая машина будет по- разному проводить поиск.

Наличие в ключевом слове заглавной буквы заставит поисковую машину при простом поиске искать слова именно с таким написанием, как в запросе. Если же заглавные буквы не использовались, то поисковая машина учитывает любые варианты написания этих слов. Например, если поисковое предписание состоит из одного слова Computer , будут найдены информационные материалы, содержащие это слово именно в таком начертании. Если же это слово не будет содержать заглавных букв, то при поиске будут учитываться слова в таких начертаниях, как computer , COMPUTER , COMPuter , и др. Необходимо учитывать, что при использовании поискового образа, состоящего только из одного слова computer , AltaVista предоставляет около 2000 ссылок. Просмотреть такое количество ссылок практически невозможно, а значит, информационный поиск нельзя считать эффективным (при правильно составленном запросе необходимая информация находится в числе первых двух десятков ссылок).

6) В том случае, если неизвестно правильное написание слова, или интерес представляет множество однокоренных слов, используется оператор неопределенности - “*” (звездочка). Поставив этот символ после любой последовательности букв (не менее трех), влияние которых необходимо учесть при поиске, можно произвести широкий поиск, при котором ключевое слово будет модифицироваться: поиск будет весьтись как для жестко указанной до звездочки совокупности букв, так и для слов, содержащих любые буквы (числом до 5) вместо звездочки. Например, если указать ключевое слово comp * , то при поиске будут учитываться, как ключевые - computer , computers , compute , и др.

7) Для соединения нескольких ключевых слов могут использоваться операторы “пробел”, “кавычки”, логические операторы “+”, “-”, AND , OR , NOT , NEAR .

8)    Оператор “пробел” соединяет слова в поисковом предписании таким образом, что для поиска каждое из этих слов используется отдельно. При этом, порядок слов в запросе не имеет значения. В процессе поиска учитывается только расстояние каждого слова от начала документа и частота его использования в документе.

9)    Оператор “кавычки” соединяет слова так, что они образуют фразу, в которой все указанные в предписании слова в документе стоят рядом друг с другом и в той же последовательности, как это указано в предписании. Поэтому, если задать поисковое предписание в виде слов “ personal computer ” и в виде “ computer personal ”, то результаты поиска будут разными.

10) Оператор “+”, соединяющий слова, сообщает поисковой машине, что в документе необходимо искать основное слово (первое), но документ надо показывать в результате поиска только если далее в тексте встречаются остальные слова из поискового предписания. Оператор ставится непосредственно перед каждым второстепенным словом. Например, по поисковому образу:

computer + personal + digital будет вестись поиск основного слова computer , но текст будет считаться актуальным только если в нем встречаются так же слова personal и digital .

11)   Оператор “-”, стоящий перед словом, обозначает, что основное слово должно использоваться в тексте без второстепенного . Например, поисковое предписание computer - personal сообщает поисковой машине, что надо искать основное слово computer , но в тексте не должно встречаться слово personal (т.е. интересуют материалы о компьютерах, но не персональных).

12)   Операторы AND , OR , NOT , NEAR используются в сложных запросах.

13)   Оператор AND (вместо него можно использовать символ &) определяет, что соединяемые им слова должны встречаться вместе (т.е. в простых запросах он эквивалентен знаку “+”).

14) Оператор OR (вместо него можно использовать знак “|”) определяет, что соединяемые им слова независимы друг от друга (в простых запросах он эквивалентен пробелу).

15)   Оператор NOT обозначает отрицание (в простых запросах он эквивалентен знаку “-” ).

16)   Оператор NEAR (вместо него можно использовать символ “~”) определяет, что в искомом тексте указанное им ключевое слово отстоит от основного не далее, чем на 10 слов (например, в поисковом предписании:

провайдер* NEAR “очень дешево” предусматривается,   что   в   искомом   тексте   слово   “провайдер”   и словосочетание “очень дешево” находятся не в разных концах текста, а рядом друг с другом - между ними может находиться не более 10 слов).

17)   Для ограничения поиска используются специальные команды (тэги): anchor , applet , title , url , host , link , image , from , subject .

18)   Команда anchor позволяет найти в Сети слово, содержащееся в “теле” ссылки. Для этого после команды anchor через двоеточие указывается искомое слово. Например, поисковый образ содержит:

anchor : home По этому запросу будет найдено все множество страниц, содержащих внутри ссылок слово home , в том числе - и в такой ссылке: “ If you would like go home , press here ”.

19) Команда applet позволяет найти заданный названием модуль Java . Например, если модуль Java называется word , то найти его можно, записав поисковый образ: applet : word .

20) Команда title используется в том случае, если искомое слово находится в заголовке текста. Например, по запросу вида: title : links будут найдены документы, содержащие слово links в заглавии, в том числе текст с заглавием “ Cool Links ”.

21)     Команда url предписывает искать url -адрес, содержащий заданное слово. Например, если неизвестно, в каком корневом домене находится host -компьютер МЭСИ, можно задать поисковое предписание: url : mesi . Среди множества адресов с таким словом будет и адрес .

22)     Команда host позволяет узнать, какие Web -сайты есть на заданном host -компьютере. Например, для того, чтобы узнать, какие сайты есть на хосте необходимо набрать запрос: host : intel . ru . Если же в запросе указать только часть имени, то в результате поиска будут найдены сайты, имеющие другие адреса, но содержащие заданную часть имени.

Используя эту команду, можно вести поиск в заданной стране. Например, по запросу host :*. ru + kreml будет найдена информация о Московском, Рязанском и других Кремлях. При этом нужно помнить, что поиск ведется только для сайтов, зарегистрированных в поисковой системе AltaVista , другие сайты ей недоступны.

23)     Команда link позволяет найти адреса страниц (сайтов), содержащих ссылку на конкретную (заданную в поисковом образе) Web - страницу. Например, для того, чтобы узнать, кто ссылается на сайт необходимо задать предписание: link : . Результатом будет список страниц, на которых содержатся ссылки на сайт mesi . ru .

24)     Команда image позволяет найти иллюстрацию в Internet . Для этого надо знать название файла, в котором она хранится. Формат команды тот же.

25)     Команда from позволяет искать в телеконференциях Usenet почтовое сообщение, отправленное конкретным человеком, имя которого указывается после двоеточия в команде. Например: from: Иван +Федоров (или Ivan +Fedorov).

26) Команда subject позволяет искать сообщения в телеконференциях Usenet на конкретную, заданную в поисковом предписании тему.

Поисковая система AltaVista может работать (и вести поиск) на разных языках, в том числе и на русском.

Описанные принципы управления поисковой системой во многом аналогичны используемым и в других поисковых системах.

Поисковая система Yandex .

В   1997г.   по   адресу:     открылась   новая российская поисковая машина Yandex (или Я ndex ). По набору своих поисковых возможностей она не уступает самым сложным поисковым машинам Запада, специально рассчитана на русскоязычные запросы и учитывает особенности русской лексики, предлагает несколько больше возможностей для интеллектуального поиска.

Аналогично AltaVista , Yandex различает заглавные и прописные буквы. Если ключевое слово написано прописными буквами, то поисковая машина не различает прописные и заглавные буквы, т.е при задании ключевого слова computer в поиске будут учитываться и Computer , и COMPUTER , и др. Тогда, как если в поисковом образе будет содержаться хотя бы одна заглавная буква, при поиске будут приниматься во внимание только слова, имеющие данное начертание.

В Yandex нет необходимости использовать оператор неопределенности (аналогичный звездочке в AltaVista ), так как при задании ключевого слова прописными буквами в процессе поиска будут использоваться и слова, стоящие в других падежах, в различных склонениях, в единственном и множественном числе.

В Yandex так же, как в AltaVista можно строить простые и сложные запросы. Но построение сложных запросов требует более высокой квалификации лица, проводящего поиск.

Для соединения ключевых слов в простых запросах используются операторы, обозначаемые символами: &, |, ~, (, ). Среди них только тильда (~) имеет другое назначение - в Yandex она обозначает отрицание (и эквивалентна знаку “- ” в AltaVista ). Однако, указанные операторы имеют существенную особенность: ключевые слова, соединяемые ими, должны находиться в пределах одного абзаца.

Удваивание оператора связи указывает, что слова должны находиться в пределах всего текста (а не только одного абзаца).

В Yandex предусмотрен “поиск с расстоянием” - можно указать, что ключевые слова в искомом тексте должны находиться на расстоянии не более, например, трех слов (и в одном абзаце). Расстояние задается символом /, за которым следует цифра, определяющая расстояние. Например, задав предписание:

круглый /3шар поисковая машина будет искать документы, содержащие в пределах одного абзаца слова “круглый” и “шар”, причем, разделены они могут быть не более, чем тремя словами. Если расстояние задано отрицательным числом, это значит, что второе слово предшествует первому.

Вместо одного слова в поисковом предписании можно использовать целые выражения. Логически самостоятельные элементы этих выражений могут заключаться в скобки.

Особенности поиска информации в Интернет.

Интернет как глобальное средство обмена информацией нередко используется для поиска необходимых данных. Способов поиска информации множество (в скобках указаны случаи, когда такой способ поиска наиболее применим): Поиск с помощью поисковых машин (конкретные вещи) Каталоги и коллекции ссылок (более общие понятия) Рейтинги (самые популярные ресурсы) Конференции, чаты и страницы ссылок на тематических сайтах (редкие, специализированные вещи). Ограниченные временные, физические и финансовые возможности людей вынуждают чаще всего применять для этого специальные каталоги и поисковые машины (поисковики) – своего рода библиотекари, индексирующие доступный им массив информации в Интернет. В данном разделе выделены особенности и рассмотрены общие правила работы наиболее известных каталогов и поисковых систем.

Каталоги представляют собой систематизированные группы адресов, объединенные, как правило, по тематике. К удобству их применения можно отнести то, что, если пользователю известна тема искомого документа, он будет исследовать соответствующую ветвь каталога, не отвлекаясь на посторонние, не относящиеся к делу документы. Однако, объем каталога ограничен физическими возможностями редакторской группы и ее субъективностью в выборе материала. В них отсутствует информация на узкие, специальные темы, да и саму тематику искомого документа не всегда можно сформулировать в пределах классификации каталога. Ниже приведены возможности зарубежных и российских каталогов.

Yahoo ! - Самый популярный каталог, содержащий обширную информацию о десятках тысяч Web -узлов. Первый уровень иерархии содержит 14 тематических категорий, которые разветвляются еще на 4 -5 подуровней. Имеет собственную машину поиска, позволяющую: 1) искать по базе Yahoo !, по Usenet или по адресам электронной почты; 2) ограничить поиск материалами, размещенными за последний день, неделю, месяц, год или 3 года; 3) выдать статьи, содержащие хотя бы одно ключевое слово или все ключевые слова; 4) искать по однокоренным словам или только по указанным ключевым; 5) выдать результаты по 10, 25, 50 или 100 на одной странице (подробнее ниже). Excite Reviews - Содержит обзоры 60 тыс. узлов Интернет (иерархический каталог) City . Net - сведения о странах и городах.

Galaxy - Иерархический каталог с подробным описанием тематических категорий на первой странице. Осуществляет поиск по категории поиска, по одному или нескольким ключевым словам, краткий и подробный вывод результатов поиска, переход на страницы Gopher и Telnet .

Yellow Pages - Поиск информации о 16 млн. американских компаниях в различных областях деятельности, а также персональные данные и электронные адреса частных лиц.

Russia on the Net - Первый каталог русских ресурсов.

Созвездие Интернет - Охватывает около 400 серверов. Возможность усечения терминов. Содержит названия и краткие характеристики серверов. Привлекательная графика. Небольшая зона поиска, слабая иерархия.

Желтые страницы Интернет - Около 1200 Web -серверов. Большой объем информации, хорошо продуманная структура.

Сокровища Интернет - Каталог Web -ресурсов на сервере Relcom . АУ! - Молодой, быстроразвивающийся каталог.

Поисковых серверов всего известно более 150, различающихся по регионам охвата, принципам проведения поиска (а следовательно, по


входному языку и характеру воспринимаемых запросов), объему индексной базы, скорости обновления информации, способности искать "нестандартную" информацию и тому подобное. Основными критериями выбора поисковых серверов являются объем индексной базы сервера и степень развитости самой поисковой машины, то есть уровень сложности воспринимаемых ею запросов. Традиционно поисковые системы имеют три элемента:

1. Робот (кроулер, паук, агент), который перемещается по Сети и собирает информацию; Кроулеры просматривают заголовки и возвращают только первую ссылку.

Пауки – программы, осуществляющие общий поиск информации в Сети и сообщающие о содержании найденного документа, индексируя его и извлекая итоговую информацию.

Агенты - самые "интеллектуальные" из поисковых средств. Они могут делать больше, чем просто искать: они могут выполнять даже транзакции от Вашего имени. Уже сейчас они могут искать c айты специфической тематики и возвращать списки cайтов, отсортированных по их посещаемости. Администраторы поисковых систем могут определить, какие сайты или типы сайтов агенты должны посетить и проиндексировать. Агенты могут обрабатывать содержание документов, находить и индексировать другие виды ресурсов, не только страницы. Некоторые, например, индексируют каждое отдельное слово во встречающемся документе, в то время как другие индексируют только наиболее важных 100 слов в каждом, индексируют размер документа и число слов в нем, название, заголовки и подзаголовки и так далее. Они могут также быть запрограммированы для извлечения информации из уже существующих баз данных.

  Интернет-сообщество приняло "Стандарт исключений для роботов". Этот стандарт описывает использование простого структурированного текстового файла, доступного в известном месте на сервере ("/ robots . txt ") и используемого для того, чтобы определить, какая из частей ссылок сервера должна игнорироваться роботами . Все "умные" поисковые машины сначала обращаются к этому файлу, который должен присутствовать на каждом сервере. На сегодняшний день этот файл обязательно запрашивается поисковыми роботами только таких систем как Altavista , Excite , Infoseek , Lycos , OpenText и WebCrawler . Это средство может быть также использовано для того, чтобы предупредить роботов о черных дырах. Каждому типу роботов можно передавать определенные команды, если известно, что данный робот специализируется в конкретной области. Этот стандарт является свободным, но его очень просто осуществить и в нем имеется значительное давление на роботов с попыткой их подчинения.

1. База  данных , которая содержит всю информацию, собираемую роботами.

Проиндексировать произвольный документ, находящийся в Сети, очень сложно. Первые роботы просто сохраняли название документа и якори ( anchor ) в самом тексте, но новейшие роботы уже используют более продвинутые механизмы и вообще рассматривают полное содержание документа. Проиндексированная информация отсылается базе данных (БД) поискового механизма. Вид построенного индекса определяет, какой поиск может быть сделан пользователем поискового механизма и как полученная информация будет интерпретирована. Люди могут помещать информацию прямо в индекс, заполняя особую форму для того раздела, в который они хотели бы поместить свою информацию. БД автоматически обновляются за определенный период времени с тем, чтобы мертвые ссылки были обнаружены и удалены.

2. Пользовательский интерфейс для взаимодействия с БД поисковика. Когда пользователь ищет информацию в Интернет, он заполняет поисковую форму на странице поисковика. Здесь могут использоваться ключевые слова, даты и другие критерии. Критерии в поисковой форме должны соответствовать критериям, используемым агентами при индексации ресурсов Сети. Как формат, так и семантика запросов варьируются в зависимости от применяемой поисковой машины и конкретной предметной области. Запросы составляются так, чтобы область поиска была максимально конкретизирована и сужена. Предпочтение отдается использованию нескольких узких запросов по сравнению с одним расширенным. Языки запроса различных машин поиска в основном являются сочетанием следующих функций (Таблица 3).

Операторы булевой алгебры AND , OR, NOT:


На основе введенной пользователем поисковой строки в БД отыскивается предмет запроса и выводится список соответствующих ссылок. Число документов, полученных в результате поиска по запросу,


может быть огромно. Однако, благодаря ранжированию документов, применяемому в большинстве поисковых машин, на первых страницах списка практически все документы окажутся релевантными (в идеале). Основные принципы определения релевантности следующие:

1.   Количество слов запроса в текстовом содержимом документа (в html - коде).

2.   Тэги, в которых эти слова располагаются.

3.   Местоположение искомых слов в документе.

4. Удельный вес слов (густота), относительно которых определяется релевантность, в общем количестве слов документа.

Эти принципы применяются всеми поисковыми системами. А представленные ниже используются некоторыми, но достаточно известными (вроде AltaVista , HotBot ).

5.   Время - как долго страница находится в базе поискового сервера. Множество сайтов живут максимум месяц. Если же сайт существует довольно долго, это означает, что владелец весьма опытен в данной теме.

6.   Индекс цитируемости - число ссылок на данную страницу с других страниц, зарегистрированных в БД.

Существуют особенности показа полученного списка - некоторые поисковики показывают только ссылки; другие выводят ссылки c первыми несколькими предложениями, содержащимися в документе или заголовок документа вместе с ссылкой.

Результат запроса (список ссылок) обрабатывается в два этапа. На первом этапе (автоматическая обработка) производится отсечение очевидно нерелевантных источников, попавших в выборку в силу несовершенства поисковой машины или недостаточной "интеллектуальности" запроса. Дальнейшая (ручная) обработка производится пользователем путем последовательного обращения на каждый из найденных ресурсов и анализа находящейся там информации. Когда пользователь щелкает на ссылку из списка, то перед запросом соответствующего документа у того сервера, на котором он находится, поисковики заносят в свою БД отметку о пользовательском предпочтении. Собранная информация о поведении пользователей (формулировки запросов и выбранные из списка ресурсы) успешно используется в рекламных компаниях в Сети.

Ниже сравниваются наиболее известные не-россиские поисковики.

AltaVista . Охватывает более 30 млн. страниц на 225000 серверах, обеспечивает доступ к 3 млн. статей в 14000 телеконференциях Usenet . Имеет два режима: Simple query и Advanced query . В режиме Simple можно вводить шаблоны для поиска не менее чем с тремя указанными символами в начале слова. Если слово содержит хотя бы одну заглавную букву, ведется поиск с учетом регистра. Ниже строки ввода выдаются советы по поиску. В режиме Advanced можно создавать сложные запросы, основанные на логических операторах AND , OR , NOT , NEAR и указывать критерии сортировки полученных результатов. Можно указывать диапазон дат опубликования. Предоставляет возможность поиска изображений. Удобный интерфейс. Высокое быстродействие, многовариантное поисковое предписание, возможность поиска на русском языке с учетом морфологии. Система не упорядочивает результаты поиска, поэтому ее целесообразно применять для специфического или исчерпывающего поиска. Индексирование в этой системе осуществляется при помощи робота. При этом робот имеет следующие приоритеты:

•         слова, содержащиеся в теге < title > имеют высший приоритет;

•         ключевые фразы в < Meta > тэгах;

•         ключевые фразы, находящиеся в начале странички;

•         ключевые фразы в ALT - ссылках

•         ключевые фразы по количеству вхожденийприсутствия словфраз; Если тэгов на странице нет, использует первые 30 слов, которые индексирует и показывает вместо описания ( tag description ) Наиболее интересная возможность AltaVista - это расширенный поиск. Здесь стоит сразу оговориться, что, в отличие от многих других систем AltaVista поддерживает одноместный оператор NOT . Кроме этого, имеется еще и оператор NEAR , который реализует возможность контекстного поиска, когда термины должны располагаться рядом в тексте документа. AltaVista разрешает поиск по ключевым фразам, при этом она имеет довольно большой фразеологический словарь. Кроме всего прочего, при поиске в AltaVista можно задать имя поля, где должно встретиться слово: гипертекстовая ссылка, applet , название образа, заголовок и ряд других полей. К сожалению, подробно процедура ранжирования в документации по системе не описана, но видно, что ранжирование применяется как при простом поиске, так и при расширенном запросе. Реально эту систему можно отнести к системе с расширенным булевым поиском.

HotBot - Охватывает 54 млн. страниц. Возможен поиск на русском языке. Является популярным поисковым средством благодаря наличию механизмов построения сложных поисковых запросов. В основном, 1-я страница результатов, полученных в ответ на поисковый запрос, приходит из Direct Hit , затем берутся результаты из Inktomi . Список каталогов предоставляется Open Directory . HotBot начал предоставлять свои услуги в мае 1996 года, а в октябре 1998 года он был куплен Lycos .

Infoseek . Охватывает 1,5 млн. страниц. Язык запросов позволяет использовать все возможные варианты логических выражений. Менее полные, чем на других серверах, результаты поиска, неудобный интерфейс. В этой системе индекс создает робот, но он индексирует не


весь сайт, а только указанную страницу. При этом робот имеет такие приоритеты:

•         слова в заголовке < title > имеют наивысший приоритет;

•         слова в теге keywords , description и частота вхожденийповторений в самом тексте;

•         при повторении одинаковых слов рядом выбрасывает из индекса

•         Допускает до 1024 символов для тега keywords , 200 символов для тэга description ;

•         Если тэги не использовались, индексирует первые 200 слов на странице и использует как описание;

Система Infoseek обладает довольно развитым информационно-поисковым языком, позволяющим не просто указывать, какие термины должны встречаться в документах, но и своеобразно взвешивать их. Достигается это при помощи специальных знаков "+" - термин обязан быть в документе, и "-" - термин должен отсутствовать в документе. Кроме этого, Infoseek позволяет проводить то, что называется контекстным поиском. Это значит, что, используя специальную форму запроса, можно потребовать последовательной совместной встречаемости слов. Также можно указать, что некоторые слова должны совместно встречаться не только в одном документе, а даже в отдельном параграфе или заголовке. Имеется возможность указания ключевых фраз, представляющих собой единое целое, вплоть до порядка слов. Ранжирование при выдаче осуществляется по числу терминов запроса в документе, по числу фраз запроса за вычетом общих слов. Все эти факторы используются как вложенные процедуры. Подводя итоги, можно сказать, что Infoseek относится к традиционным системам с элементом взвешивания терминов при поиске.

Infoseek Ultra - 50 млн. страниц WWW , возможен поиск на русском языке, поиск изображений.

Lycos . Охватывает 68 млн. страниц. Можно выбрать параметры поиска: одно, несколько ключевых слов или фраза; усечение терминов; ограничения на число совпадений; степень соответствия результатов поиска ключевым словам; форму вывода результатов (краткую или подробную); количество найденных терминов на каждой странице. Невысокие быстродействие и оперативность обновления информации. В Lycos используется следующий механизм индексации:

•         слова в < title > заголовке имеют высший приоритет;

•         слова в начале страницы;

•         слова в ссылках;

•         если в его базе индекса есть сайты, ссылка с которых указывает на индексируемый документ - релевантность этого документа возрастает.

Как и большинство систем, Lycos дает возможность применять простой запрос и более изощренный метод поиска. В простом запросе в качестве поискового критерия вводится предложение на естественном языке, после чего Lycos производит нормализацию запроса, удаляя из него так называемые stop -слова, и только после этого приступает к его выполнению. Почти сразу выдается информация о количестве документов на каждое слово, а позже и список ссылок на формально релевантные документы. В списке против каждого документа указывается его мера близости запросу, количество слов из запроса, попавших в документ, и оценочная мера близости, которая может быть больше или меньше формально вычисленной. Пока нельзя вводить логические операторы в строке вместе с терминами, но использовать логику через систему меню Lycos позволяет. Такая возможность применяется для построения расширенной формы запроса, предназначенной для искушенных пользователей, уже научившихся работать с этим механизмом. Таким образом, видно, что Lycos относится к системе с языком запросов типа " Like this ", но намечается его расширение и на другие способы организации поисковых предписаний. В октябре 1998 Lycos приобрел HotBot , который, в настоящее время, используется как отдельная служба.

WAIS является одной из наиболее изощренных поисковых систем Internet . В ней не реализованы лишь поиск по нечетким множествам и вероятностный поиск. В отличие от многих поисковых машин, система позволяет строить не только вложенные булевые запросы, считать формальную релевантность по различным мерам близости, взвешивать термины запроса и документа, но и осуществлять коррекцию запроса по релевантности. Система также позволяет использовать усечения терминов, разбиение документов на поля и ведение распределенных индексов. Не случайно именно эта система была выбрана в качестве основной поисковой машины для реализации энциклопедии "Британика" на Internet .

Yahoo . Секрет успеха Yahoo заключается в людях. Yahoo имеет около 150 редакторов, для того, чтобы составлять и редактировать содержимое своих каталогов. Yahoo имеет базу данных в более чем 1 млн. проиндексированных сайтов. Также, в случае нехватки своей собственной базы данных, Yahoo использует базу данных Google (до июля 2000 года Yahoo пользовался базой данных Inktomi ). Yahoo является старейшей поисковой системой, которая начала предоставлять свои услуги в 1994 году. Язык Yahoo достаточно прост: все слова следует вводить через пробел, они соединяются связкой AND либо OR . При выдаче не указывается степень соответствия документа запросу, а только подчеркиваются слова из запроса, которые встретились в документе. При этом не производится нормализация лексики и не проводится анализ на "общие" слова. Хорошие результаты поиска получаются только тогда, когда пользователь знает, что в базе данных Yahoo информация есть наверняка. Ранжирование производится по числу терминов запроса в документе. Yahoo относится к классу простых традиционных систем с ограниченными возможностями поиска.



 


Перспективы развития средств поиска в Интернет

Несомненными являются следующие тенденции Интернет:

•         рост    объема     доступной    информации     и    информационных потребностей пользователей

•         расширение границ Интернет за счет присоединения новых стран

•         усиление коммерциализации сервисов

•         увеличение скорости, пропускной способности и числа способов доступа в Сеть

•         углубление  дифференциации  сервисов  по  целевым  аудиториям (кружки по интересам)

•         объединение   однородных   сервисов   в   единые   порталы   (места массового обслуживания)

•         влияния “дай”- протокола отразиться на развитии средств сбора информации о поведении пользователей в Сети

Все это подтолкнет автоматизацию средств поиска и семантической обработки информации таких, как:

•         персональные автономные интеллектуальные агенты (типа “ Search +”)

•         персонализация и интеллектуализация поисковых механизмов на поисковых порталах (настройка способа вывода списка ссылок, использование механизма Cookies , заполнение специальных анкет и “подписка на запрос”, семантическое ранжирование результатов запроса)

Читать далее: Средства архивации и восстановления информации.