4 Поиск, отбор и экспресс-анализ данных

Задачи поиска, отбора и экспресс-анализа данных являются базисными для любой отрасли ИАР, требуют творчества от сотрудников и имеют, подчас, весьма нетривиальные решения. Причин тут масса — перечислим лишь основные:

• данные могут иметь разнообразные формы представления;

• данные могут быть как обеспечены, так и не обеспечены моделями их интерпретации;

• данные могут быть распределены в массе различных по своей физической природе, временной и пространственной локализации источников;

• источники данных могут быть в различной степени доступны или наблюдаемы.

Вам доводилось видеть по телевизору церемонии открытия олимпийских игр? Допустим, да. Тогда вам приходилось видеть, как по сигналу церемониймейстера на трибунах из отдельных щитов, управляемых сидящими на трибунах людьми, складываются государственные флаги, олимпийская символика и прочие замысловатые узоры. А теперь представьте себе, что вы сидите на этой трибуне, и все, что вы можете наблюдать — это разноцветные щиты с номерами в ногах у себя и своих ближайших соседей, а вам по системе оповещения сообщают с каким номером щит вам предстоит поднять на счет «три». Так вот, задачи поиска и установления информативности источников сходны с задачей определения того, какой флаг через мгновение увидит телезритель, и того, в какой части трибуны вероятность правильного распознавания была бы выше.

Характер и состав множества источников информации определяется возможностями системы сбора информации, которой располагает конкретный субъект ИАР. Чем мощнее комплект инструментальных средств сбора, чем обширнее сеть добывания информации, тем полнее источниковая база ИАР. Для одних задач существует возможность привлечения инструментальных средств контроля, обеспечивающих сбор максимально достоверной информации о состоянии объектов исследований и среды их функционирования, возможность ранжирования источников по достоверности, точности и оперативности. Для других такая возможность отсутствует, а прогностический потенциал данных, получаемых методом непосредственного измерения параметров, не удовлетворяет требованиям, предъявляемых к результатам исследований. Таким образом, мы приходим к выводу о том, что состав источников, действительно, в сильной степени зависит от специфики задач исследования и парка инструментальных средств субъекта ИАР.

Современная аналитика располагает чрезвычайно обширной источниковой базой. В арсенале средств сбора информации присутствуют самые изощренные системы: начиная от спутниковых систем мониторинга атмосферы и земной поверхности, радио и оптико-электронной разведки и заканчивая самим, вооруженным пятью каналами ввода информации, аналитиком.

5 Работа с источниками текстовой информации

Оставим рассмотрение «экзотических» случаев: использования спутников- и самолетов- шпионов, добывания экспериментального образца методом подкупа вахтера и иные, столь же далекие от повседневной работы «чистого» аналитика. Хотя случаи работы с несимвольной информацией встречаются достаточно часто — например, могут проводиться работы по определению химического состава или конструктивных особенностей продукции непосредственно с ее образцами, а не с описаниями таковых.

Сосредоточим свое внимание на классе источников символьных данных, а еще точнее — текстовых данных. Класс текстовых данных обладает максимальным прогностическим потенциалом при минимальном интервале наблюдений — в одном кратком предложении может быть выражена информация, достаточная для описания поведения объекта или процесса на сколь угодно отдаленную перспективу. В то же время, точность этого вида данных крайне низка, они подвержены многим видам искажений. Особенно низка их устойчивость к целенаправленной модификации. Но, сколь бы плохи или хороши они ни были, такие данные часто бывают единственным, что доступно аналитику.

Чаще всего, в повседневной деятельности нам приходится сталкиваться с классом источников информации, имеющих в своей основе языковые (знаковые или символьные) средства коммуникации: книги, периодические издания различной специализации, телевидение, радио, телефон, персональные коммуникации, ресурсы глобальных, региональных и локальных телекоммуникационных сетей. Данный класс коммуникаций, если исключить персональные ощущения и специальные технологии, является основным каналом пополнения личного (персонально пережитого) и социального (полученного в результате коммуникаций) опыта и знаний. Количество только языковой информации (исключая видеоряд), которое поступает по каналам этого класса источников, в принципе, позволяет сложной системе типа «человек» адаптивно реагировать на изменение ситуации, вырабатывать цели, стратегии, синтезировать новую информацию и добывать новые знания. Более того, этой информации достаточно для управления и другими людьми, не говоря уж о технических системах, созданных человеком.

Практика показывает, что этот класс источников обладает колоссальной информационной емкостью, другое дело, что «плотность» информации (коэффициент информативности данных) существенно варьируется от издания к изданию, от выпуска к выпуску, от программы к программе. Еще сложнее дело обстоит с релевантностью информации (ее свойством соответствовать текущим информационным потребностям субъекта): данных, содержащих релевантную информацию значительно меньше. А если учесть и иные ограничения, все более и более сужающие перечень источников и сообщений, то можно сделать вывод, что относительное количество сообщений, отвечающих потребностям управления некоторой конкретной системой в заданных условиях, крайне мало. К числу таких ограничений относятся: актуальность (возможность использования информации для управления системой или процессом в их современном состоянии), своевременность (возможность использовать информацию в контуре управления с учетом быстродействия подсистемы доведения управляющих воздействий), точность, достоверность, непротиворечивость и иные. Соответственно при всем обилии информации, которая может быть в принципе извлечена из всей совокупности источников, доля информации, представляющей ценность для ИАР, направленной на достижение некоторой цели, относительно невысока.

Коль скоро мы решили, что в этом подразделе проблемы поиска, отбора и экспресс-анализа информации будут рассматриваться применительно к классу источников, использующих для представления информации языковые средства, то, в первую очередь, нам следует проанализировать состав этого класса и режимы коммуникации (коммуникационные ситуации). В типовой коммуникационной ситуации (при обмене информацией между производителем и потребителем информации в режиме реального времени) в качестве основных источников текстовой информации может выступать всего два типа систем: разумные (человек), интеллектуальные (системы искусственного интеллекта). Перечисленные системы способны самостоятельно генерировать новые тексты и информацию, то есть являются источниками и в узком, и в широком смысле, а также могут выступать в роли первичных источников текстовой информации. При наличии задержки в канале коммуникации речь идет о наличии промежуточного материального носителя информации, который обеспечивает возможность длительного хранения информации без внесения собственных искажений. Такие носители информации также могут рассматриваться в качестве источника информации, хотя сами не способны продуцировать информацию.

Чаще всего языковые средства коммуникации реализуют неоперативный режим коммуникации с использованием средств символьного представления информации (текстов). Поэтому, когда речь идет о неоперативной языковой коммуникации, в качестве источников принято рассматривать второй класс источников (материальные носители текстов). Если ввести строгие классификационные основания, то к классу источников, обеспечивающих неоперативные языковые коммуникации, следует причислять:

• источники неоперативной информации (хранилища, архивы и библиотеки, содержащие текстовые документы):

• на традиционных носителях символьных данных: бумага, фотопленка и т. д. (книги, журналы, реферативные журналы, газеты, рукописи, микропленки и иные);

• на нетрадиционных носителях символьных данных: магнитные ленты и диски, магнитооптические и оптические накопители ЭВМ, голографические накопители, электронные запоминающие устройства, сети ЭВМ различного уровня интеграции и т. д. (файлы, базы данных, хранилища данных, геоинформационные системы, глобальные, региональные и локальные сети ЭВМ и иные);

• источники оперативной информации (коммуникационные и связные системы, реализующие функцию коммуникации посредством передачи текстовых данных в символьном формате):

• воспроизводимые данные (зарегистрированные на материальных носителях, для которых существует возможность повторного воспроизведения), передаваемые в каналах связных и телекоммуникационных систем, основанных на различных физических принципах действия, в том числе, воспроизведенные методом оптической проекции и т. д.;

• невоспроизводимые данные (возможность регистрации которых на материальных носителях и повторного воспроизведения отсутствует по тем или иным причинам), передаваемые в каналах связных и телекоммуникационных систем, основанных на различных физических принципах действия, в том числе, воспроизведенные методом оптической проекции и т. д.

Источники информации, не воспроизводимой с требуемой степенью точностью, мы исключим из рассмотрения в силу их малой полезности, а также по причине того, что их поиск становится невозможным в силу отсутствия доступа к материальной копии. Впрочем, определив потенциального носителя таких данных или расположение материальной копии, возможно организовать доступ к материальной копии или носителю сведений, как, например, в случае захвата вражеского «языка», получения несанкционированного доступа к данным и иных случаях насильственного изъятия информации.

При наличии доступа к материальной копии информации (данным) всю совокупность доступных данных можно рассматривать в качестве источниковой базы проведения исследований. В этом случае, решив проблему согласования форматов представления, аналитик получает возможность применения комплекса информационных технологий к полученному массиву текстов. При этом, как мы уже указывали, аналитиком решается задача сжатия или обобщения информации, первыми этапами которой является отбор текстов, релевантных теме исследования, то есть — формирование специализированного массива текстов, которые имеют отношение к решаемой задаче.

При этом выделяются два класса источников, не рассматривавшихся в предложенной ранее классификации, а именно: класс источников неструктурированных текстовых данных и класс источников структурированных текстовых данных. При этом под текстом можно понимать и числа, как частный случай.