Материалы для PDF / Тер вер и мат стат / предисловие новое

ПРЕДИСЛОВИЕ

Понятия «вероятность», «случайность» существовали с незапамятных времен и употреблялись как в философских трактатах, так и в повседневной бытовой лексике. Первая попытка вероятностных исчислений отмечена в трудах Г. Галилея (1564–1642), который использовал вероятность в расчетах случайных ошибок измерений физических величин. Однако дату рождения теории вероятностей чаще всего относят к 1654 г. и связывают это с одним курьезным случаем, происшедшим с Шевалье де Море. Азартный француз выиграл большую сумму денег, поспорив, что при четырехкратном броске игральной кости появится хоть одна «шестерка», и тут же проиграл их, поставив на появление двух «шестерок» подряд в серии из 24 бросков. Обескураженный Шевалье обратился к знаменитому математику Б. Паскалю (1623–1662), находившемуся в тесной переписке с П. де Ферма (1601–1665). В результате творческой переписки великих французских математиков появилось не только решение поставленной де Море задачи, но и ряд теорий, заложивших основу исчисления вероятностей. Случайно или нет, но в этом же 1654 г. родился старший из ставшей впоследствии легендарной швейцарской математической семьи Бернулли – Якоб Бернулли (1654–1705), который материалы указанной переписки положил в основу построения классической теории вероятностей. За три с лишним столетия это учение прошло путь от теории азартных игр до теории математического описания механизма современного восприятия сущности реального мира.

По мере развития вероятностной теории менялось отношение к самому понятию вероятностей. Согласно первой интерпретации, связанной с классическим периодом развития теории, вероятность событий определялась как отношение числа случаев, благоприятствующих появлению события, к общему числу всех возможных случаев. Фактически такое определение вероятности сводится к более простому понятию – равновозможности событий. Например, для идеально изготовленной игральной кости вероятность выпадения любого из 6 чисел равна по условию. Именно этим обстоятельством и оперировал Б.Паскаль в решении задачи де Море, показав, что в первом пари у Шевалье шанс оказался выше 50 %, а для успеха во втором не хватило одного броска. Но правила игр специально и построены таким образом, чтобы шансы игроков были равновозможными; в природе и обществе равновозможные события встречаются довольно редко. Поэтому для количественной оценки возможности появления событий в реальной ситуации была выдвинута другая интерпретация вероятности, определяемая по относительной частоте появления событий или статистически¹.

При этом вероятность события стала рассматриваться как предел относительной частоты его проявления при бесконечном числе наблюдений. Такое теоретическое обоснование вероятности, вытекающее из закона больших чисел, существенно расширило практические возможности вероятностной теории в исследовании и описании реальных событий и процессов, осуществляемых методами математической статистики. Логическим фундаментом всей современной вероятностной теории послужило аксиоматическое определение вероятности, предложенное в 1933 г. А.Н.Колмогоровым (1903–1987) и построенное на основе теории множеств, теории меры и функционального анализа. Аксиоматическая интерпретация окончательно «математизировала» теорию вероятностей, определив ее роль и значение во всем диапазоне математических теорий.

Самое главное применение теория вероятностей и математическая статистика находят при открытии и анализе статистических закономерностей и законов. Там, где исследователь встречается с массовыми случайными или повторяющимися событиями, при тщательном статистическом анализе обнаруживается, что все они, несмотря на отклонение и разнообразие в своем поведении, обладают определенной регулярностью, а именно: устойчивой относительной частотой. Эта закономерность была выявлена еще в античном мире на примере относительной устойчивости количества рождающихся за год мальчиков и девочек. Впоследствии были найдены другие статистические законы в физике, биологии, социологии, экономике и т.д. Следует отметить, что до некоторых пор статистические законы признавались лишь в качестве удобных вспомогательных средств исследования, дающих возможность в компактной и удобной форме представлять всю имеющуюся информацию о предмете или предметной области. Подлинными законами считались детерминистские законы, обеспечивающие точные и однозначные предсказания. Отношение к статистическим законам принципиально изменилось после открытия законов квантовой механики, предсказания которых имеют существенно вероятностный характер.

Наиболее выразительная формулировка сущности классического детерминизма, отстаивающего приоритет детерминистских законов, принадлежит П.Лапласу¹, который считал случайным то, причину чего мы не знаем или не можем точно выявить следствие, и что вероятность обусловлена «отчасти этим незнанием, а отчасти нашим знанием». Это означает, что случайность и выражающая ее вероятность имеют субъективный характер, то есть не присутствуют объективно в реальном мире, где господствует механистический детерминизм. Такое мировоззрение получило название лапласовского детерминизма. В свою очередь, статистическая или частотная интерпретация вероятности, напротив, подчеркивает объективное содержание этого понятия, рассматривая его как количественную характеристику устойчивости частоты массовых случайных событий. Такая интерпретация, позволяющая устанавливать статистически законы объективного мира, приводит к формированию другой формы выражения регулярностей – вероятностному детерминизму. Признание самостоятельности статистических законов, отображающих объективное существование случайных событий, дополняет изначальную механистическую картину строго детерминированного мира. В новой картине мира, в современном мировоззрении необходимость и случайность выступают как взаимосвязанные и дополняющие друг друга аспекты.

Сравнивая формы выражения регулярностей в мире, обычно обращают внимание на степень достоверности их предсказаний, что является важнейшим обстоятельством как с методологической, так и с практической точки зрения для исследователя, для информатика-аналитика. Строго детерминистские законы дают точные предсказания в тех областях, где можно абстрагироваться от сложного характера взаимодействия между объектами, отвлечься от случайностей и тем самым решительно упростить действительность. Однако такое упрощение и схематизация возможны лишь при изучении простейших форм движения. В тех случаях, когда переходят к исследованию сложных систем, состоящих из большого числа элементов, индивидуальное поведение которых и характер их взаимосвязей трудно поддаются описанию, обращаются к статистическим законам, опирающимся на вероятностные предсказания. Здесь уместно вспомнить некоторые моменты исторического развития естественных наук. Так, И.Ньютон (1643−1727), применив свой вариант дифференциального и интегрального исчисления, заложил основы механистического детерминизма в виде основных законов динамики (механического движения). Однако стоило науке обратиться к более сложному движению – тепловому, оказалось, что механистического подхода в описании тепловых процессов недостаточно, необходимо введение в схему описания этих процессов новых математических конструкций (закон Фурье (1811)) и феноменологических показателей состояния систем (энтропия Клаузиуса (1865)). Феномен энтропии, ставший важнейшей категорией в методологии познания реального мира и процессов его развития, был раскрыт Л.Больцманом (1844−1906), сформулировавшим в 1872 г. статистическую концепцию второго закона термодинамики. Новацией Л. Больцмана было введение вероятности в физику не как средства аппроксимации, а как объясняющего принципа использования вероятности для демонстрации нового типа поведения систем, состоящих из огромного числа элементов. Наличие большой популяции позволяло применять правила теории вероятностей. Идею перехода от микроскопического уровня к макроскопическому Л.Больцман заимствовал у Дж. Максвелла (1831−1879), который в 1859 г. представил вероятностное распределение по скоростям молекул системы в состоянии термодинамического равновесия при условии, что поступательное движение молекул описывается законами классической механики. Фактически Дж. Максвелл впервые показал диалектическую связь механистического и вероятностного детерминизма. Примечательно, что такое решение у Дж.Максвелла возникло под влиянием трудов одного из создателей научной статистики Л. Кетле (1796−1847), который первым ввел в социологию понятие «среднего» человека.

Использование вероятностного подхода в термодинамике дало наиболее ощутимые результаты в исследовании неравновесных систем, в которых реверсивно по отношению к равновесным системам хаос порождает новый порядок, новую, более сложную организацию. Работы Брюссельской школы во главе с лауреатом Нобелевской премии И. Пригожиным сформировали новую мировоззренческую платформу, представляющую случайность как важнейший атрибут эволюционного развития. Значительную роль в формировании современного научного мировоззрения сыграли достижения в области генетики ,биологии, химии, квантовой механики и других наук, полученные благодаря вероятностной интерпретации наблюдений. Особо следует отметить достижения в области информационных наук. Так, первой и пока единственной успешной попыткой определения информации можно назвать вероятностную теорию информации, основы которой были заложены американским математиком и инженером К. Шенноном в середине ХХ века.

Данный исторический экскурс, представляющий эволюцию и роль теории информации и математической статистики в раскрытии и описании реальных явлений и процессов, показывает значимость этой научной дисциплины в информационно-аналитической деятельности. Деятельность информатика-аналитика зачастую сопоставляют с работой информационного разведчика. В этой связи интересным представляется мнение американского генерала В. Плетта, руководившего информационной разведкой в аппарате Аллена Даллесса (ЦРУ), которое он изложил в своей книге «Информационная работа стратегической разведки», определяя необходимые качества офицера информации: «Знание теории вероятностей и тесно связанной с ней математической статистики и умение применить их на практике является одним из самых важных и полезных элементов образования офицера информации. В огромном количестве случаев такие знания окажут неоценимую помощь в информационной работе, оградят от многих ошибок. Многие явления, с которыми приходится иметь дело офицеру информации, являются только вероятными. Часто информационная работа разведки приносит особенно большую пользу благодаря умелому использованию данных о вероятных явлениях». К этому можно добавить, что и количественная мера информации, и само содержание этой важнейшей для современного общества категории, и особенно ее прагматическое обоснование (что крайне необходимо представлять при организации информационного обеспечения) всецело определяются вероятностными (статистическими) характеристиками.

Настоящее учебное пособие не претендует на полноту изложения теории вероятностей и математической статистики и соответственно не включает в себя все многообразие научных и практических достижений в данной области знаний. Цель учебника согласуется с местом и ролью данной дисциплины в процессе подготовки квалифицированного специалиста-информатика и заключается в том, чтобы изложить основы данной теории, привить навыки применения вероятностного аппарата при анализе реальных ситуаций и информационных процессов.

В первой главе учебника рассмотрены основы вероятностной теории, последовательно излагается смысл ее основных категорий: случайного события, случайной величины, системы случайных величин, случайной функции и случайного процесса. Большое внимание, как и в последующих главах, уделяется конкретным, реальным примерам использования указанных категорий при анализе различных событий, явлений и процессов.

Во второй главе выделены некоторые прикладные направления теории вероятностей, имеющие важное образовательное значение для общей эрудиции будущего специалиста-информатика: теория информации, теория измерений, теория надежности, теория массового обслуживания, теория кодирования и передачи информации. С точки зрения авторов, содержание этих математических теорий создает ту теоретико-методическую платформу, которая необходима для грамотного подхода к построению информационных систем.

В последующих главах излагаются основы математической статистики. По определению А. Вальда, это совокупность методов, которые дают возможность принимать оптимальные решения в условиях неопределенности.

Третья глава дает представление об описательной, или дискриптивной, статистике, которая позволяет исследовать и описывать по статистическим данным полные, или генеральные, совокупности наблюдений.

В четвертой главе приводятся основы теории проверки гипотез, выдвигаемых относительно принадлежности случайных выборок к соответствующим генеральным совокупностям, когда результаты наблюдений над частью пытаются распространить на всю генеральную совокупность. Такая необходимость вызвана тем, что полное исследование случайных явлений или процессов почти всегда либо невозможно, либо связано со слишком большими материальными или временными затратами.

Последние главы дают представление о статистике индуктивной, или аналитической, исследующей репрезентативную (представительную) часть совокупности, свойства которой интересуют исследователя. В пятой главе приводятся основные методы статистического анализа, включающие дисперсионный, непараметрический и корреляционный анализ.

В шестой главе обращается внимание на организацию и повышение эффективности статистических исследований путем математического планирования эксперимента и построения регрессионных моделей. Приводится методика проведения полного факторного эксперимента, построения регрессионной модели с проверками воспроизводимости эксперимента, значимости коэффициентов модели, адекватности модели.

Седьмая глава затрагивает вопросы, связанные со статистическим прогнозированием, с тем, как с помощью статистических методов можно определить будущее поведение той или иной системы. Рассмотрены вопросы выявления аномальных уровней динамического ряда, определения наличия тренда, десезонализация ряда, построение модели тренда и использование этой модели для вычисления точечного прогноза и построения доверительного интервала на полученную оценку.

Восьмая глава «Многомерный статистический анализ» позволяет студентам получить подготовку необходимую для построения современных хранилищ данных, обеспечивающих интеграцию, очистку, ретроспективное хранение информации, а также интерактивный анализ данных. Последний опирается на многомерное представление и визуализацию данных и предназначен для поддержки принятия решений руководителями высшего и среднего менеджмента, подразделений финансового анализа и маркетинга, информационными аналитиками и др.

Последняя глава посвящена обучению практическим приемам решения информационных задач с использованием современного популярного в России и мире пакета прикладных программ STATISTICA фирмы Statsoft. На многочисленных примерах продемонстрированы основные методы аналитической обработки данных.

Авторы надеются получить конструктивные замечания и предложения читателей, заведомо относясь к ним с уважением и огромной благодарностью.

ГЛАВА 1. ТЕОРЕТИКО-ВЕРОЯТНОСТНЫЕ ОСНОВЫ ИНФОРМАЦИОННОЙ

ДЕЯТЕЛЬНОСТИ

1.1. Случайные события

1. Основные определения и оценка случайного

события

Каждый объект или явление S характеризуется множеством сведений (или просто сведениями), в полной мере определяющих суть этого объекта или явления:

^1.

(1.1)

В процессе отображения, т.е. в процессе получения информации об объекте или явлении при различных воздействиях причинных факторов, субъект может получить одно, несколько или сразу все сведения, т.е. , или S. Здесь  S. Проявление , или S в той или иной ситуации зависит от состояния объекта или субъекта. В общем случае как то, так и другое являются непредсказуемыми, или случайными, событиями. Случайные – это такие события, которые при неоднократном воспроизведении одного и того же опыта протекают каждый раз по-иному. Исходя из этого, называют элементарным случайным событием, – случайным событием, S – множеством элементарных случайных событий или пространством событий (исходов). ^ простое событие, которое нельзя разложить на составляющие; – сложное событие, оно представимо в виде суммы элементарных событий. События можно складывать, вычитать, перемножать. Множество подмножеств в пространстве событий S называют алгеброй событий F(S).

Например, в эксперименте с бросанием игральной кости множество S={1,2,3,4,5,6} есть пространство исходов, событие Е₁ – «выпадение четного числа очков», E₁ = {2,4,6} есть подмножество множества S, а событие Е₂ – «выпадение конкретного числа очков», например шести, E₂={6}, есть элементарное событие.

1 В современной теории вероятность, определяемая в соответствии с первой интерпретацией, получила название априорной или классической (по Бернулли и Лапласу), в соответствии со второй интерпретацией – апостериорной или статистической (частотной).

1 Выдающийся французский математик, физик, астроном П. Лаплас (1749−1827) внес неоценимый вклад в развитие вероятностной теории; его труд «Аналитическая теория вероятностей» (1812) относится к разряду фундаментальных.

1 В общем случае S может быть несчетным, т.е. иметь мощность континуума.

14 15