Реферат: Философские вопросы теории вероятностей
documentclass[12pt,a4paper]{article}
usepackage{fullpage}
usepackage{amstext}
usepackage[T1,T2A]{fontenc}
usepackage[cp1251]{inputenc}
usepackage[russian]{babel}
defe{varepsilon}
title{Реферат пофилософии на кандидатский минимум. Тема: <<Философские
вопросы теориивероятностей.>>}
date{2 апреля2005 г.}
thanks{Сдан 2апреля 2005 года Мавринскому на
математико-механическомфакультете СПбГУ.}
begin{document}
maketitle
tableofcontents
thispagestyle{empty}
vfill
pagebreak
setcounter{page}{1}
section{Введение}label{intro}
В 1933 году А.Н.Колмогоровым в cite{Ko} была предложена аксиоматика
теориивероятностей, основывавшаяся на достаточно развившейся к тому
времени теориимеры и интеграла, и ставшая классической. Это была третья
и самая успешнаяпопытка аксиоматизации после Р. фон Мизеса (1914) и С.Н. Бернштейна (1917).
До сравнительнонедавних пор классическим считалось понятие вероятности, основывающееся
наравновозможности событий. Это понимание вероятности,
трактуемое сейчаскак элементарное, равно как и развитие понятия вероятности
события, подробнорассматриваются в следующем разделе.
Основнымпонятием, благодаря которому в современной математике теория
вероятностейсчитается отделенной от теории меры и интеграла, является
независимостьслучайных событий или случайных величин. Попытки математизации
понятиявероятности вынудили ученых к более глубокому осмыслению понятий независимости
и причинныхсвязей.
Аппаратаксиоматизированной теории вероятностей привел к появлению
математическойстатистики как самостоятельной математической дисциплины.
Если задачитеории вероятностей состоят в выводе свойств, основанных на
заданнойвероятностной модели, то задачи математической статистики
заключаются внахождении вероятностных моделей, с которыми бы лучше всего согласовывались
статистическиесвойства наблюдаемых эмпирических данных.
Несмотря наналичие большого числа парадоксов в истории теории вероятностей (см. cite{S}),
автору неизвестнывопросы, по которым в классической теории вероятностей имелись бы
разногласия средиученых. При этом следует отличать парадоксы от софизмов -
первыехарактеризуются неожиданностью верного вывода, во вторых же выводы
получаются спомощью кажущихся правильными рассуждений. Существование многих
парадоксов вистории теории вероятностей свидетельствует о существенном влиянии,
которая этатеория оказывала на научных деятелей, и о большoй склонности к
возникновениюошибок в рассуждениях лиц данной наукой занимающихся.
Философскиевопросы могут возникать в основном при попытках истолкования
теории напрактике, анализе исходных понятий или благодаря анализу
парадоксов. Полепрактического
применения теориивероятностей огромно в связи с возникновением на ее основе
теорииинформации, существованием математической статистики, теории случайныхпроцессов.
section{Опонятии вероятности}
Появление теориивероятностей во многом обязано потребностью
рационализациитого, что не может быть точно предсказано, но где
можно проследитьзакономерности. Таковы древнейшие игра в кости, практика
страхованияморских перевозок и жизни.
Первые попыткианализа закономерностей случайных событий при
игре в костивозникли в конце эпохи Возрождения. С XVI по начало XIX века
такие известныедеятели науки как Кардано, Паскаль, Ферма, Гюйгенс, Бернулли,
Муавр, Лаплас,Байес, Гаусс и Пуассон получили важные для науки результаты,
основываясь напонятии {it элементарной} вероятности случайного события как отношения числа
возможных исходовопыта, благоприятствующих событию, к общему числу мыслимых равновозможных
исключающихисходов опыта.
Одним из самыхважных результатов был полученный Яковом Бернулли в 1713 году
закон большихчисел (в упрощенной форме): если один из результатов опыта
имеет вероятность$p$, a $e$ является маленьким положительным числом,
то вероятностьтого события, что при проведении $n$ опытов результат будет наблюдаться
от $np-ne$ до$np+ne$ раз, становится сколь угодно близкой к единице при выборе достаточно
большого числа$n.$ Так, несмотря на хаос в большом количестве не связанных между собойявлений,
в среднем могутвозникать вполне четкие закономерности. Таким образом была выявлена важность
рассмотрениябесконечных последовательностей повторных испытаний, предела относительнойчастоты
появления тогоили иного события в этих испытаниях, выявлено различие между понятиемвероятности
события и частотыего появления в конечном числе испытаний, а также возможность приближенного
определениянеизвестной вероятности события по его относительной частоте при большом
количествеиспытаний.
Муавром былаоткрыта закономерность в поведении отклонений результатов
последовательностиопытов от среднего значения, впоследствии получившая название центральной
предельнойтеоремы теории вероятностей. Вследствие нее, а также вследствие закона,открытого
Гауссом дляповедения суммы большого числа независимых ошибок, было открыто нормальное или
гауссовскоераспределение значений случайной величины в нынешнем понимании этих терминов.Но
в то время онорассматривалось только как некоторое предельное образование.
Примерно в то жевремя Ж. Бюффоном была рассмотрена ставшая классической задача
об игле. Наплоскость, разграфленную параллельными прямыми,
отстоящими друг отдруга на расстоянии $a$, наудачу бросается игла длиною $2r$, причем
$2r<a.$ Каковавероятность того, что игла пересечет одну из проведенных параллелей? Решение
этой задачипотребовало рассмотрение другого понятия вероятности - {it геометрического}.
Положение иглыопределяется двумя числами: $x$ — расстоянием от центра иглы до
ближайшей прямой,и $theta$ — острым углом между перпендикуляром к этой прямой и иглой.
При этом $x$лежит в промежутке между 0 и $a/2,$ a $theta$ — между 0 и $pi/2.$
Предполагается,что $(x,theta)$ имеет одинаковую возможность оказаться любой
точкойпрямоугольника $(0,a/2)times (0,pi/2),$ и величина $x$ не зависима
от величины$theta.$ Тогда искомая вероятность определяется как отношение площадей,
соответствующих благоприятствующими всем возможным исходам, и равна $frac{4r}{api}.$
Эта задачапослужила основой для экспериментальной проверки закона больших чисел,
с помощью неетакже можно найти приближенное значения числа $pi.$
Таким образомзадачу Бюффона можно считать
одной из первых,показавших применимость теории вероятностей нетривиальным
образом длярешения детерминистических задач.
Одним из способовопределения равновозможности был принцип безразличия,
согласно которомуравновозможность есть либо невозможность предпочесть один исход другому,
либосимметричность возможностей получить тот или иной исход.
Если у правильнойигральной кости стереть маркировку граней, то
их станетневозможно различить. Ясно, что определение того, в какой мере высказываниеотносительно
реальнойравновозможности исходов соответствует действительности, возможно
только опытнымпутем при наблюдении относительных частот результатов опыта в сериях испытаний.
Неравновозможностьисходов испытания становится препятствием к применению понятия элементарнойвероятности.
Иллюстрациейэтого может быть рассуждение типа парадокса Бертрана.
С целью упрощенияпредположим, что
мы имеем емкость,случайным образом наполненную концентратом сока и водой.
Объем концентратане меньше объема воды, и не больше двукратного объема воды. В силу принципа
безразличия илисимметрии, мы должны заключить, что с вероятностью 1/2 объем концентрата не
превосходитполуторного объема воды, и с той же вероятностью его объем лежит междуполуторным
и двукратнымобъемом воды. С другой стороны об отношении объемов воды и концентрата нам
известно тольколишь, что оно лежит между 1/2 и 1, и по тому же принципу, с вероятностью
1/2 находитсямежду 1/2 и 3/4, т.е. с вероятностью 1/2 соотношение объемов концентрата и воды
лежит между 4/3 и2, что является противоречием.
Открытие в 19веке феномена случайного Броуновского движения и радиоактивного распада
также вынуждалипересмотреть сложившуюся концепцию вероятности. Одним из выходов из
этой ситуации моглобыть определение вероятности, исходя из относительных частот.
В 1905 году Э.Борель в упрощенном виде доказал усиленный закон больших чисел, а именно,
что относительныечастоты стремятся к значению вероятности с вероятностью 1, или почти наверное.
В середине XIXвека Курно предложил свой взгляд на понятия причины и случайности
(см. cite{Ku}).Согласно Курно в мире есть ряды явлений, связанных причинно-следственной
зависимостью.Есть ряды явлений, связанные зависимостью, и независимые ряды явлений.
Независимые рядыявлений существуют по крайней мере потому,
что связь междуотдаленными явлениями (например взмахом крыльев бабочки в ПУНКе
и тайфуном втихом океане) невозможно рассчитать, и потому даже если связь есть, то
ни в чем заметномона проявляться не будет, так что на практике естественно предполагать
ее отсуствие.События, возникшие по причине комбинации явлений, принадлежащих независимым
рядам событий,называются случайными. Курно отграничивает понятие случайности
в определенном имсмысле от обыденного словоупотребления, когда
охотнее называютслучайными события, которые редки и удивительны.
Цельюстатистического анализа данных Курно считает исключение случайных
причин видимыхзакономерностей и изучение постоянных, закономерно действующих
причин во всемспектре наук о природе и обществе. Математическая вероятность есть
мера физическойвозможности осуществления события, которое может осуществляться или
не осуществлятьсяв зависимости от переменных сочетаний случайных причин. Оценивать
ее можнорассматривая относительные частоты осуществления события
при существенноодинаковых условиях. Курно вводит
термин физическойневозможности явления. Физическими невозможными считаются
явления с нулевойвероятностью, как например, равновесие конуса, поставленного на вершину.
Невозможностьфизическая отлична от невозможности математической или
метафизической.Есть единственная возможность того, что конус, поставленный на вершину
будет стоять, ноэта возможность не может оказаться в предпочтении
перед бесконечнымчислом других возможностей поставить конус на вершину, во всех из
которых онупадет.
В 1914 году Р.фон Мизес (cite{M}) предложил {it частотный} подход для аксиоматизации
теориивероятностей, положив в основу ту идею, что вероятностные концепции могут
применятьсятолько к так называемым коллективам, т.е. бесконечным упорядоченнымпоследовательностям,
обладающихнекоторым свойством случайности их образования. Пусть имеется некотороепространство
исходовэксперимента и предполагается возможность проведения бесконечного числаиспытаний,
приводящих кпоследовательности $x=(x_1,x_2,dots),$ где $x_n$ — результат исхода $n$-го
эксперимента. Длянекоторого подмножества $A$ в множестве исходов экспериментов можнорассматривать
относительнуючастоту появления $A$ в первых $n$ испытаниях. Последовательность $x$называется
коллективом, еслидля опытов $A$ существует предел относительных частот при $ntoinfty,$
который иназывается вероятностью события $A,$ и этот предел должен оставаться
неизменным, еслиотносительные частоты рассчитывать исходя из подпоследовательности
$x'=(x_1',x_2',dots),$полученной с помощью некоторой заранее оговариваемой системы (алгоритма)
правил выбораномеров членов первоначальной последовательности $x.$ Эвристически этот
принципназывается принципом иррегулярности, или принципом невозможности системы игры.
Основныевозражения против практической интерпретации концепции фон Мизеса заключались
в том, что вреальности мы имеем дело с конечными, а не бесконечными последовательностями.
Тем самым вреальности невозможно определить, существует ли предел относительных частот, и
меняется ли онпри переходе к подпоследовательности. Однако на практике было
замечено, чтоотносительные частоты многих массовых явлений имеют тенденцию к
устойчивости.Оставалась неясность в способе образования
подпоследовательностей,при котором предел должен был оставаться инвариантным. В самом деле, если
рассмотретьпоследовательность чередующихся нулей и единиц, то предел относительной
частоты нулейбудет 1/2. Однако можно выбрать подпоследовательность, состоящую только
из нулей, длякоторой предел будет равным 1. Отсюда можно заключить, что не существует
нетривиальныхколлективов с пределами относительных частот, инвариантными относительно всех
способовобразования подпоследовательностей. Ж. Вилль доказал, что теория Мизеса непозволяет доказать
закон повторногологарифма, что указывало на ограниченность потенциальных возможностей
теории, а потомубыло аргументом против ее широкого использования.
У С.Н. Бернштейнаосновным объектом аксиоматики было понятие случайного события, система
аксиом былаоснована на понятии качественного сравнения событий по степени их большего илименьшего
правдоподобия.Само же численное значение вероятности появлялось как некоторое производноепонятие.
Ввиду сложности синтерпретацией аксиом эта теория развития не получила. Впоследствии весьма
сходный подход,основанный на субъективных качественных суждениях, был развит известным итальянским
ученым Бруно деФинетти (см. раздел ref{subj}).
В {itклассической} теории вероятностей неопределяемыми являются понятия случайногособытия
и численногозначения его вероятности. Неопределяемыми они являются в том смысле,
что их свойстваописываются через аксиомы. Так как эти понятия являются наиболеефундаментальными,
то ихаксиоматизация обеспечила возможность глубокого развития теории, не зависимогоот возможных
приложений, и всилу этого обеспечила ее большую эвристическую мощность.
Рассматриваются 3объекта, обозначаемые
$Omega,$$Sigma$ и $P.$ $Omega$ является некоторым непустым множеством, и называется
опытом, а егоэлементы $omega$ возможными исходами опыта. $Sigma$ состоит
из некоторыхподмножеств $Omega,$ среди которых обязательно есть пустое множество и само
$Omega.$ Любоемножество из $Sigma$ называется событием, состоящим из всех принадлежащих
ему исходовопыта. Множества из совокупности $Sigma$ называются наблюдаемыми событиями,
в то время какподмножества $Omega,$ не входящие в $Sigma$ — ненаблюдаемыми событиями.
Мера $P,$определенная на всех множествах из совокупности $Sigma$ и принимающая значения
от 0 до 1, иназывается вероятностью. Мера пустого множества 0, мера $Omega$ — 1. Аналогами
меры являютсядлина на прямой, площадь на плоскости или объем в пространстве.
Вероятностьненаблюдаемых событий однозначно не определена. Если какое-то событиенаблюдаемо,
то ипротивоположное ему событие также должно быть наблюдаемо. Если наблюдаемы двасобытия,
то и событие,состоящее из исходов, принадлежащих хотя бы одному из этих двух событий, тоже
наблюдаемо. Сточки зрения математики этими рассуждениями на $Sigma$ накладывается
определенноеограничение — это семейство множеств должно образовывать алгебру. Вклассической
аксиоматикетребуется даже несколько больше, чтобы $Sigma$ было замкнуто относительносчетных
объединениймножеств.
В своей книге<<Основные понятия теории вероятностей>> (cite{Ko}) Колмогоров,описывая схему условий,
по которой теорияможет применяться к реальным экспериментам, во многом следует фон Мизесу.
Предполагается,что имеется некоторый комплекс условий, дающий возможность проведения
неограниченногоколичества экспериментов. Еще предполагается, что событию $A$ может быть
приписано число$P(A),$ такое что практически можно быть уверенным в том, что относительная
частота события$A$ в $n$ экспериментах при больших $n$ будет мало отличаться от $P(A).$
Если $P(A)$близко к 0, то практически можно быть уверенным, что в единичном экспериментесобытия
$A$ непроизойдет.
Определенноеотношение к проблеме малых вероятностей имеет и {it Петербургский
парадокс},известный с начала 18 века (см. cite{B}, cite{S}).
Речь идет обросании правильной монеты
до тех пор, покане выпадет решка; если это событие произойдет при $n$-ом
бросании, тоигрок получает из банка $2^n$ рублей. Вопрос в том, какова
должна быть платаза участие в игре, чтобы игра стала безобидной, т.е.
среднее значение(при проведении многих игр) чистого выигрыша равнялось 0.
Парадоксвозникает после подсчета полного математического ожидания выигрыша
игрока. Очевидно,что игрок может продать свои права на выигрыш на $k$-ом шаге
различным лицам,и справедливая цена этого есть вероятность окончания игры на
$k$-ом шаге$1/2^k,$ умноженная на получаемый при этом выигрыш $2^k.$
Таким образомполное математическое ожидание представляет собой сумму неограниченного
числа единиц,т.е. бесконечно. Таким образом игра выгодна при любой плате
за участие в ней.С другой стороны разумный и имеющий опыт в игре человек
не согласитсязаплатить и 100 рублей за участие в этой игре. Есть несколько объяснений
этого парадокса.Объяснение, предложенное Бюффоном и Крамером, вводит в расчет
количество денег,которыми располагает банк. Объяснение, предложенное Феллером
(cite{F})привязывает вступительный взнос к количеству игр, в котором готов
участвоватьигрок. В объяснении, предложенным Э.~Борелем, делается замечание о том,
что права навыигрыш на 1000 и последующих шагах будет не продать из-за маленькой
вероятностиастрономического выигрыша. <<Чтобы иметь сколько-нибудь значительныешансы
получить этотвыигрыш, необходимо было бы бросать монету каждую секунду в течение
миллиардов вековв каждом кубическом сантиметре вселенной.>> И выплата выигрыша была бы
проблематичной — необходим бы был объем золота размером с шар с центром в Солнце и радиусом,
равным расстояниюдо альфы Центавра.
К обоснованиюпрактического применения теории вероятностей Колмогоров вернулся позднее,
предложив дляразрешения проблемы бесконечного числа экспериментов два подхода:
аппроксимативнойслучайности и алгоритмической сложности. При
рассмотренииотносительных частот появления события в ряду экспериментов, достаточно
ограничиватьсяпоследовательностями из нулей и единиц, так чтобы единица соответствовала
реальномуосуществлению события в результате эксперимента, а ноль обратной ситуации.
В концепцииаппроксимативной
случайностирассматриваются последовательности нулей и единиц длины $N$ —
$(x_1,x_2,dots,x_N).$ Утверждается, что эта последовательность является
$(n,e)$-случайнойдля $nle N$ по отношению к конечному набору $Ф$ допустимых
алгоритмов, еслисуществует число $p,$ такое что для любой последовательности
$(x_1',x_2',dots,x_m')$ с $nle mle N,$ полученной из $(x_1,x_2,dots, x_N)$
с помощьюнекоторого алгоритма $A$ из набора $Ф,$ относительная частота
появления единицыотличается от $p$ не более чем на $e$. Алгоритмы, приводящие
кпоследовательностям длины меньше $n,$ не рассматриваются. Доказывается,
что если длязаданных $n$ и $0<e<1$ число допустимых алгоритмов не слишком
велико, то длякаждого $0<p<1$ и любого $Nge n$ можно найти последовательность
$(x_1,x_2,dots,x_N),$ обладающую свойством $(n,e)$ аппроксимативной
случайности.
Как и в случае сколлективами фон Мизеса, здесь присутствует неопределенность,
связанная сописанием и отбором допустимых алгоритмов. При большом классе алгоритмов
множествоаппроксимативно случайных последовательностей может оказаться пустым, также
желательно, чтобыдопустимые алгоритмы были бы просто описуемы. В теории вероятностей
сложилосьпредставление о том, что типичные случайные последовательности устроеныдостаточно
нерегулярно, ипотому сложно. Это представление подкреплено различными утверждениями
теории. Поэтомуесли стремиться к тому, чтобы алгоритмическое определение случайности
последовательностейбыло близко к вероятностному представлению о случайных последовательностях,
то алгоритмы из$Ф$ должны позволять устранять нетипичные, просто устроенныепоследовательности,
и объявлятьслучайными достаточно нерегулярно или сложно устроенные последовательности.
Это приводит ковторому подходу Колмогорова к понятию случайности, опирающемуся не на простоту
алгоритмов, а насложность самих последовательностей. Колмогоров вводит числовую характеристику
сложностипоследовательности по отношению к данному алгоритму $A,$ характеризующуюстепень
ееиррегулярности, как необходимую для получения ее на выходе $A$ длину наименьшей
последовательности,которую надо подать на вход $A.$ Оказывается, что алгоритмическая сложность
последовательностиможет быть также корректно определена относительно классов алгоритмов $Ф.$
Алгоритмическийподход объявляет случайными те последовательности $x,$ сложность которых
являетсямаксимальной (приблизительно равняется длине последовательности).
Это положилоначало изучению применимости вероятностных законов к алгоритмически
случайнымпоследовательностям, открывая тем самым возможности применения результатов иметодов
теориивероятностей в тех областях, которые не имеют отношения к понятиям случая ивероятности
в прямом смысле.
Оказалось, чтопрактически значимые выводы теории вероятностей обосновываются
как следствия изгипотез о предельной сложности изучаемых явлений. Таким образом
алгоритмическаяконцепция в теории вероятностей может согласовать интуитивное
представление ослучайности как отсутствии закономерности с пониманием случайного,
лежащим в основеприменения классической теории вероятностей.
section{Осубъективной вероятности}label{subj}
Курно такжерассматривает понятие {it философской} вероятности. Тогда как математическая
вероятность какмера возможности осуществления есть свойство порядка вещей в мире и не
зависит отисследователя, философская возникает из интуиции, на основании внутренней
уверенности, а нематематического расчета. Чувство таких вероятностей присуще всем
разумным людям,оно опирается на уверенность в том, что законы природы просты, и что
явления природысвязаны в рациональные последовательности. Часто ею руководствуются философы
и математики припроведении своих изысканий. Различие
между философскойи математической вероятностью можно показать на примере случайной
выборки 4 чиселот 1 до 10000. Если оказалось, что числа подчиняются простому закону,
то мы склонныдумать, что их последовательность была вовсе не случайной, и чем сложнее
закон, которомуони подчиняются, тем более мы склонны рассматривать их как порожденные
случаем, илисовпадением взаимонезависимых причин, но Курно затрудняется с тем,
как определитьсложность последовательности.
Образованныйчеловек признает достоверными следствия, полученные из постулатов Евклида, или
иныематематические результаты, несмотря на то, что при их доказательстве ипроверках могли
быть допущеныошибки, и математическая вероятность совершения ошибки на одном и том же месте
каждым, ктодоказывал или проверял утверждения, ненулевая.
{itСубъективное} понятие вероятности интерпретирует ее как степень разумной веры.Данное
понятие зависитот человека, делающего высказывание о субъективной
вероятности — какот его умственных способностей, так и знаний. Поскольку знания подвержены
изменению, тосубъективные вероятностные суждения также меняются в зависимости от них.Численное
измерение степениверы может быть основано на методе пари. Например, если заключается
пари о событии,что «завтра будет дождь», то степень веры в это событие для субъекта
оцениваетсянаивысшей ставкой, которую он предлагает в пари. Если ставки былисоответственно 5:2,
то вероятностьбудет равна 5/7.
В субъективнойтеории вероятностей важную роль играет понятие {it голландской книги} против
субъекта. Онасостоит из пари, все из которых приемлемы для субъекта, но осуществление
которыхгарантирует субъекту чистый проигрыш. Доказано, что
против субъектаможно составить голландскую книгу (и тем самым обобрать его до нитки) тогда
и только тогда,когда степени веры
не подчиняютсязаконам классической теории вероятностей.
Степени верыназываются разумными, если они
подчиняютсязаконам классичекой теории вероятностей.
В субъективномпонятии вероятности заложен подводный камень, потому как в реальности
степени верыразумными быть не могут, поскольку субъект должен приписывать значениевероятности
1 всем логическиистинным высказываниям, и вероятность 0 всем ложным высказываниям.
По принципуголландской книги для повторяющихся случайных явлений
значенияобъективной вероятности должны совпадать со значениями
субъективнойвероятности. Трудно представить, чтобы такое было возможно.
Поэтомупредставляется разумным ограничить сферу явлений, к которым применимо понятие
субъективнойвероятности теми, к которым неприменимо
понятиеобъективной вероятности, за исключением событий, очевидно невозможных
или очевиднонеобходимых при определенных условиях. Для каждого события, в котором
участием волисубъекта можно пренебречь, очевидно найдется лучше
осведомленныйчеловек, который сможет составить голландскую книгу против субъекта.
Поэтому авторреферата считает, что численное понятие субъективной вероятности может
быть интереснолишь в психологических аспектах.
Б. де Финнетисчитает субъективную
вероятностьединственно возможной, лежащей в основе всех других интерпретаций.
Автором рефератабыло только что показано, как пользуясь методом, используемым
для выяснениячисленного значения субъективной вероятности,
указать напротиворечивость такого подхода с попыткой удовлетворения
теориейклассическим законам.
Существуют другиеподходы к субъективной вероятности, которые не требуют
полноговыполнения законов классической теории, но автору реферата не известен
ни один из них,который получил признание близкое к тому, которой обладает классическая теория.
Более того теориясубъективных вероятностей не может быть сфальсифицирована
никаким другимспособом, кроме как выяснением несоответствия между следствиями
присвоениясубъектом событий их численной вероятности.
Может ли вообщесубъективная вероятность быть полезной для науки, изучающей
объективныеявления? Если известна объективная
вероятность, томнение кого-либо ее изменить не сможет и значения оно не имеет. Еслиобъективная
вероятностьнеизвестна, например, по причине невозможности подсчета относительных частот,
то применяяоднородную процедуру числовой характеризации качественного мнения
многих экспертов,можно с успехом ее оценивать, как это было проделано для оценки энтропии
и информационнойизбыточности человеческих языков (см. раздел~ref{info}).
Если понятиеобъективной вероятности к случайному явлению неприменимо
(случайноеявление не может быть воспроизведено произвольное число раз в исследуемом
аспекте), то,скорее всего, данное явление не может являться предметом
научногоисследования, так как результаты будет невозможно проверить или опровергнуть.
section{Условнаявероятность, независимость и теорема Байеса}
Кроме простыхпричинно-следственных связей в виде причины и ее необходимого результата
было подмеченосуществование статистических закономерностей, когда одна
серия событийвлияет на частоту другой серии событий. Например, известно
что выздоровлениеот болезни может наступать как при приеме вещества, считающегося
неспособнымоказать лечебное действие, так и при приеме лекарства. В то же время
критерийэффективности лекарства определяется по тому, существенно ли выше
относительнаячастота выздоровления среди больных, принимающих лекарство,
чем та же частотасреди принимающих эрзац, выглядящий как лекарство, причем
ни пациентам, ниврачам для исключения посторонних эффектов
не известно, кточто принимает. Существенное увеличение вероятности выздоровления
больного приусловии приема лекарства считается критерием его эффективности, и
позволяет сделатьвывод о том, что прием лекарства статистически является причиной
выздоровлениябольных.
Условнаявероятность события $A$ при условии события $B$ обозначается
$P(A|B)$ и определяется как $P(Atext{ и }B)/P(B).$
Отвлекаясь отсобытий экстремальных вероятностей, можно попытаться определить,
что событие $B$является причиной $A,$ если $P(A|B)>P(A|text{ не }B),$ что
будет равносильно$P(Atext{ и }B)>P(A)P(B)$ или $P(A|B)>P(A).$
В случае, когдаодно из событий необходимо влечет другое,
неравенствовыполнено авоматически.
В теориивероятностей события $A$ и $B$ называются независимыми тогда
и только тогда,когда $P(Atext{ и }B)=P(A)P(B).$
Здесь можносделать замечание о симметричности формулы относительно
событий $A$ и$B,$ так как часто следствие не считается причиной причины.
Поэтому привыполнении вышеупомянутого неравенства нельзя сказать,
что $B$ явилосьпричиной $A.$
Если какое-то изсобытий $A$ и $B$ произошло раньше, то зачастую его и
считают причиной,но это не всегда можно однозначно определить.
Кроме того, можетбыть так, что неравенство выполнено,
но событиянаходятся между собой в опосредованной связи, например являясь следствиями
третьего события.Выяснению того, как определить событие-причину путем анализа
условныхвероятностей посвящено много трудов, и вопрос о возможности
этого являетсяоткрытым. Однозначно лишь то, что если $P(Atext{ и }B)ne P(A)P(B),$
то между $A$ и$B$ есть некоторая связь, например, предел относительной частоты
осуществленияодного из событий меняется, когда мы начинаем ограничиваться
темиэкспериментами, где произошли оба события.
Стоит такжезаметить, что аксиоматическое понятие независимости шире интуитивно
понимаемогопонятия практической независимости. Ведь не исключено, что
соответствующееравенство может быть выполнено и для существенно связанных
между собойсобытий. Но это лишь расширяет
областьприменимости теорем, использующих допущение о независимости,
поскольку онибудут применимы и там, где независимость постулируется
в силу реальныхсоображений, и там, где независимость выводится
в силу своеготеоретического определения. Алгоритмический
подход к теориивероятностей, проясняющий понятие случайности,
также даетвозможность определения независимости, более
близкую нашейинтуиции.
Теорема Байеса обусловных вероятностях (середина XVIII в.)
породила в XXвеке байесовскую
теориюподтверждения гипотез. Теорема заключается в формуле,
позволяющейменять местами событие и условие
(или гипотезу):$P(B|A)=P(A|B)P(B)/P(A),$
она такжераспространяется на случай нескольких гипотез.
Байесовскаятеория подтверждения гипотез утерждает, что событие $B$
подтверждаетгипотезу $A,$ если $P(A|B)>P(A),$ ине подтверждает ее в случае
противоположногознака неравенства. Если гипотеза $A$ логически включает событие $B$,
то $B$подтверждает $A,$ а не $B$ опровергает $A.$ Если две гипотезы логически
эквивалентны, тоони имеют те же вероятности, и любое событие будет подтверждать
их одинаково.Вероятности гипотез изменяются под влиянием наблюдения событий
по формулеБайеса.
Но при примененииэтой теории на практике встают вопросы.
Один из нихзаключается в первоначальном распределении вероятностей.
Однако принекоторых условиях было доказано, что при любом первоначальном
распределениивероятностей, при наблюдении большого количества одних и тех же явлений
вероятностигипотез выравниваются.
Наблюдениесобытия $B$ предполагает, что его вероятности начинают
приписыватьзначение 1. Но приписывать
$B$ вероятность 1может быть не совсем правомерно, так как известны случаи,
когда ученыеотвергали то, что наблюдалось в прошлом. Предположим, что
существуетгипотеза $A,$ и известно что некогда произошло событие $B$. Вдругобнаруживается,
что $A$ влечет$B.$ Это должно увеличить степень подтверждения $A,$ но теория
не объясняет, какэто может произойти. Предположим, что в первом случае теория $A$
разработана стем, чтобы из нее следовало $B.$ Вовтором случае предположим, что
во времяразработки теории $A$ о $B$ не было известно, но после разработки $A$ теория
предсказала $B$,и путем опытной проверки было выяснено, что $B$ имеет место. Кажется
правильнымсчитать, что во втором случае имеется большая степень подтверждения теории
$A$ событием $B$,чем в первом, несмотря на то, что различий в вероятностях между
двумя случаямибыть не должно.
section{Теориявероятностей и теория информации}label{info}
Из классическойтеории вероятностей в первой половине XX века возникла теория информации, что
сразу жепозволило получить важные результаты, используя мощный аппарат теориивероятностей.
Информация можетуменьшать неопределенность. Ситуация неопределенности имеет место
всюду, где естьслучайность. Так, например, до проведения опыта с $k$ равновозможными
исходами, имеетсянеопределенность относительно того, какой из исходов осуществится.
После проведенияопыта неопределенность устранена.
Поэтомуинформацию можно рассматривать как уменьшение
неопределенности.
Понятиенеопределенности можно вывести из понятия неожиданности события,
которое в своюочередь определяется логарифмом числа, обратного вероятности, -
чем менеевероятно событие, тем оно более неожиданно. Неопределенность опыта
задается среднимвзвешенным значением неожиданностей его исходов, с весом неожиданности
исхода, равнымего вероятности. Из всех опытов с $k$ исходами самая большая неопределенность,
или энтропия,оказывается там, где все исходы равновозможны. Из закона больших чисел
следует, что припроведении опыта с неравновозможными исходами достаточно большое количество
раз, сколь угодноблизкая к единице доля неопределенности составного опыта будет приходиться
на исходы,являющиеся почти равновозможными. Аналогично понятию условной вероятностивводится
понятие условнойэнтропии. Информация об опыте $beta,$ содержащаяся в опыте $alpha,$
определяется какразность между энтропией $beta$ и энтропией $beta$ при условии $alpha.$
Теория информациипредлагает пути решения некоторых задач. Если необходимо что-либо выяснить
в среднемнаиболее эффективным способом,
то необходимоставить опыт, направленный на выяснение необходимой информации, с максимально
возможнойэнтропией и далее необходимо ставить <<направленные>> опыты смаксимальной энтропией
относительнопредыдущих. Примером может служить алгоритм бинарного поиска по алфавитномукаталогу,
в которомпредполагаемое ме