prosdo.ru
добавить свой файл
1 2 ... 4 5



СОДЕРЖАНИЕ






стр.

1. Вероятностные модели в задачах теории информации

1.1. Случайные события. Вероятность

1.2. Дискретная и непрерывная случайные величины

1.3. Задачи

1.4. Контрольные вопросы

4

4

7

12

14

2. Информационная мера Шеннона

2.1. Количество информации и избыточность

2.2. Энтропия непрерывных сообщений

2.3. Задачи

2.4. Контрольные вопросы

16

16

17

18

20

3. Условная энтропия и взаимная информация

3.1. Дискретные системы передачи информации

3.2. Непрерывные системы передачи информации

3.3. Задачи

3.4. Контрольные вопросы

21

21

22

24

25

Список используемых источников

Примечание 1. Значение функции

Примечание 2. Указания к решению задач

26

27

28









  1. ВЕРОЯТНОСТНЫЕ МОДЕЛИ В ЗАДАЧАХ

ТЕОРИИ ИНФОРМАЦИИ
1.1. Случайные события. Вероятность

Событие - всякий факт, который в результате опыта может произойти или не произойти. Вероятность события - это число, которое является мерой возможности реализации события. Вероятность P(A) случайного события A заключена в пределах


Достоверное событие U такое, что

Невозможное событие V такое, что

Суммой или объединением событий называется событие A, которое происходит тогда и только тогда, когда происходит, по крайней мере, одно из этих событий. Сумма обозначается



Произведением или пересечением событий называется такое событие A, которое происходит тогда и только тогда, когда происходят события вместе. Произведение обозначается



События образуют полную группу событий, если в результате опыта появляется хотя бы одно из них:



События A и B называются несовместными, если их совместное появление невозможно:

Два события называются противоположными, если они несовместны и образуют полную группу. Событие, противоположное событию A, обозначается .


Когда рассматриваемый опыт имеет N равновозможных исходов, которые несовместны и составляют полную группу, вероятность события А можно рассчитать по формуле:



где m - число исходов, которые приводят к наступлению события A.

Частотой или статистической вероятностью P*(A) события A в данной серии испытаний называется отношение числа опытов n, в которых появилось событие, к общему числу N произведенных опытов:



По теореме Бернулли при большом числе опытов частота сходится по вероятности к вероятности события.

Расчеты вероятности сложного события A через вероятности более простых событий базируются на использовании основных теорем теории вероятностей.

Теорема сложения вероятностей. Вероятность суммы двух событий равна сумме вероятностей этих событий минус вероятность их произведения:



Теорема умножения вероятностей. Вероятность совместного появления двух событий равна произведению вероятности одного из них на условную вероятность другого при условии, что первое имело место:



где - условная вероятность события B, т.е. вероятность события B, вычисленная в предположении, что имело место событие A.

Во многих ситуациях событие A может появиться лишь как случайное следствие одного из несовместных событий образующих полную группу. В этих случаях безусловная вероятность P(A) события A при известных вероятностях и определяется по формуле полной вероятности:




При этих же данных можно найти значения вероятностей событий если предположить, что событие A уже произошло. Задачи такого типа решаются с помощью формулы Байеса:



Рассмотрим несколько примеров.

Пример 1. В последовательности из N двоичных символов имеется M единиц. При передаче данной последовательности сохраняется n символов, остальные теряются. Какова вероятность того, что среди них будет не более m единиц?

Решение. Пусть A - событие, состоящее в том, что среди двоичных символов будет не более m единиц. Событие A произойдет тогда, когда среди n двоичных символов не будет ни одной единицы (событие ) или одна единица (событие ), или две (событие ), . . ., или окажется m единиц (событие ), т.е.


Вероятность события можно рассчитать следующим образом. Общее число возможных выборов n символов из N равно числу сочетаний из N по n, т.е. . Благоприятствующими событию являются случаи, когда из общего числа M единиц сохранено ровно K, что возможно в случаях. На каждый из этих случаев в сохраненной последовательности символов может быть различных комбинаций () нулей. Общее число случаев, благоприятствующих событию , равно . Поэтому




По теореме сложения



Пример 2. По каналу связи с помехами передается одна из двух команд управления управления в виде кодовых комбинаций 11111 и 00000, вероятности передачи этих команд равны соответственно 0,7 и 0,3. Вероятность правильного приема каждого из символов 0 и 1 равна 0,6. Символы искажаются помехами независимо друг от друга. На выходе канала имеем кодовую комбинацию 10110. Оценить, какая команда была передана.

Решение. Пусть A - событие, состоящее в приеме комбинации 10110. Это событие может произойти только в совокупности с одним из событий: - передавалась команда 11111, - передавалась команда 00000. При этом

Условная вероятность приема комбинации 10110 при условии, что передавалась команда 11111 равна





Аналогично

По формуле Байеса



Сравнивая найденные результаты, заключаем, что более вероятна передача команды 11111.
1.2. Дискретная и непрерывная случайные величины

Случайной величиной называется такая переменная величина, которая в результате опыта может принимать то или иное заранее неизвестное значение , из известного множества значений . Различают два основных типа случайных величин: дискретные и непрерывные.

Дискретная случайная величина может принимать конечное или бесконечное множество значений , которые можно пронумеровать

Полной статистической характеристикой случайной величины является закон распределения вероятностей. В случае дискретной величины под ним понимается соотношение, устанавливающее зависимость между возможными значениями дискретной случайной величины и их вероятностями при этом

Закон распределения дискретной случайной величины можно задать в различных формах: табличной, графической, аналитической. Универсальной характеристикой, одинаково пригодной для дискретных и для непрерывных одномерных случайных величин, является функция распределения вероятностей (интегральная функция распределения), определяющая вероятность того, что случайная величина примет значение меньше некоторого некоторого числа :




Функция распределения обладает следующими свойствами:

1.

2.

3. неубывающая функция, т.е. при

4. .

Функция распределения дискретной случайной величины представляет собой ступенчатую функцию со скачками в точках

Во многих ситуациях невозможно определить закон распределения случайной величины, часто в этом нет необходимости. В таких ситуациях рассматривают отдельные параметры (числовые характеристики) этого закона. Наиболее важными числовыми характеристиками случайной величины с множеством значений и законом распределения вероятностей

являются:

- математическое ожидание;

- средний квадрат;

- дисперсия.

Возможные значения непрерывных случайных величин не могут быть заранее перечислены и непрерывно заполняют некоторый промежуток или даже всю ось. Функция распределения непрерывной случайной величины представляет собой непрерывную функцию.


Часто предполагают, что функции распределения непрерывных случайных величин дифференцируемы во всей области возможных значений случайных величин. При таком предположении непрерывная случайная величина чаще своего описывается плотностью распределения вероятности , которая иногда называется дифференциальным законом распределения или дифференциальной функцией распределения. Плотность вероятности определяется как производная функции распределения:




следующая страница >>