1 / 30

КОЛИЧЕСТВО ИНФОРМАЦИИ

КОЛИЧЕСТВО ИНФОРМАЦИИ. Возможные события. Произошедшее событие. КОЛИЧЕСТВО ИНФОРМАЦИИ, КАК МЕРА УМЕНЬШЕНИЯ НЕОПРЕДЕЛЁННОСТИ ЗНАНИЯ. Пусть у нас имеется монета, которую мы бросаем на ровную поверхность.

george-allison
Télécharger la présentation

КОЛИЧЕСТВО ИНФОРМАЦИИ

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. КОЛИЧЕСТВО ИНФОРМАЦИИ

  2. Возможные события Произошедшее событие КОЛИЧЕСТВО ИНФОРМАЦИИ, КАК МЕРА УМЕНЬШЕНИЯ НЕОПРЕДЕЛЁННОСТИ ЗНАНИЯ Пусть у нас имеется монета, которую мы бросаем на ровную поверхность. С равной вероятностью произойдет одно из двух возможных событий – монета окажется в одном из двух положений: «орёл» или «решка». События равновероятны, если при возрастающем числе опытов количества выпадений «орла» и «решки» постепенно сближаются. Перед броском существует неопределённость нашего знания (возможны два события), а после броска наступает полная определённость. Неопределённость нашего знания уменьшается в два раза, так как из двух возможных равновероятностных событий реализовалось одно. Определение. Количество информации, которое содержится в сообщении о том, что произошло одно из двух равновероятных событий, принято за единицу информации и называется 1 бит.

  3. Существуют два подхода к измерению количества информации: • вероятностный • алфавитный. Вероятностный подход в свою очередь рассматривает: • Равновероятные события • Не равновероятные события Пример равновероятного события – бросание монеты. Пример не равновероятного события– в коробке лежат 2 белых карандаша и 4 черных.

  4. РАВНОВЕРОЯТНЫЕ СОБЫТИЯ:КОЛИЧЕСТВО ВОЗМОЖНЫХ СОБЫТИЙ И КОЛИЧЕСТВО ИНФОРМАЦИИ Количество iинформации, содержащееся в сообщении о том, что произошло одно из N равновероятностных событий, определяется из решения показательного уравнения 2i = N Если известно количество информацииi, то количество возможных событий Nлегко определить. Например,еслиi= 5, то N= 2i= 32. Если известно количество возможных событий N, то для определения количества информации нужно решить показательное уравнение относительно i.

  5. Степени двойки

  6. Задачи: При бросании равносторонней четырехгранной пирамиды существуют 4 равновероятных события. Какое количество информации получит человек при выпадении одной из граней? При бросании шестигранного игрального кубика существует 6 равновероятных событий. Какое количество информации получит человек при выпадении одной из граней?

  7. Ответ 2i = N N=4 I = 2 Ответ: 2 бита информации 2i = N N=6I = 3 Ответ: 2 бита информации

  8. Задача. В рулетке общее количество лунок равно 128. Какое количество информации мы получим в зрительном сообщении об остановке шарика в одной из лунок. Дано: N = 128 i - ?

  9. Задача. В рулетке общее количество лунок равно 128. Какое количество информации мы получим в зрительном сообщении об остановке шарика в одной из лунок. Решение: Дано: 2i = N 2i = 128 27 = 128 i = 7бит N = 128 i - ? Ответ: i = 7 бит

  10. ОБРАТНАЯ ЗАДАЧА 2i = N Если известно количество информацииi, то количество возможных событий Nлегко определить. Например,задача: Сколько карт в колоде, если при вытаскивании из колоды карт короля пик человек получил 5 бит информации Решение: i= 5, то N= 2i= 32. Ответ: 32 карты

  11. Задачи: • Задача 1. • Какой объем информации вы получаете в ответ на вопрос «Вы выходите на следующей остановке?». • Задача 2. • Поезд находится на одном из 8 путей. Сколько бит информации содержит сообщение о том, что поезд находится на четвертом пути? • Задача 3. • Вы подошли к светофору, когда горел желтый свет. После этого загорелся зеленый. Какой объем информации вы при этом получили?

  12. Ответы: • Задача 1. • Человек может ответить только «Да» или «Нет», т.е. выбрать один из двух возможных ответов. Поэтому N=2 значит I=1 бит, т.к. 2=21. • Ответ: 1 бит.  • Задача 2. • Из восьми путей нужно выбрать один. Поэтому N=8, а I=3, т.к. 8=23. (Номер пути не влияет на количество информации. ). • Ответ: 8=23 – 3 бита. • Задача 3. • Из двух сигналов красного и зеленого нужно выбрать один – зеленый. поэтому N=2, а I=1 бит. • Ответ: 1 бит. Все задачи из книги О.Л.Соколовой «Поурочные разработки по информатике»

  13. Задачи: • Задача 4. • При угадывании целого числа в некотором диапазоне было получено 8 бит информации. Сколько чисел содержит данный диапазон. • Задача 5. • Сообщение, Петя живет во втором подъезде, несет 3 бита информации. Сколько подъездов в доме? • Задача 6. • Сколько информации содержит сообщение, уменьшающее неопределенность знаний в 8 раз?

  14. Ответы: • Задача4. • N=28=256. • Ответ: 256 чисел. • Задача 5. • Поскольку номера подъездов не повторяются, то все события равновероятны. Следовательно, N=23=8. • Ответ:8 подъездов • Задача 6. • Так как неопределенность знаний уменьшается в 8 раз, значит, существовало 8 равновероятных событий. Сообщение о том, что произошло одно из них несет в себе 3 бита информации (8=23). • Ответ: 3 бита.

  15. Когда не можем найти целую степень двойки, то берем ближайшую большую! Задача 2. Поезд находится на одном из 10 путей. Сколько бит информации содержит сообщение о том, что поезд находится на четвертом пути? Из десяти путей нужно выбрать один. Поэтому N=10, а I=4, т.к. 23=.8 24=.16 Ответ: 4 бита

  16. Решение задач, в условии которых события не равновероятны (1/p) =2i P=k/N где I – количество информации; P – вероятность события; N – общее число возможных исходов какого-то процесса; K - величина, показывающая, сколько раз произошло интересующее нас событие.

  17. Пример: Задача . • В корзине лежат 8 черных шаров и 24 белых. Сколько информации несет сообщение о том, что достали черный шар? • Дано: Кч=8, Кб=24. • Найти: Iч – ? • Решение: • N=Кч+Кб=8+24=32 – всего шаров • Pч=Кч/N=8/32 = 1/4 -- вероятность того, что достанут черный шар (1/p) =2i (1/(1/4))= 2i. 4= 2iI=2

  18. Пример: • В коробке лежит 64 цветных карандаша. Сообщение о том, что достали белый карандаш, несет 4 бита информации. Сколько белых карандашей было в коробке? • Дано:N=64; Iб=4. • Найти: Кб – ? • Решение: (1/ Pб) =2i= 24 • Pб=1/16 – вероятность доставания белого карандаша • Pб=Kб/N; Кб=Pб/N=1/16/64=4 белых карандаша • Ответ:4 белых карандаша

  19. Задача: • В классе 30 человек. За контрольную по математике получено 15 пятерок, 6 четверок, 8 троек и 1 двойка. Какое количество информации в сообщении, что Андреев получил пятерку?

  20. Решение: • В классе 30 человек. За контрольную по математике получено 15 пятерок, 6 четверок, 8 троек и 1 двойка. Какое количество информации в сообщении, что Андреев получил пятерку? • Дано:N=30; K5=15; K4=6; K3=8; K2=1 • Найти:I4 – ? • Решение: • P5=15/30=1/2 – вероятность получения оценки «5» • (1/1/2)= 2i 2= 2iI=1 • Ответ: 1 бит

  21. Задача: • Известно, что в ящике лежат 20 шаров. Из них – 10 синих, 5 – зеленых, 4 – желтых и 1 – красный. Какое количество информации несут сообщения о том, что из ящика случайным образом достали синий шар, зеленый шар, желтый шар и красный шар? • Дано: Кс=10, Кз=5, Кж=4, Кк=1, N=20 • Найти: Iс, Iз, Iж, Iк

  22. Решение: • Pc=Kc/N = 10/20=1/2 – вероятность доставания синего шара • Pз=Kз/N = 5/20=1/4 – вероятность доставания зеленого шара • Pж=Kж/N = 4/20=1/5 – вероятность доставания желтого шара • Pк=Kк/N = 1/20=1/20 – вероятность доставания красного шара • Iс=log2(1/1/2)=log22=1 бит • I3=log2(1/1/4)=log24=2 бита • Iж=log2(1/1/5)=log25=2,236=3 бита • Iк=log2(1/1/20)=log220=4,47213=5 бит • Ответ: Iс=1 бит; Iз=2 бита; Iж=3 бита; Iк=5 бит

  23. Задача: • Задача 23. • В ящике лежат белые и черные перчатки. Среди них – две пары черных. сообщение о том, что из ящика достали пару черных перчаток несет 4 бита информации. Сколько пар белых перчаток в ящике? • Дано: Кч=2; Iч=4 бита • Найти: Кб – ?

  24. Решение: • 1/Pч= 2i= 24 • Pч=1/16 – вероятность доставания черных перчаток • Pч=Кч/N • N= Кч/Pч=2/(1/16)=32 – всего перчаток в ящике • Кб=N - Кч=32-2=30 • Ответ: 30 пар белых перчаток

  25. АЛФАВИТНЫЙ ПОДХОД К ИЗМЕРЕНИЮ ИНФОРМАЦИИ • Второй способ измерения информации называется алфавитный. • При алфавитно-цифровом представлении информации любое слово, являющееся последовательностью символов, становится информацией. Число символов в слове называется его длиной. • Определение. Полный набор символов, который может встретиться в кодируемой последовательности, называется алфавитом, а количество символов в алфавите – предельной мощностью алфавита.

  26. ФОРМУЛА нахождения количества информации при алфавитном подходе N=2m, где N – мощность алфавита, а m – количество информации, необходимое для кодирования 1 символа. Если в сообщении Kсимволов, то количество информации, которое несет сообщение – i=K х m

  27. Пример: • Для передачи текста размером 50 символов потребовалось 300 бит. Какова предельная мощность алфавита? (Сколько символов в алфавите?) • Решение: • На один символ приходится 300 / 50 =6 бит. • Мощность алфавита составит 26=64 символа. • Ответ:64 символа

  28. Пример: • Задача 2. • Найти объем текста, записанного на языке, алфавит которого содержит 128 символов, а в сообщении 2000 символов. • Решение: • N=2m 128 =2m m=7 бит – объем одного символа • Iс=m*K=7*2000=14000 бит – объем сообщения • Ответ:14000 бит

  29. Задача: • Вожди племени обменялись письмами. Письмо Тумбо содержало 50 символов. Юмбо – 30 символов. Количество информации, переданное в письме Тумбо содержало 250 бит информации. А письмо Юмбо на 50 бит больше. Сколько символов в алфавитах племен Тумбо и Юмбо?

  30. Решение: • 1. 1 символ Тумбо несет 250/50=5бит информации. • 2. 1 символ Юмбо несет (250+50)/30=10бит информации. • 3. Nт=2m • mт=5 Nт=25 =32 • 4. Nю=2m • mю=10 Nт=210 =1024

More Related