Za začetek • Podatek ≠ informacija • Podatek je zapis – nosilec informacije • Podatek je informacija, ko nam kaj pove • Informacija je vedno povezana z zmanjšanjem nedoločenosti • Bit: množina informacije, ki jo dobimi kot odgovor na vprašanje, na katerega sta možna dva enakoverjetna odgovora • Bit: včasih enota za množino informacije, včasih binarni simbol
Množina informacije • Hartley (1927): objektivno merjenje informacijske vsebine S: signal N: ševilo možnih različnih enakoverjetnih stanj (vrednosti) signala Več ko ima signal stanj, več informacije lahko vsebuje (nosi) signal. Na primer: N=2 (binarni signal); log 2 = 1 bit informacije (iz enega opazovanja). N=256 (večvrednosti oz. večnivojski signal); log 256 = 8 bitov informacije.
Množina informacije • Iz G zaporednih opazovanj – elementov signala dobimo G-krat toliko informacije kot iz enega opazovanja
Množina informacije • N = 2; G = 10; I = 10 x 1 = 10 • Element signala – signalni element – zavzame dano število možnih stanj: • (napetostnih) nivojev • frekvenc • faz • kombinacij le-teh • N = 4; G = 5; I = 5 x 2 = 10
× Množina informacije, entropija • E. C. Shannon (1948): tvorec sodobne teorije informacij • Signal S = { s1, s2, ... , si, ... , sN } • Verjetnosti stanj P = { p1, p2, ... , pi, ... , pN } • H(S) : entropija signala
Nedoločenost Informacija H(S) I(S) = 0 H(S) = 0 I(S) = H(S) “opazovanje” – prenos signala Množina informacije, entropija • Entropija je merilo za nedoločenost signala (dvom v njegovo stanje) • Entropija je povprečna nedoločenost na stanje • Informacija nastane kot posledica zmanjšanja nedoločenosti • Predno sprejmemo signal, ne vemo v kakšnem stanju je • Njegova nedoločenost je zato H(S) • Ko sprejmemo signal, se njegova nedoločenost zmanjša • Če ga popolnoma spoznamo, dobimo I(S) = H(S) informacije • Seveda se med prenosom nekaj informacije lahko tudi izgubi, I(S) < H(S)
Prevajana informacija I(X,Y) = H(Y) – H(Y/X) = H(X) – H(X/Y) Nedoločenost Informacija H(X) I(X,Y) = 0 H(X/Y) I(X,Y) = H(X) – H(X/Y) “opazovanje Y”
8 Prevajana informacija H(Y)=H(7/16,9/16) H(X) = H(1/2, 1/2) H(Y/X=x1) = H(p(y1/x1), p(y2/x1) = H(1/2, 1/2) H(Y/X=x2) = H(p(y1/x1), p(y2/x1) = H(3/8, 5/8) H(Y/X) = p(x1) H(Y/X=x1) + p(x2) H(Y/X=x2) = = ½ H( ½, ½) + ½ H(3/8, 5/8) = ½ • 1 + ½ • 0,954 = 0,977 b I(X,Y) = H(Y) – H(Y/X) = H(7/16,9/16) – H(Y/X) = 0,989 – 0,977 =0,012 b
Prevajana informacija H(Y)=H(p(y1),p(y2)) H(X) = H(p(x1),p(x2))
Nedoločenost signala, še to • Entropija signalaje največja, kadar so vsa stanja signala enako verjetna. • Razumljivo, tedaj je dejansko stanje signala najtežje napovedati.
Informacijski pretok • C: maksimalni možni informacijski pretok – kapaciteta kanala • F: frekvenčna širina kanala • V: število enakoverjetnih stanj signala • S: moč signala; N: moč šuma
Baud (Bd) in Bit na sekundo (b/s) • Z Baudi podajamo število signalnih elementov na časovno enoto • Z b/s (bps) podajamo informacijski pretok – hitrost prenosa • Za binarne signala je hitrost prenašanja v Bd številčno enaka b/s • Hitrosti v Bd večkrat rečemo tudi modulacijska hitrost
Za konec • Podatek ≠ informacija • Podatek je zapis – nosilec informacije • Podatek je informacija, ko nam nekaj pove • Informacija je vedno povezana z zmanjšanjem nedoločenosti • Bit: včasih enota za množino informacije, včasih binarni simbol • Bit: množina informacije, ki jo dobimi kot odgovor na vprašanje, na katerega sta možna dva enakoverjetna odgovora. • Bit: binarni simbol (0 ali 1) • En binarni simbol vedno ne vsebuje tudi en bit informacije. • En binarni simbol nosi največ en bit informacije • Razmerje med dejansko in maksimalno možno množino informacije, je redundanca – odvečnost. • Na primer: 1MB (megabajt) podatkov nujno ne vsebuje 8 Mb informacije • Na primer: podatkovni pretok 1MB/s ni nujno enak informacijskemu pretoku 8 Mb/s.
