Elementos de Teoría de la Información Clase 29-Junio-2011

1. Elementos de Teoría de la InformaciónClase 29-Junio-2011

2. Recordemos …. que es “Ruido “ ….

3. Perturbaciones en la transmisión • La señal recibida puede diferir de la señal transmitida • Analógico - degradación de la calidad de la señal • Digital – Errores de bits • Causado por • Atenuación y distorsión de atenuación • Distorsión de retardo • Ruido

4. Atenuación • La intensidad de la señal disminuye con la distancia • Depende del medio • La intensidad de la señal recibida: • Debe ser suficiente para que se detecte • Debe ser suficientemente mayor que el ruido para que se reciba sin error • Crece con la frecuencia • Ecualización: amplificar más las frecuencias más altas • Problema “menos grave” para las señales digitales

5. Distorsión de retardo • Sólo en medios guiados • La velocidad de propagación en el medio varía con la frecuencia • Para una señal limitada en banda, la velocidad es mayor cerca de la frecuencia central • Las componentes de frecuencia llegan al receptor en distintos instantes de tiempo, originando desplazamientos de fase entre las distintas frecuencias

6. Ruido (1) • Señales adicionales insertadas entre el transmisor y el receptor • Térmico • Debido a la agitación térmica de los electrones • Aumenta linealmente con la temperatura absoluta (N0= kT) • Uniformemente distribuido en la frecuencia • Ruido blanco (NBW= kTB) • Intermodulación • Señales que son la suma y la diferencia de frecuencias originales y sus múltiplos (mf1± nf2) • Se produce por falta de linealidad

7. Ruido (2) • Diafonía • Una señal de una línea se mete en otra • Impulsivo • Impulsos irregulares o picos • Ej: Interferencia electromagnética externa (tormenta) • Corta duración • Gran amplitud

8. Efecto del ruido en señal digital

9. Conceptos relacionados con la capacidad del canal • Velocidad de datos • En bits por segundo • Velocidad a la cual se pueden transmitir los datos • Ancho de Banda • En ciclos por segundo (hertz) • Limitado por el transmisor y el medio • Ruido, nivel medio a través del camino de transmisión • Tasa de errores, cambiar 0 por 1 y viceversa (BER, Bit Erro Rate)

10. Ancho de Banda de Nyquist (ancho de banda teórico máximo) Para 2 niveles SIN RUIDO • Velocidad binaria Para M niveles SIN RUIDO • Velocidad binaria • 1 Baudio = 1 estado señalización/sg • 1 Baudio = 1 bps si M=2 • La relación entre la velocidad de transmisión C y la velocidad de modulación V es: Nyquist, H., “Certain Factors Affecting Telegraph Speed,” Bell System Technical Journal, April 1924, p. 324; “Certain Topics in Telegraph Transmission Theory,” A.I.E.E. Trans., v. 47, April 1928, p. 617.

11. Capacidad de Shannon (1) • Para un cierto nivel de ruido, a mayor velocidad, menor período de un bit, mayor tasa de error (se pueden corromper 2 bits en el tiempo en que antes se corrompía 1 bit) • Relación Señal / Ruido (Signal Noise Ratio, SNR) en dB • Restricción: no se puede aumentar M cuanto se quiera porque debe cumplirse:

12. Capacidad de Shannon (2) • En principio, si se aumenta el ancho de banda B y la potencia de señal S, aumenta la velocidad binaria C. • Pero: • Un aumento del ancho de bandaB aumenta el ruido • Un aumento de potencia de señal S aumenta las no linealidades y el ruido de intermodulación • Por tanto, la velocidad binaria teórica máxima será: • =>

13. Ley de Shannon (1948) • La cantidad de símbolos (o bits/baudio) que pueden utilizarse dependen de la calidad del canal, es decir de su relación señal/ruido. • La Ley de Shannon expresa el caudal máximo en bits/s de un canal analógico en función de su ancho de banda y la relación señal/ruido : Capacidad = BW * log2 (1 + S/R) donde: BW = Ancho de Banda S/R = Relación señal/ruido

14. Ejemplo • Canal entre 3 MHz y 4 MHz • Relación señal ruido = 24 dB, SNR=102,4=251 Calcular ancho de banda • Respuesta: B = 1 MHz • Calcular la velocidad binaria teórica máxima y el número de niveles • Respuesta: SNR = 251 • Respuesta: C = 8 Mbps • Respuesta: M = 16 niveles

15. Relación Eb/N0 (1) • Eb: energía de señal por bit (Eb=S·Tb=S/R) • siendo S potencia señal, Tb tiempo de un bit, R bits/sg • N0: densidad de potencia de ruido por Hz • Se demuestra fácilmente que: • O bien

16. Relación Eb/N0(2) siendo k la constante de Boltzmann, cuyo valor es y siendo T la temperatura absoluta en grados Kelvin Ejemplo: Para obtener una relación Eb/N0= 8,4 dB a una temperatura ambiente de 17 ºC (290 ºK) y una velocidad de transmisión de 2.400 bps, ¿qué potencia de señal recibida se necesita? Respuesta:

17. Teoría de la Información y Codificación

18. Claude Shannon estableció la Teoría de la Información Clásica Dos Teoremas Fundacionales: • Noiseless source coding • Noisy channel coding Teoría de la Información C. E. Shannon, Bell System Technical Journal, vol. 27, pp. 379-423 and 623-656, July and October, 1948. Reprinted with corrections from The Bell System Technical Journal,

19. Teoría de Shannon Uno de ellos describe la máxima eficiencia posible de un método de corrección de errores ( codificación ) frente a los niveles de ruido y de corrupción de los datos. No dice nada sobre como implementar dicha codificación . En definitiva brinda el limite para la TX de bits (basándose en la Ley de los Grandes Números )

20. Shannon , paper Bell Labs (1948) February 8, 2010 Harvard QR48 20

21. C. E. Shannon, Bell System Technical Journal, vol. 27, pp. 379-423 and 623-656, July and October, 1948 A method is developed for representing any communication system geometrically. Messages and the corresponding signals are points in two “function spaces,” and the modulation process is a mapping of one space into the other. Using this representation, a number of results in communication theory are deduced concerning expansion and compression of bandwidth and the threshold effect. Formulas are found for the maximum rate of transmission of binary digits over a system when the signal is perturbed by various types of noise. Some of the properties of “ideal” systems which transmit at this maximum rate are discussed. The equivalent number of binary digits per second for certain information sources is calculated.

22. C. E. Shannon (January 1949). "Communication in the presence of noise"Proc. Institute of Radio Engineersvol. 37 (1): 10–21. THE recent development of various methods of modulation such as PCM and PPM which exchange bandwidth for signal-to-noise ratio has intensified the interest in a general theory of communication. A basis for such a theory is contained in the important papers of Nyquist and Hartley on this subject. In the present paper we will extend the theory to include a number of new factors, in particular the effect of noise in the channel, and the savings possible due to the statistical structure of the original message and due to the nature of the final destination of the information. The fundamental problem of communication is that of reproducing at one point either exactly or approximately a message selected at another point. Frequently the messages have meaning; that is they refer to or are correlated according to some system with certain physical or conceptual entities. These semantic aspects of communication are irrelevant to the engineering problem. The significant aspect is that the actual message is one selected from a set of possible messages. The system must be designed to operate for each possible selection, not just the one which will actually be chosen since this is unknown at the time of design. If the number of messages in the set is finite then this number or any monotonic function of this number can be regarded as a measure of the information produced when one message is chosen from the set, all choices being equally likely. As was pointed out by Hartley the most natural choice is the logarithmic function. Although this definition must be generalized considerably when we consider the influence of the statistics of the message and when we have a continuous range of messages, we will in all cases use an essentially logarithmic measure.

23. Modelo de un Sistema de Comunicaciones

24. “If the rate of Information is less than the Channelcapacity then there exists a coding technique such that the information can be transmitted over it with very small probability of error despite the presence of noise.”

25. Información

26. Definición : unidades

27. 1 Bit

28. Fuente de memoria nula

29. Memoria nula (cont)

30. Entropía

31. Entropía (cont) • La entropía de un mensaje X, que se representa por H(X), es el valor medio ponderado de la cantidad de información de los diversos estados del mensaje. H(X) = -  p(x) log2 p(x) • Es una medida de la incertidumbre media acerca de una variable aleatoria y el número de bits de información. • El concepto de incertidumbre en H puede aceptarse. Es evidente que la función entropía representa una medida de la incertidumbre, no obstante se suele considerar la entropía como la información media suministrada por cada símbolo de la fuente

32. Entropía: Fuente Binaria

33. Propiedades de la entropía a)La entropía es no negativa y se anula si y sólo si un estado de la variable es igual a 1 y el resto 0 . b) La entropía es máxima, mayor incertidumbre del mensaje, cuando todos los valores posibles de la variable X son equiprobables (empíricamente fácil). Si hay n estados equiprobables, entonces pi = 1/n. Luego: H(X) = -  pi log2 pi = - n(1/n) log2 (1/n) = - (log2 1 - log2 n) i H(X)máx = log2 n

34. Entropía condicional Si existe una segunda variable Y que influya sobre X, esto nos entregará importante información adicional. • H(X/Y) = -  p(x,y) log2 p(x,y) • x,y Donde p(x,y) = p(y)p(x/y) y la relación p(x/y) es la probabilidad de que se obtenga un estado X conocido el valor de Y. La entropía se reduce: hay más orden y menos incertidumbre. Luego: • H(X/Y) = -  p(y)  p(x/y) log2 p(x/y) • y x

35. Ejemplo Sea X = {x1, x2, x3, x4} con p(xi) = 0.25 Sea ahora Y = {y1, y2, y3} con p(y1) = 0.5; p(y2) = 0.25; p(y3) = 0.25 Luego H(X) = 4 log2 4 = 2.0 y H(Y) = 2 log2 4 + log2 2 = 1.5 Además hay las siguientes dependencias entre X e Y: Si Y = y1  X = x1 o x2 o x3 o x4 (cualquiera con igual probabilidad) Si Y = y2  X = x2 o x3 (cualquiera con igual probabilidad) Si Y = y3  X = x3 o x4 (cualquiera con igual probabilidad) y=3 x=4 Como H(X/Y) = -  p(y)  p(x/y) log2 p(x/y) y=1 x=1 H(X/Y) = - p(y1)[p(x1/y1)log2p(x1/y1) + p(x2/y1)log2p(x2/y1) + p(x3/y1)log2p(x3/y1) + p(x4/y1)log2p(x4/y1)] - p(y2)[p(x1/y2)log2p(x1/y2) + p(x2/y2)log2p(x2/y2) + p(x3/y2)log2p(x3/y2) + p(x4/y2)log2p(x4/y2)] - p(y3)[p(x1/y3)log2p(x1/y3) + p(x2/y3)log2p(x2/y3) + p(x3/y3)log2p(x3/y3) + p(x4/y3)log2p(x4/y3)] Calculando, se obtiene H(X/Y) = 1.0 + 0.25 + 0.25 = 1.5. La entropía de X ha bajado en medio bit con el conocimiento de su relación con Y.

36. Extensión de una Fuente de Memoria Nula

37. Fuente de Markov

38. Fuente de Markov (cont)

39. Codificación de Fuente Establecer una correspondencia entre los símbolos de una fuente y los símbolos del alfabeto de un código. Proceso encaminado a lograr una representación más eficiente de la información ( eliminar redundancia)*. 39

40. Condiciones del código • singular • separable (Únicamente decodificable) • instantáneo 40

41. singulares instantáneo* No singular no separable separables a b c d m1 --- 01 m1 --- 0 m1 --- 0 m1 --- 0 m2 --- 01 m2 --- 01 m2 --- 01 m2 --- 10 m3 --- 10 m3 --- 001 m3 --- 011 m3 --- 110 41

42. Condición de los prefijos La condición necesaria y suficiente para que un código sea instantáneo es que sus palabras cumplan la condición de los prefijos: No exista palabra que sea prefijo de otra palabra de longitud mayor 42

43. No Singulares No separables No instantáneos Singulares Separables Instantáneos Códigos 43

44. Códigos eficientes Estrategia: Asignar palabras más cortas a símbolos más probables l i longitud de la palabra codificada del mensaje m i r : # de símbolos del alfabeto del código L = S pi l i : Longitud promedio de la palabra* 44

45. Relación entre L y H !!! Eficiencia del código : h = H (S) / (L log r) L log r  H(s) log r : Cantidad promedio máxima de información de un símbolo del código. 45

48. Codificador óptimo Nos falta encontrar el segundo término pendiente en la definición de cantidad de información: codificador óptimo. Introduciendo el signo negativo dentro del logaritmo en la expresión de la entropía, ésta nos quedará como: H(X) =  p(x) log2 [1/p(x)] i Veamos un ejemplo de codificación La expresión log2 [1/p(x)] representa el número necesario de bits para codificar el mensaje X en un codificador óptimo. Codificador óptimo es aquel que para codificar un mensaje X usa el menor número posible de bits.

49. Codificación de Huffman Mensaje: MI MAMA ME MIMA Creación del árbol de frecuencias observadas Código óptimo: M = 1 “ ” = 01 A = 000 I = 0010 E = 0011 Mensaje: 1 0010 01 1 000 1 000 01 1 0011 01 1 0010 1 000 (33 bits) Pregunta: ¿Con cuántos bits se codificaría si se usara ASCII? Saque conclusiones.

50. Compresión de las señales • Consiste en la reducción del volumen de información tratable (procesar, transmitir o grabar). • En principio, con la compresión se pretende transportar la misma información, pero empleando la menor cantidad de espacio. • Ocupación espectral de30 Mbits / seg a 40 Mbits / seg, para poder sr utilizado por una transmisión: • via satélite de 27 Mhz a 36 Mhz • canal de cable de 6 Mhz a 8 Mhz • El espacio que ocupa una información codificada (datos, señal digital, etc.) sin compresión es el cociente entre la frecuencia de muestreo y la resolución. • Por tanto, cuantos más bits se empleen mayor será el tamaño del archivo.