Sistemas de comunicaci n audiovisual

1. Sistemas de comunicación audiovisual Nicolás Guil Mata Dpto. Arquitectura de Computadores Universidad de Málaga La creciente tendencia a la digitalización de la información audiovisual es un fenómeno imparable que aporta grandes ventajas a la manipulación, almacenamiento y transporte de la señal de vídeo y audio. Nuevos estándares para la codificación de esa señal han surgido y se han asentado durante la pasada decada, tal y como MPEG-1 y MPEG-2. Así por ejemplo, las plataformas digitales que emiten vía satélite en nuestro país usan MPEG-2 como medio de difusión de los canales ofertados a los abonados y la mayor parte de las televisiones optan también por este estándar para el transporte de la información que aún convide con otros menos recientes como DV o MJPEG. También nuevos estándares están surgiendo, como MPEG-4. Los requerimientos computacionales de estos nuevos estándares requieren el desarrollo de nuevos procesadores y sistemas de memoria que permitan realizar en tiempo real todas las tareas involucradas en la codificación y decodificación. El almacenamiento y la manipulación de la información audiovisual necesita, asimismo,d el diseño de sistemas con arquitecturas eficientes desde el punto de vista de almacenamiento masivo de información, acceso a contenidos de forma rápida (indexación del material audiovisual) y minimización de requeriemintos de E/S,ya sea del subsistema de almacenamiento como del de interconexión a red. Por otro lado, la tendencia actual del mercado de televisión es la de ofrecer televisión a la carta (vídeo bajo demada). Esta oferta necesita del desarrollo, no sólo de redes de interconexión más rápidas, sino del uso de servidores de vídeo distribuido en los que el reparto de la carga será un punto crucial para la mejora de los tiempos de respuesta. La creciente tendencia a la digitalización de la información audiovisual es un fenómeno imparable que aporta grandes ventajas a la manipulación, almacenamiento y transporte de la señal de vídeo y audio. Nuevos estándares para la codificación de esa señal han surgido y se han asentado durante la pasada decada, tal y como MPEG-1 y MPEG-2. Así por ejemplo, las plataformas digitales que emiten vía satélite en nuestro país usan MPEG-2 como medio de difusión de los canales ofertados a los abonados y la mayor parte de las televisiones optan también por este estándar para el transporte de la información que aún convide con otros menos recientes como DV o MJPEG. También nuevos estándares están surgiendo, como MPEG-4. Los requerimientos computacionales de estos nuevos estándares requieren el desarrollo de nuevos procesadores y sistemas de memoria que permitan realizar en tiempo real todas las tareas involucradas en la codificación y decodificación. El almacenamiento y la manipulación de la información audiovisual necesita, asimismo,d el diseño de sistemas con arquitecturas eficientes desde el punto de vista de almacenamiento masivo de información, acceso a contenidos de forma rápida (indexación del material audiovisual) y minimización de requeriemintos de E/S,ya sea del subsistema de almacenamiento como del de interconexión a red. Por otro lado, la tendencia actual del mercado de televisión es la de ofrecer televisión a la carta (vídeo bajo demada). Esta oferta necesita del desarrollo, no sólo de redes de interconexión más rápidas, sino del uso de servidores de vídeo distribuido en los que el reparto de la carga será un punto crucial para la mejora de los tiempos de respuesta.

2. AC - UMA Índice Arquitectura de los sistemas de información audiovisual. Arquitecturas para codificación/decodificación de vídeo. Complejidad computacional. Arquitecturas de procesamiento. Sistemas de archivos multimedia. Almacenamiento y acceso al material audiovisual. Gestión: catalogación y consulta. Servidores de vídeo. Balanceo de la carga para Video bajo Demanda.

3. AC - UMA Sistemas de información audiovisual

4. AC - UMA Sistemas de información audiovisual

5. AC - UMA Sistemas de información audiovisual

6. AC - UMA Sistema de información audiovisual

7. Arquitecturas para codificación y decodificación

8. AC - UMA Estándares de codificación: MPEG-1 y MPEG-2 Uso DCT por bloques y compensación de movimiento.

9. AC - UMA Estándares de codificación: MPEG-4 Contenidos: objetos de vídeo, mallas 2-D y 3-D, texturas, audios, ... Necesidad de decodificación, composición y renderizado.

10. AC - UMA Tareas en MPEG-4

11. AC - UMA Requerimentos computacionales para codificación de MPEG-4

12. AC - UMA Requerimientos computacionales para composición de MPEG-4

13. AC - UMA Requerimientos computacionales para renderizado de MPEG-4

14. AC - UMA Características de los algoritmos multimedia (1) Tareas de bajo nivel (compresión de vídeo y audio). secuencias predefinidas. alta regularidad en acceso a operaciones y datos. alto grado de paralelismo. tareas de nivel medio. incluyen decisiones dependientes de los datos. menor regularidad. tareas de alto nivel. operan con objetos complejos de tamaños variables. flujo altamente dependiente de los datos.

15. AC - UMA Características de los algoritmos multimedia (2) Tendencia a tareas de medio y alto nivel.

16. AC - UMA Arquitecturas multimedia:Mejoras en PPG. Paralelismo a nivel de subpalabra. Explota el paralelismo de datos en códigos muy regulares (split-ALU). VLIW. Compilador extrae ILP. Coprocesadores. Sistema de Memoria. Stream caches. SRAM para tablas o coeficientes muy usados.

17. AC - UMA Arquitecturas de procesamiento futuras (1) Arquitecturas programables deben mejorar su eficiencia en: tratamiento de flujos con dependencia de datos y control irregular. tareas múltiples con paralelismo potencial a bajo nivel. manejo de varios streams de datos simultáneamente.

18. AC - UMA Arquitecturas de procesamiento futuras (2) FPGA con SRAM (computación reconfigurable). Adaptación del hardware a algoritmos específicos en tiempo de ejecución. Software semiflexible con altas prestaciones. Algunos resultados muestran ganancias de un orden de magnitud respecto a PPG. Prototipado: técnicas más interesantes pueden ser adoptadas por PPG.

19. AC - UMA Arquitecturas de procesamiento futuras (3) Multihebra simultáneo. Granularidad: superescalar (ILP) a TLP. Posibilidad de trabajar con distintos streams simultáneamente. Ineficiencias de threads trabajando en configuración data-parallel.

20. AC - UMA Arquitecturas de procesamiento futuras (4) Control Asociativo

21. AC - UMA Arquitecturas futuras para MPEG-4 (5) Configuraciones de Control Asociativo. División de DP’s y CU’s en subconjuntos (clusters). Cada cluster trabajar en modo SIMD, MIMD o Asociativo. Pueden variar en run-time (Dynamic Clustering): Scheduler. División del código fuente en segmentos (pseudo-I).

22. Sistemas de Archivo Multimedia

23. AC - UMA Sistemas de archivo de vídeo Características Multiformato: MPEG, DV, M-JPEG, AVI, ... Almacenamiento masivo. 1 hora MPEG-2 a 12 Mbits/seg -> 5.6 Gbytes. Indexación eficiente. Bajo nivel: acceso directo -> indexación temporal. Alto nivel: Descriptores -> Metadatos.

24. AC - UMA Jerarquía sistema de archivo de vídeo

25. AC - UMA Catalogación Catalogación manual vs. automática. Tipos de metadatos. Metadatos técnicos. Formato vídeo, audio, duración, fecha, ... Metadatos generales. Índice visual, color, textura, forma, ... Metadatos específicos o semánticos. Eventos dependientes de la aplicación. El parlamentario X comienza su intervención, la célula Y se divide, esta escena de la película es un diálogo, ... Descriptores MPEG-7.

26. AC - UMA Herramientas de catalogación Manual y automática (o semiautomática). Automática.

27. AC - UMA Herramientas de catalogación (1) Índices visuales. Resumen de lo que acontece en un vídeo. Basado en la detección de efectos: cortes, transiciones graduales.

28. AC - UMA Herramientas de catalogación (2) Formas, Textura y color. Seguimiento de objetos.

29. AC - UMA Herramientas de catalogación (3) Eventos: persona aparece en el pasillo

30. AC - UMA Herramientas de catalogación (4) Eventos: célula girando, trayectoria

31. AC - UMA Organización de la base de datos

32. AC - UMA Almacenamiento de material audiovisual (1) Necesidad de almacenamiento masivo: Robots de cintas, CD/DVD JukeBoxes, ...

33. AC - UMA Almacenamiento de material audiovisual (2) Cuellos de botella: E/S: Peticiones múltiples y simultáneas. Red de interconexión.

34. AC - UMA Escalabilidad. Extensión del concepto de memoria virtual (AST). Transferencia sólo de los trozos requeridos. Acceso transparentes a las aplicaciones: gestión de fallos -> políticas de carga, reemplazo y ubicación. Tamaño fijo de “páginas”, chunks, en almacenamiento terciario.

35. AC - UMA Localidad temporal 80.000 horas de vídeo durante un año. 9 canales x 24 horas diarias.

36. AC - UMA Lectura en AST

37. AC - UMA Tablas de traducción de AST: lectura sin fallo.

38. AC - UMA Escritura en AST

39. AC - UMA Carga por demanda en AST Equivalencia operaciones de lectura/escritura.

40. AC - UMA Política de borrado de AST Borrado. No se pueden gestionar espacios vacios. Borrar cintas completas. Posibilidad de marcar cintas como semiborradas.

41. AC - UMA Comparativa acceso a cinta de AST

42. Emisión: Vídeo bajo demanda

43. AC - UMA Video on Demand (VoD) Broadcast (No-VoD): usuario sin control. Pay-per-View (PPV): Usuario escoge canal. Quasi Video-on-Demand (Q-VoD): usuarios agrupados basados en umbrales de interes. Control temporal conmutando entre grupos. Near Video-on-Demand (N-VoD): Simulación forward and backward en intervalos de tiempo discretos (del orden de cinco minutos). Múltiples canales con la misma programación desplazada en el tiempo. True Video-on-Demand (T-VoD): VCR virtual.

44. AC - UMA Arquitectura de un sistema VoD

45. AC - UMA Modelo sistemas de VoD Vídeos residen en los servidores. Red ATM permite intercambio de material y reparto de la carga. Peticiones de streaming desde los clientes.

46. AC - UMA Modelo de sistemas de VoD

47. AC - UMA Rendimiento de Sistemas de VoD Objetivo: minimizar el tiempo medio de espera. Parámetro secundario: buen balanceo de la carga entre servidores. Recursos consumidos en peticiones locales: Bstream (recurso local). Más consumo de recursos en peticiones remotas: Blink remoto, Bswitch, Blink local, Bstream local.

48. AC - UMA Popularidad y replicación

49. AC - UMA Distribución de los Vídeos M vídeos ordenados por popularidad Uso del porcentaje de replicación: s vídeos más populares son replicados en todos los servidores Los restantes M ?s vídeos son uniformemente distribuidos entre los servidores

50. AC - UMA Objetivo: minimizar tiempo de espera Servidores con capacidad disponible ayudan a los servidores sobrecargados Influencia de la popularidad y de la replicación de los vídeos en el tiempo de espera. Global Wait Queue. Popularity and Partial Replication Load Sharing Algoritmos balanceo de la Carga

51. AC - UMA Algoritmos para Compartir la Carga (1) Algoritmo GWQ (Global Wait Queue): Replicación total (vídeos replicados en todos los servidores) Peticiones Remotas sólo cuando el servidor está sobrecargado Sin criterio de asignación de servicios remotos

52. AC - UMA Algoritmos para Compartir la Carga Algoritmo PRLS (Popularity and Partial Replication Load Sharing) Popularidad: Distribución Zipf Vídeos están replicados parcialmente Peticiones remotas: Servidor sobrecargado Vídeo no replicado en el servidor Criterio de asignación de servicios remotos: Servidor menos cargado

53. AC - UMA Efecto del Criterio de Asignación de Servicios Remotos Parámetros: Tsleep: exponencial (7200) Tactive: uniforme (3600,10800) Replicación: 100% Resultados: Criterio balancea la carga y disminuye Twait

54. AC - UMA Modelo analítico Objetivos: – Medir el rendimiento de PRLS – Validar el modelo analítico – Estudiar la influencia de la popularidad y la replicación Principal métrica: Twait Diferentes grados de popularidad ? y porcentajes de replicación

55. AC - UMA Efecto de replicación para ?=1

56. AC - UMA Efecto de la Replicación para ?=1.8

57. AC - UMA Líneas de investigación Procesadores MPEG-4. Arquitecturas reconfigurables. Sistema de archivo: base de datos. Catalogación automática. Gestión de almacenamiento masivo. Planificación en vídeo bajo demanda.