ВССиТК_Лекция итоговая

1. Вычислительные сети, системы и телекоммуникации

2. Соотношение понятий данные, информация, знания Знания Информация Данные

3. Формирование информации Методы обработки Взаимодействия Тела, поля Сигналы Данные Информация Регистрация сигналов

4. Информация Материальный носитель- материальный объект или среду, которые служат для представления или передачи информации Информационный процесс — это изменение с течением времени содержания информации или представляющего его сообщения. хранение информации связано с фиксацией состояния носителя, а распространение — с процессом, который протекает в носителе. • порождение (создание) новой информации; преобразование информации (т. е. порождение новой информации в результате обработки имеющейся); уничтожение информации; передача информации (распространение в пространстве). • Изменение характеристики носителя, которое используется для представления информации, называется сигналом • • Последовательность сигналов называется сообщением. 4

5. Информация Приемник информации — это субъект или устройство, принимающие сообщение и способные правильно его интерпретировать. Технические средства связи — устройства, осуществляющие преобразование сообщения из одной формы представления в другую.. Источник информации — это субъект, процесс или устройство, порождающие информацию и представляющие ее в виде сообщения. 5

6. Свойства информации Объективность Полнота Достоверность Адекватность Актуальность Доступность

7. Требования к технологиям хранения информации •Доступность •Защита •Масштабируемость •Производительность •Сохранность •Вместимость •Управляемость

8. Рост цифровых данных • Рост производительности обработки цифровых данных • Увеличение количества цифровых устройств • Развитие программного обеспечения • Снижение цен на цифровые носители • Появление высокоскоростных технологий передачи данных

9. Цикл обмена данными ЦОД Пользователи Устройства

10. Понятие системы совокупность взаимодействующих компонентов, каждый из которых в отдельности не обладает свойствами системы в целом, но является ее неотъемлемойчастью. Система Единство удаление из нее какого-либо компонента приводит фактически к ее уничтожению, поскольку меняется (или исчезает) системное свойство Системность при объединении компонентов возникает некоторое новое качество — системное свойство

11. История развития вычислительных систем Электронный (с 40-х гг. XX в. по настоящее время) Электромеханический (с конца XIX в. до 40-х гг. XX в.) Механический (с середины XVII в. до конца XIX в.) Домеханический (с древних времен до середины XVII в.) 1 1 Введение в вычислительные системы. История развития вычислительных систем

12. Домеханический Вычисления Примитивные средства Первые Первые приборы приспособления Узелковое письмо Счетные палочки Непера Логарифмически е линейки Счет на пальцах Счет на камнях Абак Счеты 1 2 Введение в вычислительные системы. История развития вычислительных систем

13. Механический период Машина В. Шиккарда Машина Леонардо да Винчи Счетная машина Г. В. Лейбница 1 3 Введение в вычислительные системы. История развития вычислительных систем

14. Электромеханический период Первый счетно-аналитический комплекс был создан в США Г. Холлеритом в 1887 г. и состоял из ручного перфоратора, сортировочной машины и табулятора. Значение работ Г. Холлерита для развития ВТ определяется двумя основными факторами. Во-первых, он стал основоположником нового направления в ВТ — счетно-перфорационного (счетно- аналитического), состоящего в применении табуляторов и сопутствующего им оборудования для выполнения широкого круга экономических и научно-технических расчетов. На основе этой ВТ создаются машинно-счетные станции для механизированной обработки информации, послужившие прообразом современных вычислительных центров (ВЦ). Табулятор Германа Холлерита 1 4 Введение в вычислительные системы. История развития вычислительных систем

15. Электронный период После создания в 1949 г. в Англии модели EDSAC был дан мощный импульс развитию универсальных ЭВМ, стимулировавший появление в ряде стран моделей ЭВМ, составивших первое поколение. На протяжении более 40 лет развития вычислительной техники(ВТ) появилось, сменяя друг друга, несколько поколений ЭВМ. ЭВМ первого поколения в качестве элементной базы использовали электронные лампы и реле; оперативная память выполнялась на триггерах, позднее на ферритовых сердечниках; быстродействие было, как правило, в пределах 5—30 тыс. арифметических оп/с; они отличались невысокой надежностью, требовали систем охлаждения и имели значительные габариты. Процесс программирования требовал значительного искусства, хорошего знания архитектуры ЭВМ и ее программных возможностей. На первых порах данного этапа использовалось программирование в кодах ЭВМ (машинный код), затем появились автокоды и ассемблеры. Как правило, ЭВМ первого поколения использовались для научно-технических расчетов, а сам процесс программирования больше напоминал искусство, которым занимался весьма узкий круг математиков, инженеров-электриков и ЭВМ EDSAC, 1949 г. физиков. 1 5 Введение в вычислительные системы. История развития вычислительных систем

16. Эволюция вычислительных систем Параметр 50-е годы Цель использования компьютера Научно-технические расчеты Режим работы компьютера Однопрограммный Интеграция данных Низкая Расположение пользователя Машинный зал Тип пользователя Инженеры-программисты 1 6 Введение в вычислительные системы. Эволюция компьютерных информационных технологий

17. Эволюция вычислительных систем Параметр 60-е годы Цель использования компьютера Технические и экономические расчеты Режим работы компьютера Пакетная обработка Интеграция данных Средняя Расположение пользователя Отдельное помещение Тип пользователя Профессиональные программисты 1 7 Введение в вычислительные системы. Эволюция компьютерных информационных технологий

18. Эволюция вычислительных систем Параметр 70-е годы Цель использования компьютера Управление и экономические расчеты Режим работы компьютера Разделение времени Интеграция данных Высокая Расположение пользователя Терминальный зал Тип пользователя Программисты 18 Введение в вычислительные системы. Эволюция компьютерных информационных технологий

19. Эволюция вычислительных систем Параметр 80-е годы Управление, предоставление информации Цель использования компьютера Режим работы компьютера Персональная работа Интеграция данных Очень высокая Расположение пользователя Рабочий стол Тип пользователя Пользователи с общей компьютерной подготовкой 19 Введение в вычислительные системы. Эволюция компьютерных информационных технологий

20. Эволюция вычислительных систем Параметр Настоящее время Цель использования компьютера Телекоммуникации, информационное обслуживание и управление Режим работы компьютера Сетевая обработка Интеграция данных Сверхвысокая Расположение пользователя Произвольное мобильное Тип пользователя Слабо обученные пользователи 20 Введение в вычислительные системы. Эволюция компьютерных информационных технологий

21. ВС - цели создания и принципы построения Вычислительная система (ВС) - совокупность взаимосвязанных и взаимодействующих процессоров или ЭВМ, периферийного оборудования и ПО, предназначенная для сбора, хранения, обработки и распределения информации Основные цели создания ВС Повышение производительности системы за счет ускорения процессов обработки данных Предоставление пользователям дополнительных сервисных услуг Повышение надежности и достоверности вычислений Основные принципы построения ВС Возможность работы в разных режима Иерархия в организации управления процессам Модульность структуры технических и программных средств – возможность совершенствования и модернизации ВС Способность систем к адаптации, самонастройке и самоорганизации Обеспечение необходимым сервисом пользователей при выполнении вычислений Унификация и стандартизация технических и программных решений

22. Классификация ВС Специализированные ВС Универсальные ВС По назначению Многомашинная ВС Многопроцессорная ВС По типу построения Однородная ВС Неоднородная ВС По типу ЭВМ или процессоров Совмещенная ВС Распределенная ВС По степени территориальной разобщенности вычислительных модулей ВС со смешанным управлением Централизованная ВС Децентрализованная ВС По методам управления элементами ВС ВС с жестким закреплением функций ВС с плавающим закреплением функций По принципу закрепления вычислительных функций ВС оперативного режима ВС неоперативного режима По временному режиму работы

23. Режимы работы вычислительных систем • однопрограммный; • мультипрограммный; • пакетной обработки; • разделения во времени; • диалоговый; • режим реального времени.

24. Основные характеристики вычислительных систем • отношение стоимость/производительность; • надежность и отказоустойчивость; • масштабируемость; • совместимость и мобильность программного обеспечения.

25. Схема взаимодействия компьютеров в многомашинных ВС На уровне процессоров - при непосредственном ОС 1 ОС 2 взаимодействии процессоров друг с другом информационная связь реализуется через регистры процессорной памяти и требует наличия в ОС весьма Уровень 1 сложных специальных программ. Процессор 1 Процессор 2 На уровне оперативной памяти - взаимодействие на уровне оперативной памяти (ОП) сводится к программной реализации общего поля оперативной памяти (ООП), что проще, но требует существенной модификации ОС. Под Уровень 2 общим полем имеется в виду равнодоступность модулей Оперативная память 1 Оперативная память 2 памяти: все модули памяти доступны всем процессорам и каналам связи. Каналы связи 1 Каналы связи 2 На уровне каналов связи - взаимодействие организуется наиболее просто, и может быть достигнуто внешними по отношению к ОС программами - драйверами, обес- печивающими доступ от каналов связи одной машины к Уровень 3 внешним устройствам других (формируется общее поле Внешние устройства 1 Внешние устройства 2 внешней памяти и общий доступ к устройствам ввода- вывода). 25

26. Схема взаимодействия процессоров в многопроцессорных ВС В многопроцессорной ВС (МПС) имеется несколько Операционная система информационно взаимодействующих между собой процессоров. В качестве общего ресурса они имеют общую оперативную память (ООП), обеспечивающую общий доступ к внешней памяти и устройствам ввода-вывода. МПС работает под управлением единой ОС, общей для всех процессоров, Процессор 2 Процессор 1 что существенно улучшает динамические характеристики ВС, но предъявляет к ОС высокие требования. Более быстрый обмен информацией между Общее поле оперативной памяти процессорами и более быстрое реагирование на ситуации, возникающие в системе, большая степень резервирования устройств системы (система сохраняет работоспособность, Каналы связи пока работоспособны хотя бы по одному модулю каждого типа устройств) приводят к существенному повышению быстродействия и надежности многопроцессорных ВС (по Общее поле внешних устройств сравнению с многомашинными ВС 3-го уровня). 26

27. Архитектура вычислительных систем Архитектура ВС - совокупность характеристик и параметров, определяющих функционально-логическую и структурную организацию системы и затрагивающий в основном уровень параллельно работающих вычислителей (По Пятибратову) Классификация архитектур была предложена М. Флинном (М. Flynn) в начале 60-х гг. XX в. В основу такой классификации заложено два возможных вида параллелизма: • • независимость потоков заданий (команд), существующих в системе независимость (несвязанность) данных, обрабатываемых в каждом потоке ОКОД (SISD) ОКМД (SIMD) Инструкции МКОД (MISD) МКМД (MIMD) Данные 27

28. ОКОД - структура однопроцессорных ВС ОКОД - одиночный поток команд - одиночный поток Память команд данных (SISD - Single Instruction Single Data - одиночный поток инструкций- одиночныйпоток данных) Поток команд Архитектура ОКОД (с одним вычислителем) охватывает все однопроцессорные и одномашинные варианты систем. Все ЭВМ классической структуры попадают в этот класс. Здесь Процессор 1 параллелизм вычислений обеспечивается путем совмещения выполнения операций отдельными блоками АЛУ, а также Результаты Поток данных параллельной работой устройств ввода-вывода информации и процессора. Память данных 28 Современные вычислительные системы

29. ОКМД - структура векторных многопроцессорных ВС Память команд ОКМД - одиночный поток команд - множественный поток данных (SIMD - Single Instruction Multiple Data - Поток команд одиночный поток инструкций - множественный поток Поток данных Результаты данных). Процессор N Архитектура ОКМД предполагает создание структур векторной или матричной обработки. Системы этого типа обычно строятся как однородные, т.е. процессорные Процессор 2 элементы, входящие в систему, идентичны и все они Процессор 1 управляются одной и той же последовательностью команд. Однако каждый процессор обрабатывает свой поток данных - задачи обработки матриц или векторов (массивов), задачи решения систем линейных и Память данных нелинейных алгебраических и дифференциальных уравнений, задачи теории поля и др. В структурах данной архитектуры, как правило, соединения между процессорами напоминают матрицу. 29 Современные вычислительные системы

30. МКОД - структура конвейерных (магистральных) многопроцессорных ВС Архитектура МКОД предполагает построение своеобразного процессорного конвейера, в котором Память команд результаты обработки передаются от одного процессора к другому по цепочке. В современных ЭВМ по этому принципу реализована схема совмещения операций, в которой Поток команд параллельно работают различные функциональные блоки, и каждый из них делает свою часть в общем цикле обработки Процессор 1 Процессор 2 Процессор N команды. В ВС этого типа конвейер должны образовывать Результаты группы процессоров. Однако при переходе на системный Поток данных Память данных уровень для универсальных вычислений это практически неприменимо. Кроме того, на практике трудно обеспечить и такую большую длину конвейера, при которой достигается наивысший эффект. Конвейерная схема нашла применение в МКОД - множественный поток команд - одиночный поток данных (MISD - Multiple Instruction Single Data - множественный поток инструкций - одиночный поток данных) так называемых скалярных процессорах суперЭВМ, в которых они применяются как специальные процессоры для поддержки векторной обработки. 30

31. МКМД - структура матричных многопроцессорных ВС Память команд МКМД - множественный поток команд - множественный поток данных (MIMD - Multiple Поток команд Instruction Multiple Data - множественный поток инструкций - множественный поток данных). Процессор n1 Процессор n2 Процессор nN Архитектура МКМД предполагает, что все процессоры системы работают с различными программами и с индивидуальным набором Процессор 21 Процессор 22 Процессор 2N данных. В простейшем случае они могут быть автономны и независимы. Такая схема Процессор 11 Процессор 12 Процессор 1N использования ВС часто применяется во многих крупных вычислительных центрах для увеличения пропускной способности центра. Память данных Поток данных Результаты 31 Современные вычислительные системы

32. Типовые структуры ВС в классе МКМД МКМД МКМД - архитектура является наиболее Сильносвязанные системы Слабосвязанные системы перспективной для вычислительных систем. Ей присущи все перечисленные виды параллелизма. Этот класс дает Uniform Memory Access Машинные комплексы большое разнообразие структур, UMA - системы сильно отличающихся друг от друга система с однородным доступом в память своими характеристиками MPP - cистемы Non-Uniform Memory Access Массивно-параллельные системы SMP - системы NUMA - системы Физически распределённая память Симметричные мультипроцессорные системы 32

33. Типовые структуры ВС в классе МКМД: SMP Симметричные мультипроцессорные системы … Процессорный элемент Процессорный элемент Процессорный элемент Процессорный элемент … Кэш память Кэш память Кэш память Кэш память Системная магистраль Подсистема ввода-вывода Общая память 33

34. Типовые структуры ВС в классе МКМД: SMP Модуль памяти Модуль памяти Модуль памяти Модуль памяти Кэш память Кэш память Модуль ввода вывода Модуль ввода вывода Процессорный элемент Процессорный элемент 34

35. Типовые структуры ВС в классе МКМД: SMP Модуль памяти Модуль памяти Модуль памяти Модуль памяти Коммутатор Коммутатор Коммутатор Коммутатор Кэш память Кэш память Модуль ввода вывода Модуль ввода вывода Процессорный элемент Процессорный элемент 35

36. Типовые структуры ВС в классе МКМД: NUMA Процессорный элемент Процессорный элемент Процессорный элемент Процессорный элемент Память Память Кэш-память Кэш-память Кэш-память Кэш-память … Контроллер памяти Контроллер памяти Контроллер памяти Контроллер памяти Процессорный элемент Процессорный элемент Процессорный элемент Процессорный элемент Кэш-память Кэш-память Кэш-память Кэш-память Высокоскоростная коммутационная среда Система ввода-вывода 36

37. Большие данные ( Большие данные (BIG DATA) BIG DATA) «Большие данные — это совокупность технологий, которые призваны совершать три операции: • Обрабатывать большие по сравнению со «стандартными» сценариями объемы данных. • Уметь работать с быстро поступающими данными в очень больших объемах. То есть данных не просто много, а их постоянно становится все больше и больше. • Уметь работать со структурированными и слабо структурированными данными параллельно и в разных аспектах». 37

38. Большие данные ( Большие данные (BIG DATA) BIG DATA) Источники данных: • Логи поведения пользователей в интернете • GPS-сигналы от автомобилей для транспортной компании • Данные, снимаемые с датчиков в большом адронном коллайдере • Оцифрованные книги в Российской Государственной Библиотеке • Информация о транзакциях всех клиентов банка • Информация о всех покупках в крупной ритейл сети и т.д. 38

39. Кластерная структура Кластерная структура Кластер представляет собой два или более компьютеров (часто называемых узлами), объединяемые при помощи сетевых технологий на базе шинной архитектуры или коммутатора и предстающие перед пользователями в качестве единого информационно-вычислительного ресурса. 39

40. Принципы работы с большими данными Принципы работы с большими данными Принципы организации Принципы организации Hadoop Hadoop Горизонтальная Изменение поступаемым данным Отказоустойчивость большими возможность переживать последствий. Локальность обрабатываем данные на той же машине, на которой их храним. масштабируемость. пропорционально системы Методы должны работы учитывать сбоев значимых с Отказоустойчивость Горизонтальная данными непредвиденных их без масштабируемость и каких-либо данных. - по возможности Локальность данных 40

41. Принципы Принципы Вертикальная масштабируемость. • Добавляем дополнительные ресурсы • Покупаем новое оборудование Горизонтальная масштабируемость. • Добавляем новые машины к кластеру • Управляем количеством необходимых серверов под конкретные задачи 41

42. Принципы Принципы Отказоустойчивость Много кластеров – много серверов – еще больше дисков – большая вероятность отказа оборудования и потери данных Сохранение данных Перезапуск задач 42

43. Принципы Принципы Локальность данных (код к данным) Загрузка данных Обработка данных Хранение данных Сохранение результатов Загрузка данных Обработка данных Хранение данных Сохранение результатов 43

44. Принципы организации Принципы организации Hadoop Hadoop Локальность данных (код к данным) Обработка Обработка Обработка К Л А С Т Е Р Хранение Хранение Хранение Обработка Обработка Обработка Хранение Хранение Хранение 44

45. Типы архитектур: структура процессорного ядра Типы архитектур: структура процессорного ядра Организации процессов выборки и исполнения команды фон-неймановская (принстонская) гарвардская 45 Структура и принципы функционирования процессора вычислительной системы

46. Фон Фон- -неймановская архитектура неймановская архитектура Принципы • Адресность • Однородность • Программность управления 46 Структура и принципы функционирования процессора вычислительной системы

47. Фон Фон- -неймановская архитектура неймановская архитектура Память команд и данных Процессор Ввод-вывод Шина данных Шина команд 47 Структура и принципы функционирования процессора вычислительной системы

48. Гарвардская архитектура Гарвардская архитектура Шина команд Память команд Ввод-вывод Процессор Память данных Шина данных 48 Основные понятия и определения в области организации вычислительных систем

49. Компонентная модель работы ЭВМ Компонентная модель работы ЭВМ Закон Ома 49 Элементная база

50. Компонентная модель работы ЭВМ Компонентная модель работы ЭВМ Реле 50 Элементная база