Не забудьте начать запись доклада!

2. Не забудьте начать запись доклада! REC

3. Аппаратные решения HP для платформы Microsoft BI Игорь Подуков Hewlett-Packard

4. Игорь Подуков Hewlett-Packard Технический консультант Факты из биографии: • Опыт работы в сфере ИТ – более 6 лет • Опыт работы с оборудованием HP – более 4 лет E-mail: igor.podukov@hp.com

5. Содержание • Введение • Обзор FTDW • Обзор PDW • Обзор Appliance for PowerPivot

6. Хранение информации • Генерация отчетов Обработка транзакций Жизненный цикл данных • Улучшение обслуживания клиентов • Обработка большего числа транзакций • Увеличение доходов и рост лояльности • Управление данными и обеспечение совместимости • Защита целостности данных OLTP systems Data Warehouse Customer registration, e-commerce website, point of sale systems Transaction, inventory, financial, manufacturing data Data marts and cubes Анализ способствует оптимизации бизнес-процессов и повышению производительности Microsoft PowerPivotианалитические инструменты Excel • BI Tools • Создание отчетов в реальном времени с минимальной поддержкой IT • Генерация решений, которые ведут к повышению числа транзакций, росту прибыли и формированию конкурентных преимуществ

7. Семейство решений для управления данными Решения для управления данными от HP и Microsoft Custom Solutions Pre-Integrated Appliances Reference Architectures Data Warehouse Business Intelligence HP Business Decision Appliance оптимизировано под SQL Server 2008 R2 иSharePoint Server 2010 HP Enterprise Data Warehouse Appliance Оптимизирован под SQL Server 2008 R2 Parallel Data Warehouse Fast Track Data Warehouse Уменьшение времени, стимости и сложностей в выборе и конфигурировании аппаратной платформы для SQL Server DW Снижениесложностиизатратв развертываниибольших хранилищ данныхс лидирующими показателями стоимость/производительность и mission-critical поддержкой Позволяет бизнес-пользователям с помощьюPowerPivotсоздавать отчеты по бизнес-даннымс минимальной поддержкой IT подразделения

8. Преимущества использования полностью оптимизированной инфраструктуры Accelerate Time to Value Optimize Performance Simplify Operations Bigger business impact out ofthe box Minimize Risk

9. Обзор FastTrack DW

10. Большое SAN хранилище и большой SMP сервер соединенные вместе Некоторые хранилища данных сегодня Что не так с этой картиной?

11. Сервер может обеспечить 12 GB/Sec IO, а SAN только 2 GB/Sec Даже если SAN отведена только под SQL Data Warehouse, что зачастую не так Запросы обрабатываются медленно Несмотря на значительные вложения в серверы и систему хранения данных Ответ: система не сбалансирована Результат: значительные вложения, не гарантирующие прирост производительности

12. Потенциальные узкие места для производительности A A B B SERVER CPU CORES WINDOWS SQL SERVER CACHE FC SWITCH FC HBA FC HBA STORAGE CONTROLLER CACHE A A B B A B DISK DISK DISK DISK LUN LUN CPU Feed Rate HBA Port Rate Switch Port Rate SP Port Rate LUN Read Rate Disk Feed Rate SQL Server Read Ahead Rate

13. Сбалансированы между всеми компонентами Подробно описаны Основаны на последовательном вводе/выводе и нагрузке, характерной для ХД Ниже стоимость владения (TCO) Масштабируемость и производительность Зачем нужны SMP рекомендованные архитектуры?

14. Подбор общей конфигурации сервера + системы хранения данных из соображений соответствия производительности СХД и вычислительных возможностей сервера Исключаются проблемы с производительностью, которые возникают при использовании общего хранилища данных (shared storage) Исключаются переплаты благодаря оптимизации хранилища и сервера под конкретный тип нагрузки Альтернатива: сбалансированная система

15. Компоненты сбалансированной архитектуры

16. Масштабируемые, заранее протестированные, экономически выгодные, сбалансированные модели для(SMP) SQL Server 2008 Data Warehouse Легкость развертывания решения “из коробки” для малых и средних хранилищ данных Предсказуемые показатели производительности Экслюзивно разработано для работы с последовательными запросами Минимальные стоимость, риски и время ввода в эксплуатацию Предоставляются сервисы по внедрению и поддержке HP SQL Server Fast Track Data Warehouse Scale UP

17. Область действия FastTrack DW Поддерживающие системы Системы хранения аналитических данных Системы презентационного уровня Пакеты загрузки Integration Services Кубы Analysis Services Инструменты веб-анализа Путь данных Reporting Services Данные для отображения Выделенные SAN, массив хранения Хранилище данных, Промежуточная область,Пакетная загрузка SharePoint Services Microsoft Office SharePoint Область действия рекомендованных архитектур (пунктиром) PerformancePoint Excel Services

18. Database Designed for analyticaloperations: Strategic focus Optimized for bulk load and large, complex, unpredictable queries Fewer concurrent users relative to OLTP Storage Primary focus on Read operations Optimized for disk scan over seek operations Storage optimization focused on disk scan rate (MB/s) Database Designed for operationalrequirements: Tactical focus Optimized for transactions: “single row” entry and retrieval Thousands of concurrent users Storage Emphasizes transactional performance Optimized for disk seek over scan operations Storage optimization focused on I/O operations/s (IOPs) DWversus OLTP

19. Компоненты хранилища данных Fast Track • Программное обеспечение: • SQL Server 2008 Enterprise • Windows Server 2008 • Руководства по конфигурированию: • Структура таблиц • Индексы • Сжатие • Настройки SQL Server • Настройки Windows Server • Загрузка • Аппаратное обеспечение: • Жесткие спецификации для серверов, устройств хранения, сети • Построение «от процессора»

20. Архитектура решения Fast Track DW

21. Рекомендуемые конфигурации HP SQL Server Fast Track

22. Масштабирование от SMB до Enterprise Конфигурации для хранения до 80TB при лучшем соотношении стоимость/производительность HP предоставляет рекомендации по конфигурированию, оптимизации производительности и best practices по установке, работе и управлению. Сбалансированные по пропускной способности конфигурации HP Fast Track Data Warehousing: Рекомендуемые конфигурации для ProLiant G7 Basic SMP up to 20TB DL38x G7 w/ P2000 G3 Entry DW1– 14TBDL370 G6 w/ D2700 Premium SMPUp to 80 TBDL980 G7 w/ P2000 G3 Mainstream SMPUp to 40TBDL58x G7 w/ P2000 G3

23. Доступное, простое решение: позволяет сделать DW широкодоступным, предлагается в пъедестальном варианте и варианте для установки в серверную стойку Простота установки:Предварительно сконфигурированное аппаратное решение и автоматизированные установочные скрипты исключающие сложность Защита инвестиций: выгодное масштабирование от 1 до 16 TB для обработки растущего объема данных HP Business Data Warehouse ApplianceОптимизирован для SQL Server 2008 R2 Доступное хранилище данных в предварительно настроенном, оптимизированном едином корпусе

24. Basic Intel Reference Configuration • Server: • HP ProLiant DL380 G7 • - 2 x 6-core Intel Xeon processors • - 96GB DIMM, 384GB Max. • - 3 x 8Gb Dual Port FC HBA • - 3 x 72GB SAS 15k • Storage: • 3 x HP P2000 G3, 68 x HDDs • Scalability: 8 – 16TB

25. Basic AMD Reference Configuration • Server: • HP ProLiant DL385 G7 • - 2 x 12-core AMD Opteron processors • - 96GB PC3-10600 RDIMM, 384GB Max. • - 3 x 8Gb Dual Port FC HBA • - 3 x 72GB SAS 15k • Storage: • 3 x HP P2000 G3, 68 x HDDs • Scalability: 8 – 16TB

26. Basic RC P2000 G3 MSA FC LUN Layout

27. Mainstream Intel Reference Configuration • Server: • HP ProLiant DL580 G7 • - 4 x 8-core Intel Xeon processors • - 192GB DIMM, 1TB Max. • - 5 x 8Gb Dual Port FC HBA • - 3 x 72GB SAS 15k • Storage: • 6 x HP P2000 G3, 126 x HDDs • Scalability: 20 – 40TB

28. Mainstream AMD Reference Configuration • Server: • HP ProLiant DL585 G7 • - 4 x 12-core AMD Opteron processors • - 128GB DIMM, 512GB Max. • - 5 x 8Gb Dual Port FC HBA • - 3 x 72GB SAS 15k • Storage: • 6 x HP P2000 G3, 126 x HDDs • Scalability: 20 – 40TB

29. Mainstream RC P2000 G3 MSA FC LUN Layout

30. Premium Intel Reference Configuration • Server: • HP ProLiant DL980 G7 • - 8 x 8-core Intel Xeon processors • - 512GB DIMM, 2TB Max. • - 9 x 8Gb Dual Port FC HBA • - 3 x 72GB SAS 15k • Storage: • 12 x HP P2000 G3, 252 x HDDs • Scalability: 40 – 80TB

31. Premium RC P2000 G3 MSA FC LUN Layout

32. Обзор EDW

33. HP Enterprise Data Warehouse Appliance Трансформация сегодняшнегоSQL До После • Отсутствует единое представление данных в пределах предприятия • Несколько изолированных витрин данных SQL • Проприетарные, дорогостоящие EDW устройства Самое масштабируемое в мире, простое в управлении решения для хранения данных enterprise уровня

34. HP Enterprise Data Warehouse Appliance масштабируемость Архитектура MPP масштабируется от 37TB до более чем 500TB • простота • Единое представление информации в рамках предприятия • полнота • Устройство для хранения данных из серии “все в одном” для критически важных сред

35. Аппартное решение оптимизировано подвертикальное и горизонтальноемасштабирование (до 1 PB+) Параллелизм длякомплексных нагрузок От 100TB до 1PB Ограниченная функциональностьSQL Server HA встроено! SMP (SQL Server, Fast Track) Аппартное решение оптимизировано подвертикальноемасштабирование (масштабирование ограничено архитектурой) Параллелизм дляпростых нагрузок Ограниченный десятками TB объем Полная функциональность SQL Server HA должно быть учтено при построении решения MPP (PDW) • Symmetric Multi-Processing • vs. Massively Parallel Processing OLTP, Transactional, Data Warehousing Parallel Data Warehousing (esp. VLDB, complex workloads)

36. HP Enterprise Data Warehouse Appliance Отличительные особенности • Производительность • Высокая производительность и быстрые отклики на запросы • Масштабируемость • Масштабируемость без влияния на производительность • Стоимость террабайта • Решение entarprise-классас лучшим соотношением $/TB • Знакомый инструментарий SQL • Используются известные инструменты

37. Состав HP Enterprise Data Warehouse • What you get • Parallel Data Warehouse; massively scalable appliance incorporating servers, storage, interconnects and software pre-loaded, integrated tested and tuned at the factory • Dedicated storage ensures high performance • Scales up to 37-125+TB per rack for lower TCO • Site assessment prior to deployment, followed by on-site install by HP • System is ready for data loading in up to one week * Software license must be purchased to activate pre-installed software

38. Data Rack (не доступно извне) Storage Nodes HP P2000 G3 Database Nodes HP ProLiant DL Control Rack • Control node • Where clients apps connect • MPP engine runs here • Controls DMS on all nodes • Central point for all HW monitoring SQL SQL SQL SQL SQL SQL SQL SQL SQL SQL SQL Control Nodes HP ProLiant DL Active / Passive ClientDrivers • Management Servers • S/W upgrades; patch deployment staging place • Holds S/W images if a node needs reimaging Dual Fibre Channel Dual Infiniband Data Center Monitoring • Landing Zone ETL Load Interface • Staging place: data loading • (Accessible to outside world) Backup Node Corporate Backup Solution • Compute nodes: • Store user data; • Perform local query processing; • Run data movement service Spare Database Node • Backup file storage • Accessible to outside world Corporate Network Private Network

39. Архитектура вычислительного узла Dual Multi-Core Processors TempDB Workspace Enterprise Class DBMS RAM CPU HP ProLiant DL CPU HP P2000 G3

40. Программная архитектура MPP engine: Создание appliance-wide планов распараллеливания запросов Координирует параллельное выполнение запросов Координирует параллельное выполнение транзакций Хранит метаданные и конфигурационные данные Отслеживает статус аппартных и программных средств Data Movement Service (DMS) Копирует данные между узлами устройства Планирование операций передачи данных и запросов

41. Подход к размещению данных • ReplicatedТабличная структура, которая существует в виде полной копии на каждом из узлов PDW. • DistributedТабличная структура, которая разделяется на отдельные столбцы и равномерно распределяется между всеми узлами PDW. Каждое распределение представляет собой отдельную физическую таблицу в DBMS. • Ultra Shared NothingСпособность создавать схему из распределенных и реплицированных таблиц для минимизации премещений данных между узлами. • Малые порции данных более эффективно хранить полностью (реплицированно).

42. Преимущество PDW – Massive Parallel Processing Compute Nodes Storage Nodes Control Rack Data Rack SQL SQL SQL SQL SQL SQL SQL SQL SQL SQL SQL Query 1 is submitted to SQL Server on Control Node Control Nodes Active / Passive Query 1 Query is executed on all 10 Nodes Management Servers Dual Fiber Channel Dual Infiniband Results are sent back to client Landing Zone ? ? ? ? ? ? ? ? ? ? Backup Node Spare Compute Node Private Network

43. Преимущество PDW– Massive Parallel Processing Compute Nodes Storage Nodes SQL SQL SQL SQL SQL SQL SQL SQL SQL SQL SQL Control Rack Multiple queries are simultaneously executed across all nodes. PDW supportsquerying while data is loading. Data Rack Control Nodes Active / Passive ? ? ? ? ? Management Servers ? ? ? ? ? ? Dual Fiber Channel Dual Infiniband ? Landing Zone ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Backup Node ? Spare Compute Node ? Private Network ?

44. Архитектура “Звезда” (Hub and Spoke) Устройство MPP выступает в виде центрального“хаба”, который публикует данные по необходимости различным бизнес-подразделениям и департаментам(“spokes” ) Позволяет архитектуре DW лучше соответсвовать структуре большого предприятия Предоставляет централизованное EDW и зависимые витрины данных Интегрирует SMP и MPP системы Все системы соединены выделенной высокоскоростной сетью Множественнные рабочие нагрузки на разных системах Параллельное копирование баз данных – скорости порядка500 GB/min

45. Parallel Data Warehouse - Hub and Spoke Departments or business units keep their existing data marts Existing SMP data marts can be redeployed and “plugged in” to the MPP cluster as “spokes”, receiving data from the MPP “hub” 45

46. Масштабируемое хранилище данных от десяток до сотен ТБ Предсказуемая, выдающуяся производительность по низкой цене за терабайт Повышенная гибкость при использовании схемы “Звезда” (Hub-and-Spoke) Позволяет быстро и просто внедрить решение для хранения данных enterprise-класса на базе конвергентной инфраструктуры HP для достижения лучших результатов в бизнесе HP/Microsoft Parallel Data Warehouse

47. BI Appliance

48. Проблема: остутсвие представления данных в реальном времени Пользователи не могут быстро получить доступ к данным для принятия верных решений Marketing Strategy Необходимо оценивать результаты кампаний по регионам Необходимо сопоставлять рыночные и конкурентные данные IT HR Finance Нужно моделировать сценарии кжалований Необходимо единое представление о финансовом состоянии IT перегружено запросами на создание специфических отчетов

49. BI решение: уполномоченные конечные пользователи Уполномоченные пользователи могут сами формировать представления данных Marketing Strategy Соспоставление данных истории и нахождение тенденций Анализ кампаний в реальном времени Share Point Power Pivot Excel Self-Service BI Appliance SQL Server DB IT HR Finance Генерация интерактивных моделей “на лету” Извлечение данных из нескольких источников для формирования отчетов IT освобождается для выполнения основных задач

50. HP Business Decision Appliance Оптимизирован для SQL Server 2008 R2 и SharePoint Server 2010 1 час на инсталляцию от начала до конца 100% совместимо с имеющейся инфраструктурой Microsoft 1,000 пользователей поддерживается одним устройством